Just Fighting

https://convex-optimization-for-all.github.io/contents/chapter03/ Convex Functions · 모두를 위한 컨벡스 최적화03. Convex Functions 이 장에서는 Convex function의 정의, 예시, 주요 속성 및 Convexity를 유지하는 연산에 대해 살펴볼 것이다.convex-optimization-for-all.github.io   convex function$f : \mathbb{R}^n \rightarrow \mathbb{R}$의 정의역이 convex set이고,임의의 두점 $x, y \in dom f$ 를 잇는 선분 위의 모든 점들이 함수 f 위 점들보다 위에 있다면 그 함수는 convex $f(\theta x+(1-\t..

https://towardsdatascience.com/vector-norms-in-machine-learning-5b8381a5130c Vector Norms in Machine LearningA guide to p-norms.towardsdatascience.com    Vector벡터란 특정 길이를 가진 숫자들의 1차원 배열. $a = [1,2,3, \cdots, n]$ 벡터의 요소들은 특정한 순서로 배열되어 있다.각 요소의 위치는 일반적이고 고유한 의미를 담고 있으며, 위치(인덱스)를 사용해 접근 가능$a[1] \rightarrow 2$ 벡터를 공간 내 한 점으로 생각할 수도 있다.벡터의 길이가 $n$이면, 그 점은 $n$차원 공간에 존재한다고 할 수 있다.      Vector Norms벡터를 ..

세가지 종류의 set ( affine set, convex set, cone )에 대해 정리  line, line segment, ray$y = \theta x_1 + (1-\theta)x_2$  line직선. 두 점을 지나면서 양쪽 방향으로 무한히 커지는 선. ($\theta \in \mathbb{R}$)affine set은 line이 모여서 만들어짐.  line segment선분. 두 점 사이에서만 정의되는 선. ($0 \le \theta \le 1$)convex set은 line segment가 모여서 만들어짐.  ray반직선. 한 점에서 시작해 다른 점을 지나면서 무한히 커지는 선. ($\theta > 0$)con은 ray가 모여서 만들어짐.     Affine set점, 직선, 평면, 초평면과..

최적화 문제란?여러 개의 선택 가능한 후보 중에서 최적의 해(Optimal value) 또는 최적의 해에 근접한 값을 찾는 문제기계학습 분야에서는 비용함수(Cost function)을 최소화 혹은 최대화시키는 모델의 파라미터를 구하는 것.convex optimization problem도 최적화 문제의 한 종류!  표현 형식제약조건을 모두 만족하는 정의역에서 목적함수 $f$를 최소로 만드는 벡터 $x$를 $x^*$로 표시하고,이를 최적해optimal solution라고 한다. \begin{align} &\min_{x \in D} && f(x) \ &subject \ to && g_i(x) \le 0, i = 1,\cdots, m \ &&&h_j(x) = 0, j = 1, \cdots, r \end{a..