Vector Norm
https://towardsdatascience.com/vector-norms-in-machine-learning-5b8381a5130c
Vector Norms in Machine Learning
A guide to p-norms.
towardsdatascience.com
Vector
벡터란 특정 길이를 가진 숫자들의 1차원 배열.
$a = [1,2,3, \cdots, n]$
벡터의 요소들은 특정한 순서로 배열되어 있다.
각 요소의 위치는 일반적이고 고유한 의미를 담고 있으며, 위치(인덱스)를 사용해 접근 가능
$a[1] \rightarrow 2$
벡터를 공간 내 한 점으로 생각할 수도 있다.
벡터의 길이가 $n$이면, 그 점은 $n$차원 공간에 존재한다고 할 수 있다.
Vector Norms
벡터를 입력으로 받아 그에 대한 양의 값을 출력하는 함수 집합
이 양의 값을 벡터의 크기(magnitude)라고 불림.
벡터의 크기 계산에 사용하는 함수 유형에 따라
동일한 벡터에 대해 다른 길이를 얻을 수 있다.
Norm은 머신러닝 모델의 핵심이다.
역전파 과정에서 스칼라 손실 값(양수)를 계산하는데,
이는 예측값과 실제값의 차이의 제곱의 평균값이다.
이 값이 바로 Norm 함수의 출력값에 해당한다.
The Standard Norm Equation ㅡ P-Norm
모든 Norm 함수는 P-Norm이라고 알려진 Norm의 표준 방정식에서 시작된다.
파라미터 $p$ ($p \ge 1$ 인 실수)가 다른 값일 때, 다른 Norm 함수를 얻을 수 있다.
$n$차원의 벡터 $x$의 각 요소를 $p$제곱한 후,
이 값들을 모두 합산하고 $p$제곱근을 취해 벡터의 P-Norm을 계산한다.
이 매개변수 $p$의 값에 따라 서로 다른 Norm함수 도출
$||x||_p = (\sum_{i}^{n} |x_i|^ p)^{\frac{1}{p}} = (|x_1|^p + |x_2|^P + \cdots + |x_n|^p)^{\frac{1}{p}}$
L0 Norm
$p=0$은 정의역에 포함되진 않지만, 위 식에 대입해보면
벡터의 각 요소에 0제곱을 해 1이 된 값을 합한다.
이는 주어진 벡터에서 0이 아닌 요소의 개수를 세는 방식이다.
[예시]
$vector = [1, 0, 4, 9] => L$-$0 \ Norm : 3 $
L1 Norm
loss를 계산할 때, L1 norm은 평균 절대 오차(Mean Absolute Error)라고 불림
L1 norm은 원점에서 멀든 가깝든 모든 위치에서 선형적으로 변화함.
$||x||_1 = (\sum_{i}^{n} |x_i|) = (|x_1| + |x_2| + \cdots + |x_n|)$
[예시]
$vector = [1, 0, 4, 9] => L$-$1 \ Norm : 14 $
L2 Norm
모든 Norm 함수 중에 가장 일반적이고 중요한 함수
L2 Norm은 원점에서의 거리를 측정한다. (유클리드 거리)
$||x||_2 = (\sum_{i}^{n} |x_i|^2)^{\frac{1}{2}} = (|x_1|^2 + |x_2|^2 + \cdots + |x_n|^2)^{\frac{1}{2}}$
[예시]
$vector = [3, 4] => L$-$2 \ Norm : 5 $
Squared L2 Norm
L2 Norm을 제곱한 함수
평균 제곱 오차 (Mean Squared Error)라고 불림.
머신 러닝에서 오차를 계산할 때 사용된다.
$||x||_2^2 = (\sum_{i}^{n} |x_i|^2) = (|x_1|^2 + |x_2|^2 + \cdots + |x_n|^2)$
L2 Norm에 비해 상대적으로 계산비용이 작다.
- 제곱근이 빠져 있어서
- 머신러닝 응용 프로그램에서 Sqaured L2 Norm의 미분은 계산과 저장이 더 쉬움.
- Squared L2 Norm의 각 요소에 대한 미분은 해당 요소 자체만 필요
- L2 norm은 전체 벡터 필요
Max Norm
무한대는 수학에서 추상적인 개념이다.
따라서 limit을 이용해 p가 무한대로 갈 때 함수의 변화를 구한다.
Max Norm은 가장 긴 길이의 요소의 절대값을 리턴한다.
$||x_||_{\infty} = \max_{i} |x_i|$
[예시]
$vector = [1, 0, 4, -9] => Max Norm : 9 $