Norm, L1 Norm, L2 Norm

Related to: Fundamentals

Norm이란?

개요

Norm 은 벡터의 크기(혹은 길이)를 측정하는 방법(혹은 함수)입니다.

두 벡터 사이의 거리를 측정하는 방법이기도 합니다.

핵심 개념

L1 Norm

Taxicab Norm 혹은 맨허튼 노름(Manhattan norm)으로 불림

벡터 요소에 대한 절대값의 합을 의미

$$\begin{gathered} x=[-1,2,-3,4,5] \\ ||x|{|}_1=(|-1|+|2|+|-3|+|4|+|5|)=15 \end{gathered}$$

• Sparse solution을 선호하는 특성이 있어 feature selection에 활용
• Lasso Regularization의 기반

L2 Norm

유클리드 노름(Euclidean norm)으로 불림

벡터 요소의 제곱합의 제곱근

$$\begin{gathered} x=[-1,2,3] \\ ||x|{|}_2=\sqrt{(-1{)}^2+(2{)}^2+(3{)}^2} \end{gathered}$$

• Ridge Regularization의 기반
• 대부분의 딥러닝 모델에서 기본 거리 측정 방식으로 사용

딥러닝에서의 활용

• CycleGAN에서의 활용: Cycle Consistency Loss에서 L1 Norm 사용
• Regularization: L1/L2 Norm을 Loss에 추가하여 가중치 크기를 제한하고 과적합 방지

관련 개념

• CycleGAN - Cycle consistency loss에서 L1 Norm 사용
• Regularization - Dropout - 다른 형태의 정규화 기법
• Regularization - Batch normalization - 배치 정규화
• Loss Function for task - 다양한 손실 함수 정리

참조

https://light-tree.tistory.com/125