Regularization - Label Smoothing

Related to: Fundamentals

개요

레이블 스무딩이란 Szegedy et al. (2016)이 제안한 기법으로, 라벨을 스무딩하여 모델 일반화 성능을 꾀합니다. Hard label(0 또는 1) 대신 소프트한 값을 부여해 모델이 지나치게 확신하는 것을 방지합니다.

핵심 개념

$y_k^{L.S.}=y_k(1-\alpha )+\alpha /K$

예시)

$y_1=[0,1,0,0]\alpha =0.1$

$$\begin{gathered} y_1^{L.S.}=y_1(1-0.1)+0.1/4 \\ =[0.25,0.925,0.025,0.025] \end{gathered}$$

• $\alpha$: 스무딩 강도 (0에 가까울수록 원래 라벨에 가까움)
• $K$: 클래스 수
• 정답 클래스의 확률을 약간 낮추고, 오답 클래스에 소량의 확률을 분배

관련 개념

• Regularization - Dropout — 또 다른 정규화 기법
• Regularization - Early Stopping — 과적합 방지 기법
• Regularization - Batch normalization — 배치 정규화를 통한 일반화
• Cross Entropy Loss — Label Smoothing과 함께 사용되는 손실 함수

참조

https://ratsgo.github.io/insight-notes/docs/interpretable/smoothing