Related to: Fundamentals
개요
Early Stopping은 과적합을 피하기 위해 사용하는 정규화 방법의 일종입니다. 모델이 validation set에 대해 더 이상 성능이 향상되지 않는 시점에서 훈련을 중단합니다.
핵심 개념
- 과적합을 피하기 위해 사용하는 정규화 방법의 일종
- 훈련을 반복할 때 마다 어느정도까지는 훈련 세트의 외부의 데이터에 대한 학습자의 성능이 향상되나 그 지점을 지나면 over-fit되어 generalization error 증가
- generalization error가 증가하기 전 학습을 종료
실용적인 적용 방법:
- Patience 파라미터를 설정하여, validation loss가 n번의 epoch 동안 개선되지 않으면 학습을 중단
- 가장 성능이 좋았던 시점의 모델 가중치를 저장하여 최종 모델로 사용
관련 개념
- Optimization에서 중요한 것들 — Overfitting 방지를 위한 전반적인 전략
- Regularization - Dropout — 또 다른 과적합 방지 기법
- Regularization - Batch normalization — 배치 정규화
- Regularization - Data Augmentation — 데이터 증강을 통한 과적합 방지