Loss Function for task

Related to: Fundamentals

개요

손실 함수(Loss Function)는 수행하고자 하는 작업 종류에 따라 변합니다. 모델이 예측한 값과 실제 정답 사이의 차이를 수치화하며, 최적화 과정에서 최소화하는 목표가 됩니다.

핵심 개념

Regression Task

$MSE=\frac{1}{N}{\sum }_{i=1}^N{\sum }_{d=1}^D{(y_i^d-{\hat{y}}_i^d)}^2$

연속적인 값을 예측하는 회귀 문제에서는 MSE(Mean Squared Error)를 사용합니다.

Classification Task

$CE=-\frac{1}{N}{\sum }_{i=1}^N{\sum }_{d=1}^D(y_i^d\log {\hat{y}}_i^d)$

클래스를 분류하는 문제에서는 Cross Entropy Loss를 사용합니다.

Probabilistic Task

$MLE=\frac{1}{N}{\sum }_{i=1}^N{\sum }_{d=1}^D\log N(y_i^d;{\hat{y}}_i^d,1)=MSE$

확률적 출력이 필요한 Task에서는 MLE(Maximum Likelihood Estimation)를 사용하며, 가우시안 분포를 가정할 경우 MSE와 동일합니다.

관련 개념

• Cross Entropy Loss — Classification Task에서 사용되는 손실 함수 상세
• BCELoss(Binary Cross Entroby Loss) — 이진 분류에 특화된 Cross Entropy
• Optimization에서 중요한 것들 — 손실 함수 최소화를 위한 최적화 기법
• Basic Optimizer & Adam(Adaptive Moment Esimation) — 손실 함수를 최소화하는 옵티마이저

참조

Week 3