Maximum likelihood estimation(MLE, 최대가능도 추정법)

개요

최대가능도 추정법(MLE, Maximum Likelihood Estimation)은 관측된 데이터를 가장 잘 설명하는 모수 theta를 추정하는 기법입니다. 가능도 함수를 최대화하는 theta를 찾습니다.

최대가능도 추정법(MLE, Maximum likelihood estimation)은 모수 theta가 주어졌을 때 데이터 X에 대한 가능도 함수(likelihood function)의 최대값을 찾는 것을 말한다.
따라서 최대가능도 추정법은 확률 분포의 모수 theta를 추정하는 기법으로, 관측된 데이터의 가능도가 최대가 되는 모수값을 찾는 것이다.
즉, MLE는 관찰된 데이터가 주어졌을 때, 모수 theta가 가장 잘 관찰된 데이터를 나타내는 값이 되는 값을 찾는 것이다.

$\hat{θ}_{M L E} = ar g max_{θ} L (θ ∣ X) = ar g max_{θ} P (X ∣ θ)$

계산 편의를 위해 로그 가능도(log-likelihood)를 최대화하는 경우가 많음: $\hat{θ}_{M L E} = ar g max_{θ} ln L (θ ∣ X)$