Likelihood function(likelihood, 가능도 함수, 우도 함수, 우도)

Related to: Probability & Statistics

개요

가능도 함수(Likelihood function)는 모수 theta가 주어졌을 때 관측값이 얼마나 잘 설명되는지를 나타내는 함수입니다. Maximum likelihood estimation(MLE, 최대가능도 추정법)의 핵심 개념입니다.

핵심 개념

가능도 함수(Likelihood function, likelihood, 우도 함수, 우도)

• 확률 분포의 모수가, 어떤 확률변수의 표집값과 일관되는 정도를 나타내는 값
• 선택한 parameter에 대한 statistical model에서 관측 값들이 나올 수 있는 확률, 즉 해당 statistical model과 관측 값들의 결합 확률(Joint probability)을 의미
• 그러므로 가능도는 parameter에 대한 함수임을 강조하기 위해 아래와 같이 표현:
  • $L(\theta |X)$ ( $=P(X|\theta )$ )

확률과 가능도의 차이

• 확률(Probability): 모수(θ)가 고정된 상태에서 데이터 X가 발생할 확률 → $P(X|\theta )$
• 가능도(Likelihood): 데이터 X가 관측된 상태에서 모수 θ의 그럴듯함 → $L(\theta |X)$

관련 개념

• Maximum likelihood estimation(MLE, 최대가능도 추정법) - 가능도를 최대화하여 모수를 추정
• 모수 - 가능도 함수의 변수인 모수
• 모수적(parametric) 방법론 - 가능도를 이용한 모수적 추정 방법론
• 조건부 확률 - 가능도 함수와 관련된 조건부 확률
• Probability and Statistics - 가능도 함수가 속하는 통계학

참조

Week 1

https://en.wikipedia.org/wiki/Likelihood_function