Expectation(기댓값)

Related to: Probability & Statistics

개요

어떤 확률 과정을 무한히 반복했을 때, 얻을 수 있는 값의 평균으로써 기대할 수 있는 값입니다.

핵심 개념

기댓값(expectation) 정의

기대값(또는 기댓값)이란 확률 변수 또는 확률 과정을 무한히 반복했을 때, 평균적으로 기대할 수 있는 값을 의미합니다. 수학적으로는 확률분포에 따라 가능한 값들의 **가중 평균(weighted average)**으로 정의됩니다.

• **이산 확률변수**의 경우:

  $\mathbb{E}[X]={\sum }_{x}x\cdot P(X=x)$

• **연속 확률변수**의 경우:

  $\mathbb{E}[X]={\int }_{-\infty }^{\infty }x\cdot f(x)dx$

해석

• 확률적 의미: 어떤 무작위 시행을 무한히 반복했을 때 수렴하는 평균값
• 통계적 의미: 분산, 첨도, 공분산 등 다른 통계량을 계산하기 위한 기초 통계량

활용

• 기초 통계 계산:

  • 분산: $\mathrm{Var}(X)=\mathbb{E}[X^2]-(\mathbb{E}[X]{)}^2$
  • 공분산, 모멘트(moment), 첨도 등

• Machine Learning:

  • 기대 손실: ${\mathbb{E}}_{x,y}[L(f(x),y)]$
  • Reinforcement Learning의 기대 보상: $E[R]$

• 정보이론:

  • 엔트로피: $H(X)=-\mathbb{E}[\log P(X)]$

기타 정보

항목	설명
표기	”기대값”은 비공식적, “기댓값”은 국립국어원 표준어 표기
학문 분류	확률론, 수리통계학, 통계학, 머신러닝 이론 등에서 모두 핵심 개념
관련 개념	확률분포, 분산, 중심극한정리, 베르누이/정규 분포

관련 개념

• 이산형 확률변수와 연속형 확률변수 - 기댓값 정의가 달라지는 확률변수 유형
• Population Mean(μ, 모 평균) - 기댓값과 동일한 모 평균
• Sample Mean(표본 평균) - 기댓값의 표본 추정량
• Markov Chain Monte Carlo(MCMC, 마르코프 연쇄 몬테카를로) - 기댓값을 근사하는 MCMC
• 몬테카를로 방법 - 기댓값을 샘플로 근사하는 방법
• Probability and Statistics - 기댓값이 속하는 확률통계

참조

https://namu.wiki/w/기댓값

Week 1