열렬히.뛰기

최대가능도법 (MLE)

수학 & 통계 > 수리통계2 > 2. 점 추정 > 최대가능도법 (MLE)

가능도와 가능도함수

  • 가능도함수는 확률함수와 같다.
  • 그러나 해석하는 방법이 좀 다르다.
    • 확률함수 ⇒ x를 변수로, \theta를 상수로 생각
    • 가능도함수 ⇒ x를 상수로, \theta를 변수로 생각
  • 우리가 구하고자 하는 것은 파라미터를 최대화시키는 것이다.

방법

  1. 가능도함수들을 모두 곱한다.
F_{X_i}(x_i:\theta) = \prod_{i}~f_{X_i}(x_i:\theta)
  1. 계산의 용의함을 위해 양변에 로그를 취한다
\ln\Big[F_{X_i}(x_i:\theta)\Big] = \ln \bigg[ \prod_{i}~f_{X_i}(x_i:\theta) \bigg]
  1. (가능도함수의 일차도함수) = 0가 되도록 한다.
{\partial \over \partial \theta}~ \ln\Big[F_{X_i}(x_i:\theta)\Big] = 0

예시

정규분포

포아송분포