추정량 - 최소분산성
이제 두 번째 기준인 최소분산성을 생각해보자.
많은 추정량 중 가장 분산이 작은 것이 무엇인지 판별해야 한다.
이때, 쓰일 수 있는 기준이 바로 크래머-라오 부등식이다.
크래머-라오 부등식
영어로는 R-C bound라고 한다.
Var(\tilde \theta) \ge
{1 \over
E\bigg[\displaystyle
{d \over d\theta}~log~
F_{X}(x|\theta)\bigg]^2}
=
{1 \over
-E\bigg[\displaystyle
{d^2 \over d^2\theta}~log~
F_{X}(x|\theta)\bigg]}
이 이상한 분수꼴을 크래머-라오 하한선이라고 한다.
{1 \over
E\bigg[\displaystyle
{d \over d\theta}~log~
F_{X}(x|\theta)\bigg]^2}
=
{1 \over
-E\bigg[\displaystyle
{d^2 \over d^2\theta}~log~
F_{X}(x|\theta)\bigg]}
로그가능도함수: logF_X(x|\theta) = l(\theta) 가 다음과 같이 주어져 있을 때,
- 분모 = l(\theta)를 한 번 미분하고 그것의 기댓값을 구한 뒤 제곱한다.
- 분모 = l(\theta)를 두 번 미분하고 그것의 기댓값을 구한 뒤 마이너스를 붙인다.
보통 2번이 편하긴 하지만..꼭 그렇지는 않다.
의의
- 아무리 못해도 분산이 크래머-라오 하한선보다는 크다는 의미가 된다.
- 추정량의 성능을 측정하기 위한 일종의 도구로 생각할 수 있다.
- 계산을 해보면, mle로 구한 추정량이 크래머-라오 하한선과 일치하는 경우가 많다.
- mle를 쓰는 이유이기도 하다.