충분통계량이란?
\begin{align*}
\text{def.}~~&\underline{X} = (X_1,~ X_2, \cdots, X_n). \kern{10pt} T(\underline{X})\text{ is a sufficiency statistics,}
\\[10pt]
&\text{if the conditional distribution of X, given T(X)}
\\[10pt]
&\text{does not depend on }\theta
\end{align*}
- 표본들의 분포와 통계량 X의 함수의 조건부 분포를 구한다.
- 이후 그 분포가 모수 \theta에 종속되지 않으면 통계량 X는 충분통계량.
- 다만 이 방법으로는 계산이 너무 어렵다.
충분통계량 1 : 인수분해정리 이용
f_{X_i}(x_i) =
f_X(x:\theta) = g(x) \times h(x:\theta) \times t(\theta)
- 네이만 인수분해 정리라고도 한다.
- 표본 1개의 확률함수를 다음과 같이 찢는다.
- 이후 함수 h에서 변수 x에 해당하는 부분을 찾는다.
- 보통은 \sum {X_i}^k 의 모양으로 생겼다.
인수분해의 방식에는 여러가지가 있다.
- exp로 모든 함수를 둘러싸는 방식 : 지수족
- 순서통계량을 활용하는 방식 ⇒ 클릭
인수분해정리와 지수족
어떠한 확률함수가 다음과 같이 인수분해 되는 경우 지수족에 속한다고 한다.
f(x:\theta) = \exp
\Big(h(x) + g(x;\theta) + f(\theta)\Big)
g(x;\theta) 파트 중 변수 x로 이뤄진 부분 = 모수 \theta의 충분통계량.
f_X(x) = exp\bigg\{\sum X_i\bigg\}
충분통계량 2 : 정의로 찾아보기
인수분해 정리로는 도저히 충분통계량이 구해지지 않을 때가 있다.
이때는 충분통계량의 정의를 이용하며, 이를 수식으로 써보면 다음과 같다.
{f(x_1;~\theta) ~\times~ \cdots
~\times~ f(x_n;~\theta)
\over
f_{\sum x_i}(\sum x_i: \theta)}
=
g(x_1, \cdots, x_n)
- 분모 : 표본(샘플)들의 분포
- 분자 : 통계량 \sum x_i의 함수
- 통계량의 함수 f_{\sum x_i}(\sum x_i: \theta) 를 만들어야 한다.
- 이 과정에서 다양한 방법을 사용할 수 있다.
- 대표적 예시 : MGF(적률생성함수)
- 둘을 나눈 결과인 함수 g(\underline{x})에 \theta값이 없는 경우, Y는 충분통계량
- 즉, 모수 \theta와 관련이 없으면 충분통계량!
즉 표본들의 분포를 통계량으로 나눌 때 모수 \theta가 없어지고, 통계량 \sum x_i만 남으므로 표본의 정보를 정확하게 잡고 있다고 보는 것.
새로운 충분통계량 만들기
Y가 충분통계량일때, 일대일대응만 되면 새로운 충분통계량을 만들 수 있다.
\text{ex. }~
\overline{X} =\dfrac{1}{n}~Y,~
e^{\overline{X}}
라오-블랙웰 정리
- 충분통계량은 단순히 한 가지가 될 수 있는 것이 아니다.
- 왜? 일대일대응만 되면 아무거나 충분통계량이니까!
- 그렇다면, 가장 효율적인 충분통계량을 어떻게 구할 것인가?
- 이런 상황에서 라오-블랙웰 정리를 쓸 수 있다.
E(\text{불편추정량}|\text{충분통계량})
- 이렇게 구해진 값 또한 충분통계량이다.
- 또한 여기에 추가로 계산을 할 필요 없이 그 자체가 불편추정량이다.