검정이란?
- 가설이 맞는지 체크해보는 것.
- 가설의 대상 : 확률분포의 모수
귀무가설과 대립가설
- 귀무가설 : H_0 로 적는다.
- 대립가설 : H_1 로 적는다.
모수를 특정한 값으로 보는 가설을 simple hypothesis (단순검정)이라고 한다.
모수를 범위로 보는 가설을 composite hypothesis (복합검정)이라고 한다.
\begin{align*}
H_0 : \theta = \theta_0
&\rightarrow \text{simple}
\\
H_1 : \theta > \theta_0
&\rightarrow \text{composite}
\\
\\[10pt]
H_0 : \theta = \theta_0
&\rightarrow \text{simple}
\\
H_1 : \theta \neq \theta_0
&\rightarrow \text{composite}
\\
\end{align*}
임계점과 기각역
다음과 같이 귀무가설과 대립가설을 세웠다.
실제 표본이 있는 위치를 살펴보자. 하단의 작은 선으로 표기되어 있다.
이러한 표본을 검정통계량이라고 한다.
표본이 어디에 와야 귀무가설(또는 대립가설)이 맞다고 할 수 있을까?
통계학에서는 그 기준을 표본의 평균을 이용해 잡는다.
즉, 표본의 평균이 특정한 선을 넘는 경우를 가설이 옳고 그르다는 판단의 기준으로 잡는다.
- 이 특정한 선을 임계점이라고 한다.
- 임계점 안의 구역을 채택역이라고 한다.
- 임계점 밖의 구역을 기각역이라고 한다. 보통 기호 R로 쓴다.
- 구역의 넓이 = 확률함수의 넓이이므로, 이는 곧 확률이다.
따라서 각 가설별 채택역과 기각역을 다음과 같이 생각할 수 있다.
- 귀무가설의 채택역 : 1-\alpha
- 귀무가설의 기각역 : \alpha
- 대립가설의 채택역 : 1-\beta
- 대립가설의 기각역 : \beta
1종오류와 2종오류
각 기각역을 우리는 오류라고 부른다.
- 1종오류 \alpha : 귀무가설 H_0가 맞았는데도 대립가설을 채택할 확률
- 2종오류 \beta : 대립가설 H_1가 맞았는데도 귀무가설을 채택할 확률
그림으로 설명하면 다음과 같다.
수식으로 설명하면 다음과 같다.
\alpha = P(\underline{X} \in R ~|~ \theta = \theta_{H_0}) \\[10pt]
\beta = P(\underline{X} \in R ~|~ \theta = \theta_{H_1}) \\
유의수준과 검정력
또 이 기각역과 채택역을 다른 이름으로 부르기도 한다.
- 귀무가설의 기각역 \alpha = 유의수준
- 귀무가설을 기각할 확률 = 유의수준
- 귀무가설로 만든 검정통계량이 유의수준보다 큰 경우 기각
- 대립가설의 채택역 1-\beta = 검정력(power)
- 대립가설을 채택할 확률 = 검정력
- 대립가설로 만든 검정통계량이 유의수준보다 큰 경우 채택
- 보통 대립가설을 채택하고 싶어하기 때문에 검정력은 클수록 좋다.
- power function : 검정력(power)을 구하는 함수
\Kappa(a) = p(\underline{X} \in R ~|~ \theta = a)
p-value
- probability value의 줄임말로, 귀무가설을 판별하는 기준.
- 표본이 알려주는 1종오류 \alpha의 최댓값.
따라서, p-value가 귀무가설의 기각역 \alpha보다 크면 귀무가설을 채택.
- 가설로 정해놓은 \alpha를 넘어섰기 때문에 1종오류로 직결될 가능성 높음.
- 따라서 귀무가설을 반드시 채택해야 함.
반대로, p-value가 귀무가설의 기각역 \alpha보다 작으면 귀무가설을 기각
- 귀무가설을 기각해도 1종오류의 가능성이 낮음.
분포 기반 검정
주어진 데이터가 특정 분포를 따를 때 시도하는 검정
- 해당 분포의 가능도함수 L(\theta)를 준비한다.
- 분자에 귀무가설의 모수를 넣고, 분모에 대립가설의 모수를 넣는다.
- 이때의 비율이 특정한 수보다 작으면 기각한다는 조건(기각역)을 만든다.
- 이 기각역을 가지고 유의수준을 만든다.
그림으로 생각해보면, 두 종 모양 간의 비율을 생각하는 것.
비율이 1에 가까울수록 가깝게 된다. ⇒ 기각
비율이 0에 가까울수록 멀어진다. ⇒ 채택.
LR test (likelihood ratio)
H_0 : \theta = \theta_0 \\
H_1 : \theta \neq \theta_0 \\
- 가장 기본적인 분포 기반 검정. 양측 검정에서 사용한다.
- 분자의 모수 : 귀무가설의 모수를 넣어준다.
- 분모의 모수 : 모수의 mle, 즉 표본평균을 넣어준다.
\dfrac{L(\theta_{0})}{L(\hat\theta_{mle})} < c
UMP test (uniformly most powerful)
H_0 : \theta = \theta_0 \\
H_1 : \theta > \theta_0 \\
- 단측 검정 (simple vs composite)에서 사용가능한 방법
- 분자의 모수 : 귀무가설의 모수
- 분모의 모수 : 귀무가설의 모수보다 큰 아무 수!
\dfrac{L(\theta_{0})}{L(\theta_{1})} < c
MP test (most powerful)
H_0 : \theta = \theta_0 \\
H_1 : \theta = \theta_1 \\
- 둘 다 simple일 떄 사용 가능한 방법
- 분자의 모수 : 귀무가설의 모수
- 분모의 모수 : 대립가설의 모수
\dfrac{L(\theta_{0})}{L(\theta_{1})} < c
네이만-피어슨 정리
다음에 대한 기각역 R은 다음을 만족한다.
\begin{align*}
1.&~P(\mathbf{x} \in R~|~\theta = \theta_0)
\\[15pt]
2.&~R = \bigg\{
\dfrac{L(\theta_0~|~\mathbf{x})}{L(\theta_0~|~\mathbf{x})} \ge c
\bigg\}. 0 \le c \le 1
\end{align*}
이 경우 R은 1번을 만족하는 그 어떤 기각역보다 검정력이 작지 않다.
P(\mathbf{x} \in R~|~\theta = \theta_1) \ge P(\mathbf{x} \in R~|~\theta = \theta_0)
\\[10pt]
\therefore~P(\mathbf{x} \in R~|~\theta = \theta_0) = \alpha