- 범주형 자료에서 주로 사용하는 검정법이다.
- 즉, x가 베르누이 분포나 카테고리 분포를 따를 때 사용
카이제곱검정
- 독립변수와 종속변수 모두 범주형일 때 사용한다.
- 비모수 검정법의 일종이라고 할 수 있다.
통계량 Q
X_i \sim bernoulli(p) \\
H_0 : p = p_0 \\
H_1 : p \neq p_0
이 경우 size \alpha test를 모르므로, 앞에서 배운 CLT를 이용해 추정량을 구한다.
\hat p = \overline{X} =
\Biggr|~
\dfrac{\hat p - p_0}
{\sqrt{\frac{p_o(1-p_o)}{n}}}
~\Biggr| \le Z_{\alpha/2}
추정량 \hat p에 제곱을 한 것을 통계량 Q라고 하며, 카이제곱분포를 따른다.
Q = \dfrac{{(\hat p - p_0)}^2}
{\frac{p_o(1-p_o)}{n}}
\ge Z_{\alpha/2.}^2
\kern{20pt}
Q \sim \chi^2_{(1)}
통계량 Q를 정리해보면 다음과 같다.
\begin{align*}
Q &= \dfrac{{(\hat p - p_0)}^2}
{\frac{p_o(1-p_o)}{n}}
\cdot \dfrac{n^2}{n^2}
= \dfrac{{n^2(\hat p - p_0)}^2}
{n{p_o(1-p_o)}}
\\[20pt]
&= \dfrac{{(Y_1-np_0)}^2}{np_0} + \dfrac{{(Y_1-np_0)}^2}{n(1-p_0)}
\\[20pt]
&= \dfrac{{(Y_1-np_0)}^2}{np_0} +
\dfrac
{{[Y_2 - n(1-p_0)]}^2}
{n(1-p_0)}
\\[20pt]
&= \dfrac{\{(Y_1-E(Y_1)\}^2}
{E(Y_1)} +
\dfrac{\{Y_2 - E(Y_2)\}^2}
{E(Y_2)}
\end{align*}
- Y_1 = 1으로 나온 자료 (H_0을 따른다.)
- Y_2 = 0으로 나온 자료 (H_1을 따른다.)
만약 자료가 카테고리 분포를 따른다면, Q를 다음과 같이 확장할 수 있다.
Q = \dfrac{\{Y_1-E(Y_1)\}^2}
{E(Y_1)} + \cdots +
\dfrac{\{Y_n - E(Y_n)\}^2}
{E(Y_n)}
모형과 적합도
ex. 만약 자료의 결과가 4개인 경우라면?
\begin{align*}
H_0 &: p_1 = p_2 = p_3= p_4 = 1/4 \\
H_1 &: \text{not }H_0
\end{align*}
이 귀무가설은 일종의 모형으로도 볼 수 있다.
그래서 이러한 검정을 카이제곱 모형 적합도(goodness-of-fit) test라고도 한다.
H_0 : p_i = ik. \kern{10pt} k=1/10
귀무가설이 맞다면, 기댓값은 35/4일 것이다. 이를 기반으로 통계량 Q를 구하자.
Q = \dfrac{\{Y_1-35/4\}^2}
{35/4} + \cdots +
\dfrac{\{Y_4 - 35/4\}^2}
{35/4} \sim \chi^2~(3)
이 경우 Q \le \chi^2_{\alpha}~(3) 인 경우 귀무가설을 기각한다.
분할표
이러한 모형을 좀 더 쉽게 볼 수 있게 만들어 주는 것을 분할표라고 한다.
ex. 성별과 혈액형은 연관성이 있는가? (H_0 = 성별과 혈액형은 무관하다.)
|
A |
B |
O |
AB |
합 |
| 남 |
5 |
6 |
2 |
3 |
16 |
| 여 |
6 |
6 |
6 |
1 |
19 |
|
11 |
12 |
8 |
4 |
|
표를 다시 생각해보면 다음과 같다. 이를 기반으로 Q를 계산해보면…
|
A |
B |
O |
AB |
| 남 |
p_1q_1 |
p_1q_2 |
p_1q_3 |
p_1q_4 |
| 여 |
p_2q_1 |
p_2q_2 |
p_2q_3 |
p_2q_4 |
Q = \sum_i \sum_j \dfrac
{\{Y_{ij} - E(Y_{ij})\}^2}
{E(Y_{ij})} \sim
\chi^2_{~(1 \times 3)}
이 경우 Q \le \chi^2_{\alpha}~(3) 인 경우 귀무가설을 기각한다.
분할표의 특징
- 분할표는 자료의 갯수에 따라 1차원, 2차원…k차원도 만들 수 있다.
- 표 한칸을 셀이라고 한다.
- 셀 값이 0인 경우, 카이제곱분포 계산이 잘 되지 않으므로
fisher-exact test를 진행한다.
- 물론 셀값이 0이 아니어도 fisher-exact test를 할 순 있다.
분산분석: ANOVA
독립변수는 범주형, 연속변수는 연속형일 떄 사용한다.
- t검정의 확장이라고 생각하면 된다.
- 세 집단 이상에서 사용한다.
모형 만들기
다음과 같은 데이터와 가설이 있다고 치자.
Y_i \sim N(\mu_1, \sigma^2)\\
Y_i \sim N(\mu_2, \sigma^2)\\
Y_i \sim N(\mu_3, \sigma^2)\\\\
H_0 : \mu_1 = \mu_2 = \mu_3
이를 다음과 같이 바꿀 수 있다. (모수의 재구성)
\begin{align*}
Y_{ij} &= \mu_i + e_{ij}
\\[3pt]
&= \mu + \alpha_i + e_{ij}
\\[10pt]
H_0 &: \mu_1 = \mu_2 = \mu_3
\end{align*}
- e_{ij} \sim N(0, \sigma^2)
- 표준오차를 의미한다.
- 정규분포의 선형성을 생각해보면 식이 타당하다.
- \mu_i = \mu + \alpha_i
- \mu : 4개집단 전체의 평균
- \alpha_i : i번째 집단과 전체 평균의 차이
1요인 분산분석
- 일원분산분석. one-way ANOVA라고 한다.
- 하나의 요인(i)로 집단 3개를 나누는 기법이다.
위와 똑같은 데이터와 가설이 있다고 치자.
\begin{align*}
Y_{ij}
&= \mu + \alpha_i + e_{ij.}
\kern{10pt} e \sim N(0, \sigma^2)
\end{align*}
\\[10pt]
H_0 : \mu_i = 0 \kern{10pt}
i = 1,2,3
t분포를 따르는 검정통계량 T를 제곱해 통계량 F를 만든다.
T \sim t(d) ~\rightarrow~
T^2 \sim F(1, d)
데이터로 통계량 F는 다음과 같이 만든다.
통계량 F의 기각역은 다음과 같다. (유의수준 0.05)
\begin{align*}
F &= \dfrac{MSA}{MSE}
= \dfrac{\frac{SST}{m-1}}
{\frac{SSE}{n-m}}
\\[15pt]
F &\ge F_{\alpha}(m-1, n-1)
\end{align*}
표본의 갯수 = m = 3. 반복횟수 = n
MSA = \dfrac{1}{2}~
\sum_i\sum_j
{(Y_{ij} - \overline{Y_i})}^2
\\[10pt]
MSE = \dfrac{1}{3~(n-1)}~
\sum_i\sum_j
{(Y_{ij} - \overline{Y_{ij}})}^2
실제 데이터로 보기
|
1회 |
2회 |
3회 |
\overline{X_i} |
| X_1 |
13 |
8 |
9 |
10 |
| X_2 |
15 |
11 |
13 |
13 |
| X_3 |
8 |
12 |
7 |
9 |
| \overline{X} |
|
|
|
10.6 |
\begin{align*}
MSA &= \frac{1}{2} \cdot
[(13-10)^2 + \cdots + (15-13)^2
+ \cdots + (8-9)^2] \\[10pt]
MSE &= \frac{1}{3 \cdot (3-1)} \cdot
[(13-10.6)^2 +\cdots + (8-10.6)^2]
\end{align*}
2요인 분산분석
- 이원분산분석. two-way ANOVA라고 한다.
- 두개의 요인(i, k)로 집단을 나누는 기법이다.
위와 똑같은 데이터와 가설이 있다고 치자.
i를 성별, j를 혈액형, k를 반복횟수로 보자.
\begin{align*}
Y_{ijk}
&= \mu_{ij} + e_{ijk.}
\kern{10pt} e_{ijk} \sim N(0, \sigma^2)
\end{align*} \\[10pt]
i = 1,2 \\ j = 1,2,3,4 \\ k=1,2,3
- 자료는 총 24개
- 모수는 총 9개라고 할 수 있다. 왜? \mu_{ij} 8개 & \sigma^2 1개
- 이 경우 자료를 파악하기 힘들다.
따라서 오차로 잔차를 대체한다.
e_{ijk} = Y_{ijk} - \hat\mu_{ij}
이 경우 좀 더 수월하게 히스토그램을 그릴 수 있다.
모수의 변동
자료를 좀 더 잘 보기 위해 모수를 바꿀 수도 있다.
- 다음과 같이 모수를 바꿔보자.
\mu_{ij} = \mu + \alpha_i + \beta_j\\
- 아까의 자료를 기준으로 했을 때 모수가 5개로 주는 것을 확인할 수 있다.
- 차원 축소가 된 것이며, 효율성이 높아진다.
- 요인 간의 관계를 알아보자.
\begin{align*}
\mu_{ij} &= \mu + \alpha_i + \beta_j\\
&= \mu + \alpha_i + \beta_j + \alpha\beta_{ij}
\end{align*}
- \alpha\beta를 교호작용이라고 한다. (\alpha가 \beta에게 주는 영향)