다항분포

다항분포 (multinomial distribution)

이항분포의 확장이라고 생각하면 된다.

\begin{bmatrix} Y_{1}\\ Y_{2}\\ \end{bmatrix} \sim \text{multinomial} (n, \begin{bmatrix} p_{1} \\ p_{2} \\ \end{bmatrix} )

P(Y_{1}=y_{1}, Y_{2}=y_{2}) = \dfrac {n!} {y_{1}!y_{2}!(n-y_{1}-y_{2})!} \, p_{1}^{y_{1}} \, p_{2}^{y_{2}} \, (1-p_{1}-p_{2})^{n-y_{1}-y_{2}}

주변확률함수 구하기

P\,(Y_{1} = y_{1}) = \sum_{y_{2}=0}^{n-y_{1}} \,p\,(Y_{1} = y_{1}, \,Y_{2} = y_{2}) \\[20pt] \begin{align*} &= \sum_{y_{2}=0}^{n-y_{1}}~\cdot~ \dfrac{n!} {y_{1}!~y_{2}!~(n-y_{1}-y_{2})!}~ p_{1}^{y_{1}}~ p_{2}^{y_{2}}~ (1-p_{1}-p_{2})^{n-y_{1}-y_{2}} \\[20pt] &= \frac{n!}{y_{1}!~(n-y_{1})!}~\cdot~ p_{1}^{y_{1}}~ \sum_{y_{2}=0}^{n-y_{1}} \dfrac{(n-y_{1})!} {y_{2}!~(n-y_{1}-y_{2})!}~ p_{2}^{y_{2}}~ (1-p_{1}-p_{2})^{n-y_{1}-y_{2}} \\[20pt] &= \binom{n}{y_{1}}~ p_{1}^{y_{1}}~ \{p_{2} + (1-p_{1}-p_{2})\} ^{n-y_{1}} \\[20pt] &= \binom{n}{y_{1}} ~p_{1}^{y_{1}}~ (1-p_{1})^{n-y_{1}} \end{align*}

그래서 $Y_{1} \sim \text{Binomial}(n,\ p_{1})$ 이다. 즉 다항분포의 주변분포는 이항분포다.

다항분포와 이항분포

다항분포는 이항분포에서 범주 수만 늘린 것이다. 둘의 관계는 세 방향에서 보인다.

범주가 둘이면 그대로 이항분포다. $k=2$ 이면 $y_{2} = n - y_{1}$ 이 자동으로 정해져 자유로운 변수가 $Y_{1}$ 하나뿐이고

P(Y_{1} = y_{1}) = \frac{n!}{y_{1}!\,(n-y_{1})!}\,p_{1}^{y_{1}}(1-p_{1})^{n-y_{1}} = \binom{n}{y_{1}}p_{1}^{y_{1}}(1-p_{1})^{n-y_{1}}

이 되어 $\text{Binomial}(n,\ p_{1})$ 과 같은 식이다.

주변분포도 이항분포다. 바로 위에서 유도한 대로 $Y_{i} \sim \text{Binomial}(n,\ p_{i})$ 이다. 직관적으로는 " $i$ 번째 범주냐 아니냐"로만 보면 각 시행이 성공확률 $p_{i}$ 인 베르누이 시행이 되기 때문이다. 그래서 기댓값과 분산은 이항분포의 것을 그대로 쓴다.

E[Y_{i}] = np_{i},\qquad \operatorname{Var}(Y_{i}) = np_{i}(1-p_{i})

다만 서로 독립이 아니다. 합이 $n$ 으로 묶여 있어 한 범주가 많이 나오면 다른 범주는 적게 나올 수밖에 없다. 실제로 공분산이 음수다.

\operatorname{Cov}(Y_{i},\ Y_{j}) = -np_{i}p_{j} \quad (i \neq j)

이 점이 "이항분포 여러 개를 그냥 나란히 둔 것"과 다항분포가 갈리는 자리다.

조건부분포는 다시 다항분포다. $Y_{1} = y_{1}$ 을 알고 나면 남은 $n - y_{1}$ 번의 시행이 나머지 범주에 나뉘는 문제가 되고, 그 확률은 $1 - p_{1}$ 로 다시 정규화된다.

(Y_{2},\ \ldots,\ Y_{k}) \mid Y_{1} = y_{1} \sim \text{multinomial}\left(n - y_{1},\ \frac{p_{2}}{1-p_{1}},\ \ldots,\ \frac{p_{k}}{1-p_{1}}\right)

다항정리

이항정리를 항의 개수만큼 늘린 것이 다항정리다.

(x_{1} + x_{2} + \cdots + x_{k})^{n} = \sum_{y_{1} + \cdots + y_{k} = n} \frac{n!}{y_{1}!\,y_{2}!\cdots y_{k}!}\,x_{1}^{y_{1}}x_{2}^{y_{2}}\cdots x_{k}^{y_{k}}

합은 $y_{i} \ge 0$ 이고 $\sum_{i} y_{i} = n$ 인 모든 정수 조합을 돈다. 여기서

\binom{n}{y_{1},\ y_{2},\ \ldots,\ y_{k}} = \frac{n!}{y_{1}!\,y_{2}!\cdots y_{k}!}

를 다항계수라 하고, 이는 $n$ 개를 크기 $y_{1}, \ldots, y_{k}$ 인 묶음으로 나누는 방법의 수다.

이 정리가 곧 확률의 합이 1이라는 증명이다. $x_{i}$ 자리에 $p_{i}$ 를 넣으면

\sum_{y_{1} + \cdots + y_{k} = n} \frac{n!}{y_{1}!\cdots y_{k}!}\,p_{1}^{y_{1}}\cdots p_{k}^{y_{k}} = (p_{1} + \cdots + p_{k})^{n} = 1^{n} = 1

이 된다. 다항분포의 확률함수가 정확히 그 좌변이므로, 모든 경우의 확률을 더하면 1이다.

$x_{i} = 1$ 을 넣으면 계수만 남아 다른 사실도 나온다.

\sum_{y_{1} + \cdots + y_{k} = n} \frac{n!}{y_{1}!\cdots y_{k}!} = k^{n}

즉 다항계수를 전부 더하면 $n$ 번의 시행에서 순서까지 구별한 경우의 수와 같다.

n=3인 케이스

범주가 셋이고 시행이 $n = 3$ 번인 경우는 가능한 결과가 열 가지뿐이라 손으로 전부 셀 수 있다. 확률함수가 실제로 어떻게 생겼는지 보기에 좋은 크기다.

$(y_{1}, y_{2}, y_{3})$ 은 $y_{i} \ge 0$ 이고 $y_{1} + y_{2} + y_{3} = 3$ 을 만족하는 조합이다. 그 수는

\binom{n + k - 1}{k - 1} = \binom{3 + 3 - 1}{3 - 1} = \binom{5}{2} = 10

이다. 각 조합과 다항계수는 다음과 같다.

$(y_{1}, y_{2}, y_{3})$	다항계수	$(y_{1}, y_{2}, y_{3})$	다항계수
$(3,0,0)$	1	$(1,2,0)$	3
$(0,3,0)$	1	$(0,2,1)$	3
$(0,0,3)$	1	$(1,0,2)$	3
$(2,1,0)$	3	$(0,1,2)$	3
$(2,0,1)$	3	$(1,1,1)$	6

계수를 전부 더하면 $3 \times 1 + 6 \times 3 + 6 = 27 = 3^{3}$ 으로 위 다항정리의 $k^{n}$ 과 맞는다.

숫자를 넣어 보자. $p = (0.5,\ 0.3,\ 0.2)$ 라 하면

P(Y = (2,1,0)) = \frac{3!}{2!\,1!\,0!}\,(0.5)^{2}(0.3)^{1}(0.2)^{0} = 3 \times 0.25 \times 0.3 = 0.225

P(Y = (1,1,1)) = \frac{3!}{1!\,1!\,1!}\,(0.5)(0.3)(0.2) = 6 \times 0.03 = 0.18

이다. 주변분포가 이항분포라는 것도 여기서 확인된다. $Y_{1} \sim \text{Binomial}(3,\ 0.5)$ 이므로

P(Y_{1} = 2) = \binom{3}{2}(0.5)^{2}(0.5)^{1} = 3 \times 0.125 = 0.375

인데, $y_{1} = 2$ 인 조합 $(2,1,0)$ 과 $(2,0,1)$ 의 확률을 직접 더해도

0.225 + \frac{3!}{2!\,0!\,1!}(0.5)^{2}(0.2) = 0.225 + 3 \times 0.05 = 0.375

로 같다.