다변량 확률분포 (연속형)
- 기본적으로는 조건부분포를 안다고 가정하고 시작.
- 이변량 확률분포 = 조건부확률 속의 표를 무조건 생각하는 것으로 시작.
- 변수가 많아지므로 벡터와 행렬이 들어갈 수 있다. 모르면…클릭!
일변수처럼 하나의 확률분포만 존재하지 않는다.
결합확률분포
- 결합확률분포: 중적분을 사용해서 구해야 한다.
- 누적분포함수: 역시 관계는 같다.
- 결합확률분포의 평균 = 평균벡터
- 결합확률분포의 분산 = 공분산
- 왜? 두 변수 모두의 분산이므로
\begin{align*}
F_{X,Y}(x,y) &=
\int\int f_{X,Y}(x,y)dxdy
\\\\
E(XY) &= \int\int xy f_{X,Y}(x,y) dxdy \\\\
Cov(X,Y) &= E(XY) - E(X)E(Y)
\end{align*}
주변확률분포 (marginal)
- 결합확률분포의 sum이라는 것을 표로 짐작할 수 있다.
- 사실 각 변수들의 분포라고 생각하면 편하다.
F_{X}(x) = \int f_{X,Y}(x,y)~dx \\[10pt]
f_{X}(x) = \frac {\partial}{\partial x}\, F_{X}(x)
\\[10pt]
E(X) = \int x~f_{X,Y}(x,y)~dx
\\[20pt]
F_{Y}(y) = \int f_{X,Y}(x,y) \, dy \\[10pt]
f_{Y}(y) = \frac {\partial}{\partial y}\, F_{Y}(y)
\\[10pt]
E(Y) = \int y~f_{X,Y}(x,y)~dy
조건부 확률분포와 조건부 기댓값
조건부 확률분포
f~_{Y|X=x}~(x) = \dfrac
{f_{X,Y}(x,y)}
{f_{X}(x)}
f~_{X|Y=y}~(x) = \dfrac
{f_{X,Y}(x,y)}
{f_{Y}(y)}
조건부 기댓값
E(X|Y=y) = \int_{-\infty}^{\infty}
~x \cdot f~_{X|Y=y}~(x)~dx
E(Y|X=x) = \int_{-\infty}^{\infty}
~y \cdot f~_{Y|X=x}~(x)~dy
- 실제 계산 시 범위를 조심해야 한다.
예시
\begin{align*}
f_{Y|X=x}(y) &=
\dfrac{f_{X,Y}(x,y)}{f_X(x)}
\\[20pt]
&= \dfrac{k(x+y)~I(0<x<y<25)}
{\frac{1}{2}
(25+10x-3x^2)~I(0<x<5)}
\\[20pt]
&= 2 \cdot
\dfrac{x+y}{25+10x-3x^2}
~I(0<x<y<25)
\end{align*}
E(Y|X=x) =
\int_{-\infty}^{\infty}
y \cdot f~_{Y|X=x}~(y)~dy
\\[20pt]
I(0<x<y<25)
\rightarrow
I(0<x<5)
\begin{align*}
&=\int_{x}^{5}~y \cdot
\dfrac{x+y}{25+10x-3x^2}
~dy~I(0 < x < 5)
\\[20pt]
&= \dfrac{1}{25+10x-3x^2}
\cdot \bigg[ \dfrac{x}{2}y^2 +
\dfrac{1}{3}y^3
\bigg]_{x}^{5}
\\[20pt]
&= \dfrac{1}{(3x+5)(x-5)}
\cdot \bigg\{
\dfrac{x}{2}(5^2 - x^2) +
\dfrac{1}{3}(5^3 - x^3)
\bigg\}
\\[20pt]
&= \dfrac{1}{6(3x+5)}
\cdot \bigg(
5x^2+5x+25+5+x^2 \bigg)
\\[20pt]
&= \dfrac{1}{6(3x+5)}
\cdot \bigg(
5x^2+25x+50 \bigg)
\end{align*}
\therefore~
E(Y|X=x) = \dfrac{5}{6}
\cdot
\dfrac{x^2+5x+10}
{3x+5}
이중 기댓값
\begin{align*}
E(Y) &= E[E(X\rvert Y)] \\[10pt]
Var(Y\rvert X) &=
E(Y^2\rvert X)-\{E(Y\rvert X)\}^2
\\[10pt]
Var(Y) &=
E\big[Var(Y\rvert X) \big]
- Var\big[E(Y\rvert X) \big]
\end{align*}
\begin{align*}
&Var(Y) = E(Y^2)-\{E(Y)\}^2\\[10pt]
&=E[E(Y^2\rvert X)]-
\{E[E(X\rvert Y)]\}^2\\[10pt]
&=E\bigg\{
E(Y^2\rvert X) - E(Y\rvert X)^2
+ E(Y\rvert X)^2 \bigg\}^2 +
\{E[E(X\rvert Y)]\}^2\\[10pt]
&=
E\bigg\{
E(Y^2\rvert X) -
E(Y\rvert X)^2\bigg\}
+ E[E(Y\rvert X)^2]
- \bigg\{E[E(Y\rvert X)]\bigg\}^2
\\[20pt]
&= E\big[Var(Y\rvert X) \big]
- Var\big[E(Y\rvert X) \big]
\end{align*}
예시1
E(Y|X=x) = g(x), \kern{10pt}
E[E(Y|X=x)] = E(g(x))
\therefore~E(g(x)) =
\int_{-\infty}^{\infty}
g(x)~f_X(x)~dx
\\[20pt]
\begin{align*}
&= \int_{-\infty}^{\infty}
~\dfrac{5}{6}
\cdot
\dfrac{x^2+5x+10}{3x+5}
\cdot
\dfrac{k}{2}~(25 + 10x -x^2)
~I(0 < x < 5)dx
\\[20pt]
&= \dfrac{5}{6}\cdot\dfrac{k}{2}
(-1)~\int_{0}^{5}~
\dfrac{x^2+5x+10}{3x+5}
\cdot (3x+5)
\cdot (x-5)
\\[20pt]
&= -\dfrac{5}{12}~
\int_{0}^{5}~(x^2+5x+10)
\cdot(x-5)~dx
\\[20pt]
&= -\dfrac{5}{12}~
\int_{0}^{5}~(x^3-15x-50)~dx
\\[20pt]
&= -\dfrac{5}{12}~
\bigg[\dfrac{1}{4}x^4 +
- \dfrac{5}{12}
- 50x
\bigg]_{0}^{5}
=~\dfrac{15}{8}
\\[20pt]
\end{align*}
예시2
X \sim bernoulli(p)
Y\rvert X=x \sim exp(x+1)
Var(Y) = E\big[ Var(Y|X) \big] + Var\big[ E(Y\rvert X) \big]
Var(Y\rvert X=x) =
\Big(\dfrac{1}{x+1}\Big)^2
\\[20pt]
\begin{align*}
&\therefore~Var(Y) =
E\Big[\dfrac{1}{x+1}\Big]^2
+ Var\Big(\dfrac{1}{x+1}\Big)
\\[20pt]
&= (1-p) + \dfrac{p}{4} +
E\Bigg[
\bigg(\frac{1}{x+1}\bigg)^2
\Bigg]
- \Bigg\{E\bigg[
\dfrac{1}{x+1} \bigg]^2 \Bigg\}
\\[20pt]
&= 2(1-p) + \dfrac{p}{2}
+ \Bigg\{E\bigg(\dfrac{1}{x+1} \bigg)^2 \Bigg\}
\\[20pt]
&= 2(1-p) + \dfrac{p}{2}
+ (1-p+\dfrac{p}{2})^2
\\[20pt]
&= 2 - 2p + \dfrac{p}{2}
- 1 + p - \dfrac{p^2}{4}
\\[20pt]
&= 1 -\dfrac{1}{2}p
-\dfrac{1}{4}p^2
\\[20pt]
\end{align*}
다변량 분포 (이산형)
- 연속형과 크게 다르지 않으나, 적분 대신 시그마를 사용하는 것이 차이점.
- 시그마 계산 팁 ⇒ 클릭
예시 - 결합확률분포
- 결합확률분포 ⇒ 시그마를 n번 사용한다. (n = 변수의 갯수)
P(X=x, Y=y) =
kxy~~I(1 \le x < y \le 5)
,~x\in\mathbb{N},~y\in\mathbb{N}
1 = \sum_{x}\sum_{y}P(X=x,~Y=y)
\\[20pt]
\begin{align*}
&= \sum_{x=1}^{4}\sum_{y=1}^{5}~kxy
\kern{10pt}
\text{(범위 때문에 위끝, 아래끝 조정)}
\\[20pt]
&= k~\sum_{x=1}^{4}~x~\sum_{y=1}^{5}y
\\[20pt]
&= k~\sum_{x=1}^{4}~
\bigg(\sum_{y=1}^{5}y - \sum_{y=1}^{x}y \bigg)
\\[20pt]
&= k~\sum_{x=1}^{4}~
\bigg(\dfrac{5\cdot6}{2} - \dfrac{x(x+1)}{2} \bigg)
\\[20pt]
&= k~\bigg\{
15\cdot\sum_{1}^{4}x
-\dfrac{1}{2}\cdot
\Big(\dfrac{4\cdot5}{2}\Big)^2
-\dfrac{1}{2}\cdot
\Big(\dfrac{4\cdot5\cdot9}{6}\Big)
\bigg \}
\\[20pt]
&= k~\bigg\{
15\cdot10
-\dfrac{1}{2}\cdot100
-\dfrac{1}{2}\cdot3
\bigg \}
\\[20pt]
&=k \cdot \dfrac{170}{2} = 1
\kern{20pt}
\therefore~k = \dfrac{2}{170}
\end{align*}
P(X=x, Y=y) = \dfrac{2}{170}xy
~~I(1 \le x < y \le 5),~x\in\mathbb{N},~y\in\mathbb{N}
예시 - 주변확률분포
- 주변확률분포 ⇒ 변수 하나를 고정하고, 시그마를 n-1번 사용해 구한다.
P(X=x) = P(X=x,~1\le Y\le5)\\[20pt]
\begin{align*}
&=
\sum_{y=1}^{5}~P(X=x,~Y=y)
\\[20pt]
&= \sum_{y=2}^{5}~~
kxy~I(1 \le x < y \le 5)
\\[20pt]
&= \sum_{y=2}^{5}~~
kxy~I(1 \le x \le 4)
~I(x < y \le 5)
\\[20pt]
&= kx~\cdot\dfrac{(5-x)(x+1+5)}{2}
~I(1 \le x \le 4)
\end{align*}
\therefore~
P(X=x) =
kx~\cdot\dfrac{(5-x)(x+1+5)}{2}
~~I(1 \le x \le 4)
- X의 평균
\begin{align*}
E(X) &= \sum_{x=1}^{4}~xP(X=x)
\\[20pt]
&=1\cdot P(X=1) + 2\cdot P(X=2)
+ \cdots + 4\cdot P(X=4)
\\[20pt]
&=\dfrac{k}{2}
~(28 + 96 + 162 + 160) =223k
= \dfrac{448}{170} = 2.\text{xx}
\end{align*}
예시 - 조건부확률분포
조건부확률분포 ⇒ 연속형과 마찬가지로 (결합확률분포)/(조건확률분포)라고 보면 된다.
\begin{align*}
&P(Y=y\rvert X=x) = \dfrac{P(X=x, Y=y)}{P(X=x)}
\\[25pt]
&=kxy~~I(1 \le x < y \le 5)
\div
\bigg\{
~\dfrac{kx(5-x)(x+6)}{2}
~~I(1 \le x \le 4)
\bigg\}
\\[20pt]
&=kxy \cdot
\dfrac{2}{kx(5-x)(x+1+5)} \cdot
\dfrac
{I(1 \le x < y \le 5)}
{I(1 \le x \le 4)}
\\[20pt]
&= \dfrac
{2y}{(5-y)(x+6)}~
I(x < y \le 5)
\end{align*}
- 조건부 평균 구하기
\begin{align*}
&E[P(Y, X=1)] =
\sum_{y}~y~P(Y=y\rvert X=1)
\\[20pt]
&=~\sum_{y}~y \cdot~
\dfrac{2y}{4 \cdot 7}
= \sum_{y=2}^{5}~
\dfrac{1}{14}~y^2~
\\[20pt]
&=~\dfrac{5}{14}
\bigg(\dfrac{5\cdot6\cdot11}{6} -1 \bigg)
= \dfrac{27}{7}
= 3.\text{xx}
\end{align*}
-
조건부 공분산
cov(X_1,X_2|Y) = E(X_1,X_2|Y) - E(X_1|Y)E(X_2|Y)
독립성과 MGF
다변량 분포의 독립성
- 분포끼리 서로 독립인지 알 수 있는 방법이 존재한다.
\begin{align*}
\text{discrete} &\rightarrow
P(X=x, Y=y) = P(X=x) \cdot P(Y=y)
\\[20pt]
\text{continuous} &\rightarrow
F_{X, Y}(x, y) = P(X\le x, y\le x)
= P(X\le x, Y\le y)
\\[20pt]
&= P(X\le x) \cdot p(Y\le y)
= F_X(x) \cdot F_Y(y)
\end{align*}
다만 해당방법이 너무 계산이 많이 필요하다면, 아래의 방법을 이용할 수도 있다.
다변량 분포의 MGF
\begin{align*}
M_{X,Y}(s,t) &= E(e^{sX + tY})
\\[20pt]
&=\int\int_{\mathbb{R}}
e^{sX + tY}~f_{X,Y}(x,y)~dxdy
\\[20pt]
&=\int\int_{\mathbb{R}}
~e^{sX}~e^{tY}~f_X(x)~f_Y(y)~dxdy
\\[20pt]
&=\int~e^{tY}~f_Y(y)~
\bigg(\int e^{sX}~f_X(x)dx\bigg) ~dy
\\[20pt]
&=M_X(s) \cdot M_Y(t)
\end{align*}
만약 X와 Y가 모두 독립이라면 MGF 역시 각각의 mgf의 곱으로 표현된다.
\begin{align*}
&M_{X_1,\cdots,X_n}(t_1,\cdots,t_n)
= E\Big(e^{t_1X_1 + \cdots + t_nX_n}\Big)
\\[20pt]
&= E\Big(e~^{\bold{t}^{\prime}
\bold{X}}\Big)
= M_{\bold{X}}(\bold{t})
\end{align*}
조건부 MGF
M_{X_1\rvert X_2=x_2}(t)
- Given X_2 = x_2, the conditional MGF of X_1
- 미분 시 조건부기댓값 도출
상관계수
\rho =
\dfrac {cov(X,Y)}{Var(X)~Var(Y)}
-
X와 Y의 상관관계가 얼마나 강한지 예측할 때 쓰는 자료.
-
구하는 과정은 다음과 같다.
- 결합확률분포 분석 ⇒ 1이 되는지 확인해서 미지수 채워넣기
- f_X(x) 구하고, E(X), Var(X) 구하기
- f_Y(y) 구하기, E(Y), Var(Y) 구하기
- cov(X, Y) = E(XY) - E(X)E(Y) 구하기
계산이 너무 어렵다면, 이중기댓값을 대신 쓸 수도 있다.
-
만약 \rho = 1 이면, 확률표의 모양이 정사각형인가?
⇒ 맞긴 한데, 꼭 그렇다고 생각하지는 않는 것이 좋다.