확률변수를 정의역으로 삼는 함수를 만들어보자.
이를 통해 확률변수를 변환시키거나, 새로운 확률변수를 만들 수 있다.
확률변수의 변환
변수변환 - 일변수
-
우선 주어진 확률변수 간의 관계식이 일대일함수인지 보자.
-
일대일함수가 맡다면, 그 관계식의 역함수; g^{-1}(y)를 구하면 된다.
Y = g(X) ~\rightarrow~ x = g^{-1}(y) -
또한 관계식의 역함수를 미분한다. ⇒ 일종의 자코비안
-
이제 Y의 확률밀도함수를 다음과 같이 구한다.
f_Y(y) = f_X(g^{-1}(y)) \biggr\rvert \dfrac{d}{dy}g^{-1}(y) \biggr\rvert
예시
확률변수 X의 PDF가 f_X(x) = 3e^{-3x},~x>0라고 치자.
(1) Y = 2X + 5 의 확률밀도함수는 ?
계산
{y = 2x + 5}\kern{10pt}
\rightarrow \kern{10pt}
g^{-1}(y) = \frac{y-5}{2} = x
해당 함수는 일대일 함수가 맞다.
\frac{d}{dy}g^{-1}(y) = \frac{1}{2}
\\[15pt]
\begin{align*}
f_Y(y) &= f_X
\Big(\frac{y-5}{2}\Big)
\cdot \frac{1}{2}
\\[10pt]
&= \small\frac{3}{2}~e
\raisebox{0.7em}
{$\scriptstyle-3 ~\cdot
\textstyle \frac{y-5}{2}$}
\end{align*}
(2) Y = 1/X 의 확률밀도함수는 ?
계산
y = 1/x \kern{10pt}
\longrightarrow \kern{10pt}
g^{-1}(y) = 1/y = x
해당 함수는 일대일 함수가 맞다.
\frac{d}{dy}g^{-1}(y) =
-\frac{1}{y^2}
\\[15pt]
\begin{align*}
f_Y(y) &= f_X
\Big(\frac{1}{y}\Big)
\cdot \frac{-1}{y^2}
\\[15pt]
&= \small\frac{-3}{y^2}~
e\raisebox{0.9em}
{$ \textstyle \frac{1}{y}$}
\end{align*}
변수변환 - 다변수
- 주로 자코비안을 사용한다.
- 역함수를 구할 때 반드시 범위를 조심해야 한다.
- 직접 그림을 그리면서 확인하는 것이 좋다.
Y = f(X)
\kern{5pt}\longrightarrow\kern{5pt}
g^{-1}(Y) = X
\\[20pt]
f_{Y_1, Y_2}(y_1, y_2) =
f_{X_1, X_2}
\{~g^{-1}(y_1), g^{-1}(y_2)~\} \cdot |J|
예시
X, Y의 결합확률함수가 f_{X, Y}(x, y) = 2(x+y)이고, 0 \le x \le y \le 1 이다.
이때 Z = X + Y의 확률함수는?
범위 설정
Z_1 = X + Y 로, Z_2 = X 로 먼저 설정한다.
식을 변형하면 다음과 같다. X = {Z_2}_~,~~ Y =Z_1 - Z_2
이 상태에서 영역을 살펴보자.
0 \le x \le y \le 1 이었으므로, 0 \le Z_2 \le Z_1 - Z_2 \le 1.
0 \le Z_2 \le 1 \\
2 Z_2 \le Z_1 \\
Z_1 \le Z_2
자코비안과 확률함수
일단 자코비안을 계산해 보자.
자코비안의 정의는 다음과 같다. ⇒ 클릭!
J =
\begin{vmatrix}
0 & 1 \\
1 & -1
\end{vmatrix}
= -1
이제 Z_1의 확률함수를 만들어보자.
f_{Z_1, Z_2}(z_1, z_2) =
f_{X, Y}(Z_2, Z_1-Z_2) \cdot |J|
\\[20pt]
f_{Z_1}(z_1) =
\begin{cases}
~~\displaystyle\int_{0}
^{\small\frac{z_1}{2}}
2z_1~dz_2 = {z_1}^2~(0\le z_1\le 1)
\\[30pt]
~~\displaystyle\int_{z_1 - 1}
^{\small\frac{z_1}{2}}
2z_1~dz_2 = {-z_1}^2 + 2{z_1}
~(1 < z_1\le 2)
\end{cases}
새로운 분포 만들기 1 - 분포들 사이 관계성
- 확률분포 간의 관계성을 파악할 때 사용한다.
- 여기서는 주로 MGF를 이용
MGF를 이용 (MGF 이용)
MGF 이용 (MGF 이용)
새로운 분포 만들기 2 - 샘플링 확률분포
- 대부분 샘플링을 위한 분포라고 할 수 있다.
- 정규분포와 감마분포를 섞어서 만든 분포라고 할 수 있다.
- 즉, 확률변수의 변환을 이용해야 한다.
중심극한정리(CLT)
- Central limit Theorem, 줄여서 CLT 라고 한다.
- 굉장히 중요한 이론이라고 할 수 있다.
이론
- X_{1}, \dots, X_{n} are independent
- E(X_{1}), \dots, E(X_{n}) = \mu
- var(X_{1}), \dots, var(X_{n}) = \sigma^2 < -\infty
IF. 1,2,3을 만족하면,
\overline{X_n} = \dfrac{1}{n}~
(X_1 + \cdots+X_n)\text{이고, }~~
n \to \infty\text{일때,}
\\[20pt]
\mu_n = \dfrac{\sqrt{n}~(\overline{X_n}-\mu)}{\sigma}
~\rightarrow~ N(0,~1)
\text{으로 근사.}
\because~
\lim\limits_{n \to \infty}
~F_{\mu_n}(\mu) =
\lim\limits_{n \to \infty}
~P(\mu_n \le \mu) = \Phi(\mu)
- X_{i}가 어떤 분포이든 상관없이 성립.
- 즉, X_{i}들이 i.i.d일 필요가 없다.
단, \overline{X_n}~~\nrightarrow~~ N(\mu, \frac{\sigma^2}{n})
- n이 무한대로 수렴할 때의 결과가 CLT.
- 만약 n이 무한대로 가는데, N(u, 0)이면 정규분포의 모양이 소멸.
이를 이용해 모집단의 분포를 몰라도 CLT를 통해 정규분포인 것처럼 계산할 수 있음.
\mu_n = \dfrac{\sqrt{n}~(\overline{X_n} - \mu)}{\sigma}
~\Rightarrow~ N(0,~1)
\\[25pt]
\sqrt{n}~(\overline{X_n} - \mu)
~\Rightarrow~ N(0,~\sigma^2)
예시
\begin{align*}
\text{ex. }~&X \sim Bernoulli(p)
\\
&Y = \sum X_i \sim Binominal(n,~p)
\\
&X_i\text{ 's are i.i.d}
\end{align*}
P\Big(\sum x_i \le
\dfrac{n}{2}\Big) =
\sum_{x \le n/2}
P(Y_n = x) =
\sum_{x \le n/2}~
\binom{n}{2}~p^x~(1-p)^{n-x}
P~\bigg(\dfrac{\sum x_i}{n}
= \overline{X_n} \le
\dfrac{1}{2}\bigg)
=
P~\bigg(\dfrac
{\sqrt{n}~(\overline{X_n} -p)}
{\sqrt{p(1-p)}}
\le
\dfrac
{\sqrt{n}~(1/2 -p)}
{\sqrt{p(1-p)}}
\bigg)
\lim\limits_{n \to \infty}~
P~\bigg(\overline{X_n} \le
\dfrac{1}{2}\bigg)
=
\Phi~\bigg(
\dfrac
{\sqrt{n}~(1/2 -p)}
{\sqrt{p(1-p)}}
\bigg)
작동원리
\mu_n = \dfrac{\sqrt{n}~
\big(\overline{X_n}-\mu \big)}{\sigma}
~\xrightarrow{n \to \infty}~
N(0,~1) \text{이므로}
\\[20pt]
\lim\limits_{n \to \infty}
~M_{\mu_n}(t) = \exp
\bigg( \dfrac{t^2}{2} \bigg)~
\text{이지 않을까?}
이를 증명해보자면 다음과 같다.
\text{우선, }~
X_i - \mu = {Y_i}_.~~
\mu_n = \dfrac
{\sqrt{n} - \overline{Y}}{\sigma}
\\[20pt]
\begin{align*}
&M_{\mu_n}(t) = E(e^{t\mu_n}) =
E \bigg[ \exp
\Big( \dfrac{t~\sqrt{n}~\cdot
~\overline{Y}}{\sigma} \Big)
\bigg] \\[20pt]
&= E\bigg[
\exp \big( \frac{t~\sqrt{n}}{\sigma} \big) \cdot
\dfrac{1}{n}~(Y_1 + \cdots + Y_n)
\bigg]
\\[20pt]
&= E\bigg[
\exp \big( \frac{t~\sqrt{n}}{\sigma} \cdot Y_1 \big)
\cdots
\exp \big( \frac{t~\sqrt{n}}{\sigma} \cdot Y_n \big)
\bigg]
\\[20pt]
&= \Bigg\{E\bigg[
\exp \big( \frac{t~\sqrt{n}}
{\sigma} \cdot Y_1 \big)
\bigg]\Bigg\}^{n}
\\[20pt]
&= \bigg[ M_{Y_1}
\big( \frac{t~\sqrt{n}}
{\sigma}\big) \bigg]^{n}
\end{align*}
\text{그리고, }~
\bigg[ M_{Y_1}
\big( \frac{t~\sqrt{n}}
{\sigma}\big) \bigg]^{n}
=
g~\big( \frac{t~\sqrt{n}}
{\sigma}\big)
\\[15pt]
\lim\limits_{n \to \infty}~
g~\big( \frac{t~\sqrt{n}}
{\sigma}\big) =
M_Y(0) = 1
\\[15pt]
\lim\limits_{n \to \infty}~
\bigg[ g~\big( \frac{t~\sqrt{n}}
{\sigma}\big) \bigg]^{n} =
\lim\limits_{n \to \infty}~
\bigg[ g~\big( \frac{s\cdot t}
{\sigma}\big)\bigg]
^{1/{s^2}}
다시 여기에 로그를 취한다.
s = 1/{\sqrt{n}} 이기 때문에 n \to \infty 도 s \to 0 로 바뀐다.
\begin{align*}
&\lim\limits_{s \to 0}~\log~
\bigg[ g~\big( \frac{s\cdot t}
{\sigma}\big)\bigg]
^{1/{s^2}}
=
\lim\limits_{s \to 0}~
\frac{1}{s^2}~\log~g~
\big( \frac{s\cdot t}{\sigma}\big)
\\[20pt]
&= \lim\limits_{s \to 0}~
\frac{\log \bigg[ g~\big( \dfrac{s\cdot t}
{\sigma}\big)\bigg]}{s^2}
\kern{20pt}
\text{"L\` hopital's rule"}
\\[20pt]
&= \lim\limits_{s \to 0}~
\dfrac{g^{\prime}
\big(\frac{s\cdot t}{\sigma}\big)}{g
\big(\frac{s\cdot t}{\sigma}\big)}
\cdot
\dfrac{t}{\sigma}
\cdot
\dfrac{1}{2s}
\\[20pt]
&= \dfrac{t}{2s}~\cdot~
\lim\limits_{s \to 0}~
\dfrac{g^{\prime}
\big(\frac{s\cdot t}{\sigma}\big)}{s \cdot g
\big(\frac{s\cdot t}{\sigma}\big)}
\\[20pt]
&= \dfrac{t}{2s}~\cdot~
\lim\limits_{s \to 0}~
\dfrac{g^{\prime\prime}
\big(\frac{s\cdot t}{\sigma}\big)
\cdot
\frac{t}{\sigma}}{g\big(\frac{s\cdot t}{\sigma}\big)
+ s g^{\prime}\big(\frac{s\cdot t}{\sigma}\big)\cdot\frac{t}{\sigma}
}
\\[20pt]
&= \dfrac{t}{2s}~\cdot~
\dfrac
{\sigma^2 \cdot \frac{t}{\sigma}}
{1 + 0 + 0}
~=~ \dfrac{t^2}{2}
\end{align*}
그래서, 위의 질문과 같이 결과적으로 정규분포화 된다고 할 수 있다.
\log~
\bigg[ g~\big( \frac{s\cdot t}
{\sigma}\big)\bigg]
^{1/{s^2}}
\kern{15pt}\longrightarrow\kern{15pt}
\dfrac{t^2}{2}
\\[20pt]
\lim\limits_{n \to \infty}
~M_{\mu_n}(t)~=~
\bigg[ g~\big( \frac{s\cdot t}
{\sigma}\big)\bigg]
^{1/{s^2}}~=~\exp
\bigg( \dfrac{t^2}{2} \bigg)~
~=~M_z(t)
순서통계량
- 확률변수의 함수를 응용하는 대표적인 예시라고 할 수 있다.
- 순서통계량 문서 참고