혼합형 확률변수
X가 확률변수면, X : \Omega \rightarrow \mathbb{R}.
이를 함수 형태로 적어보면 X(w), w \in \Omega
P(X = 1) =
P(\{w: X(w) = 1, w \in \Omega \})
\\[10pt]
P(X = k) =
P(\{w: X(w) = k, w \in \Omega \})
변수가 두 개인 경우에도 다음과 같이 적어준다.
\begin{align*}
P(X=a,~Y=b) &=
P\big(
\{w|X(w)=a\} \cup \{w|Y(w)=b\}
\big)
\\[10pt]
&=
P\big(
\{w|X(w)=a,~Y(w)=b\}
\big)
\end{align*}
만약 치역이 이산형 ⇒ 이산형 확률변수. pmf를 이용하면 된다.
만약 치역이 연속형 ⇒ 연속형 확률변수. pdf를 이용하면 된다.
그러나, 치역이 이산+연속형이면? 분포함수 cdf를 이용해서 정의한다.
F_{X}(x) = P(X \le x) =
\sum_{a}^{b} P(X=k) +
\int_{b}^{c}~f_X(y)dy
- 다만 분포함수를 이용하는 것은 힘들고 어려울 때가 있다.
- 분포함수를 이용하지 않고 이산확률변수와 연속확률변수를 통합해서 계산할 수 있을까?
- 이때, 스틸체스 적분을 이용해서 확률을 구한다.
스틸체스 적분
원래 적분의 모양은 다음과 같다.
\int_{a}^{b} f(x)dx = \sum_{k=0}^{n-1}~\dfrac{b-a}{n}
~f\bigg(a + \Big(\small\frac{b-a}{n}\Big)k \bigg)
여기서의 전제는 “모든 사각형의 가로 간격이 모두 같다”(\frac{b-a}{n}) 는 것이다.
하지만 만약, 모든 사각형의 가로 간격이 전부 다르다면?
이때, 일단 전제조건이 필요하다.
x_1 < x_2 < \cdots < x_n
\\[10pt]
\lim\limits_{n \to \infty}~
max(x_2-x_1,~x_3-x_2,~\cdots,
~x_n-x_{n-1}) = 0
이 상태에서 식을 만들어보자.
- 우선 가로는 다음과 같을 것이다. ⇒ x_{i+1} - x_{i}
- 또한 세로는 다음과 같을 것이다. ⇒ f(x_i)
이를 다 더해보면(sum) 다음과 같은 결과가 나온다.
\int_{b}^{a}f(x)dx=
\lim\limits_{n \to \infty}
\sum_{i=1}^{n-1}~
(x_{i+1} - x_{i})~f(x_i)
이를 스틸체스 적분이라고 한다. 사실 리만 적분과 큰 차이가 없어보이지만….
아까의 식에서 x_i 라는 수 대신 F(x_i) 라는 함수를 집어넣어보자.
\int_{b}^{a}g(x)dF =
\lim\limits_{n \to \infty}
~\sum_{i=1}^{n-1}~
\{F(x_{i+1}) - F(x_{i})\}~g(x_i)
이 상태에서 이산형과 연속형의 확률을 모두 구할 수 있다.
확률변수가 이산형인 경우
\int_{b}^{a}g(x)dF =
\lim\limits_{n \to \infty}
~\sum_{i=1}^{n-1}~g(x_i)~
\{F(x_{i+1}) - F(x_{i})\}
- 두 가지 상황을 생각해보자.
- 만약 F(x_{i+1}) -F(x_{i}) = 1 -1 = 0 이라면 전체 식의 값이 0이 된다.
- 반면 F(x_{i+1}) -F(x_{i}) = 1/2 - 1/3~\not= 0 이라면 전체 식의 값은 0이 아니다.
- 이를 그림으로 그려보면 다음과 같다.
- 이는 이산확률변수의 point mass와 정확히 같다.
확률변수가 연속형인 경우
\int_{b}^{a}g(x)dF =
\lim\limits_{n \to \infty}
~\sum_{i=1}^{n-1}~g(x_i)~
\{F(x_{i+1}) - F(x_{i})\}
\\[15pt]
\int_{b}^{a}g(x)dF =
\lim\limits_{n \to \infty}
~\sum_{i=1}^{n-1}~g(x_i)~
(x_{i+1} - x_{i})~\cdot~
\dfrac{F(x_{i+1}) - F(x_{i})}
{(x_{i+1} - x_{i})}
\text{i는 어찌되었건 무한대까지 커진다. 이 상황에서 한번 생각해보면,}
\\[15pt]
~\textcolor{blue}
{\dfrac
{F(x_{i+1}) - F(x_{i})}
{(x_{i+1} - x_{i})}}~
\text{를 도함수처럼 생각한다.}
\rightarrow
\textcolor{blue}{f(x_i)}
\\[10pt]
\textcolor{red}{(x_{i+1} - x_{i})}
~\text{는 미소구간로 생각할 수 있다.} \rightarrow \textcolor{red}{dx}
\\[10pt]
\begin{align*}
\int_{b}^{a}g(x)dF =&
\lim\limits_{n \to \infty}
~\sum_{i=1}^{n-1}~g(x_i)~
(x_{i+1} - x_{i})~\cdot~f(x_i)
\\[20pt]
=&
\lim\limits_{n \to \infty}
~\sum_{i=1}^{n-1}~g(x_i)~
\textcolor{blue}{f(x_i)}~
\cdot~
\textcolor{red}{(x_{i+1} - x_{i})}
\\[20pt]
=& \int_{b}^{a}g(x)
\textcolor{blue}{f(x)}
\textcolor{red}{dx}
\\[40pt]
\int_{b}^{a}g(x)dF =& \int_{b}^{a}g(x)f(x)dx =
E\big[ g(x) \big]
\end{align*}
스틸체스 적분 : 예시 1 (이산 & 연속)
이산형 확률변수
\begin{align*}
P(X=x) = \dfrac{1}{2}~I(x=1) +
\dfrac{1}{3}~I(x=2) +
\dfrac{1}{6}~I(x=7)
\\[15pt]
F_{X}(x) = P(X \le x) =
\dfrac{1}{2}~I(x=1) +
\dfrac{1}{3}~I(x=2) +
\dfrac{1}{6}~I(x=7)
\end{align*}
\begin{align*}
&E(X) = \int_{0}^{8}x~dF(x)
=\lim\limits_{n \to \infty}~
\sum_{i=1}^{n-1}~x_i~
F(x_{i+1}-x_{i})
\\[20pt]
&= \sum_{i=1}^{\infty}~x_i~\times 0 ~+~
(1-\epsilon_{1n})\cdot\dfrac{1}{2} +
(2-\epsilon_{2n})\cdot\dfrac{1}{3} +
(7-\epsilon_{3n})\cdot\dfrac{1}{6}
\end{align*}
그림으로 한 번 살펴보자.
0으로 변해버린 구간은 jump가 없다는 뜻.
\textcolor{blue}{n - \epsilon_{m}} 인 구간은 jump가 있다는 뜻.
연속형 확률변수
X \sim \text{uniform(1, 2)} \kern{10pt} f_X(x) = I(1\le X\le 2)
\\[15pt]
F_{X}(x) = (x-1)~I(1 < X < 2)
+ I(x < X)
\begin{align*}
E(X) &= \int_{0}^{3} x~dF_X(x)
= \lim\limits_{n \to \infty}~
\sum_{i=1}^{n}~
x_i~\{F(x_{i+1})-F(x_i) \}
\\[15pt]
&=\lim\limits_{n \to \infty}~
\sum_{i=1}^{n}~x_i\cdot
(x_{i+1}-x_i) \cdot
\dfrac{F(x_{i+1})-F(x_i)}
{x_{i+1}-x_i}
\\[17pt]
&\kern{30pt}\text{(fractions : change to derivative)}
\\[15pt]
&=\lim\limits_{n \to \infty}~
\sum_{i=1}^{n}~x_i~\cdot
(x_{i+1}-x_i) \cdot f(x_{i})
\\[15pt]
&=\lim\limits_{n \to \infty}~
\sum_{i=1}^{n}~x_i~\cdot f(x_{i}) \cdot (x_{i+1}-x_i)
\\[17pt]
&= \int_{0}^{3}~x~f(x)~dx
= \int_{0}^{3}~x~I(1<x<2)~dx
\\[17pt]
&= \int_{1}^{2}~x~dx =
\dfrac{x^2}{2}~\bigg\vert_{1}^{2} = 1.5
\end{align*}
왜 도함수가 되는가?
\dfrac{F(x_{i+1})-F(x_i)}
{x_{i+1}-x_i} \text{일때, }~~
i \to \infty~\text{이면} \kern{5pt}
x_{i+1}\text{는} \kern{5pt}
x_i\text{에 가까워진다.}
\\[10pt]
\text{이때, }F(x_{i+1}) \text{ 역시} \kern{5pt}
F(x_i)\text{에 가까워진다.}
\\[15pt]
\text{반면, 이산형은 }F(x_{i+1}) \text{가 아예} \kern{5pt}
F(x_i)\text{와 같아진다.}
스틸체스 적분 : 예시 2 (혼합)
F_X(x) =
{1 \over 3}~I(X=1)
+ \bigg\{{1\over 6}(x-1) +
{1 \over 3} \bigg\}~I(1<X<2)
+ I(2\le X)
점핑이 일어난 부분 = point mass
그림을 그려보면 왼쪽과 같다.
해당 부분을 찾아보면 다음과 같다.
- x=1 일때
- x=2 일때
계산 해보기
기댓값을 구하면 다음과 같다.
E(X) = \int_{0}^{3}~XdF(x) =
\lim\limits_{x \to \infty}~
\sum_{i=1}^{n-1}~
\{F(x_{i+1})-F(x_{i})\}
\\[10pt]
\begin{align*}
&=\lim\limits_{x \to \infty}
~{1\over 3}~(1-\epsilon_{1n})
+\lim\limits_{x \to \infty}
\int_{1}^{2}x \cdot {1 \over 6}dx
+ \lim\limits_{x \to \infty}
~{1\over 2}~(1-\epsilon_{2n})
\\[15pt]
&= \sum_{x}~xP(X=x) + \int_{1}^{2}x\cdot f_X(x)dx
\\[15pt]
&= \bigg({1 \over 3} + 1 \bigg)
+ \bigg[{x^2 \over 12}\biggr\rvert_{1}^{2} \bigg]
= {4 \over 3} + {3 \over 12}
= {19 \over 12}
\end{align*}
혼합형 풀 때 tip!
이산형
연속형
앞이 연속형인 경우의 이산형
스틸체스 적분 : 예시 3 (중도절단)
- 다음과 같은 케이스를 중도절단이라고 한다.
- 연속 + 이산 형태의 확률변수가 가장 많이 이용되는 예시
f_X(x) = k(x+1)~I(1<x<5),~ ~Y=X~I(X<4)
CDF 구하기
Y의 구간이 유한하기 때문에 케이스를 나눠줄 수 밖에 없다.
케이스를 분류해보자.
\begin{align*}
&F_{Y}(y) = P(Y \le y) =
P(X~I(X < 4)~\le~y)
\\[10pt]
&= P(X~I(X < 4)~\le~y,~X<4)
+ P(X~I(X < 4)~\le~y,~4\le X)
\\[10pt]
&= P(X \le y,~X<4)
+ P(0 \le y,~4\le X)
\end{align*}
(1) y < 0
\begin{align*}
&F_{Y}(y) = P(X\le y,~X<4) + 0
= P(X \le y)
\\[14pt]
&= \int_{-\infty}^{y} K(x+1)~
I(1<x<5)~dx
\\[16pt]
&= 0
\end{align*}
(2) 0 ≤ y < 1
\begin{align*}
&F_{Y}(y) = 0 + P(4 \le x)
= \int_{4}^{\infty}
~k(x+1)~I(1<x<5)~dx
\\[16pt]
&= \int_{4}^{5} K(x+1)~dx
= P(4 \le X\le 5)
\\[16pt]
&= F_{X}(5) - F_{X}(4)
\end{align*}
(3) 1 ≤ y < 4
\begin{align*}
&F_{Y}(y) =
P(X\le y,~X<4) + P(0 \le y,~4\le X)
\\[15pt]
&= P(X\le y) + P(4\le X)
\\[20pt]
&= \int_{-\infty}^{y}
k(x+1)I(1<X<5)~dx +
\int_{4}^{\infty}
k(x+1)I(1<X<5)~dx
\\[20pt]
&= \int_{1}^{y} k(x+1)~dx +
\int_{4}^{5} k(x+1)~dx
\\[20pt]
&= F_{x}(y)-F_{x}(1) +
F_{x}(5)-F_{x}(4)
\end{align*}
(4) 4 ≤ y <5
\begin{align*}
&F_{Y}(y) = P(X\le y,~X<4) +
P(0 \le y,~4\le X)
\\[10pt]
&= P(X<4) + P(4 \le X)
\\[10pt]
&= F_{X}(4)+ \{1-F_{X}(4)\} = 1
\end{align*}
(5) 5 < y
- 함수값이 없음
<정리>
\begin{align*}
F_{Y}(y) &=
\begin{cases}
0 \kern{161pt} (y < 0)
\\
F_{X}(5) - F_{X}(4)
\kern{83pt} (0 < y \le 1)
\\
F_{x}(y)-F_{x}(1)+F_{x}(5)-F_{x}(4)
\kern{15pt} (1 < y \le 4)
\\
1 \kern{143pt} (4 < y)
\end{cases}
\\[40pt]
f_X(x) &=~~k(x+1) \kern{5pt}
I(1 < X< 5)
\end{align*}
\begin{align*}
\int_{1}^{5}f_{X}(x)~dx &=
\int_{1}^{5}k(x+1)~dx
= \dfrac{kx^2}{2} + kx~~\bigg \rvert_{1}^{5}
=16k = 1
\\[30pt]
\kern{20pt}\therefore~k &= 1/16
\end{align*}
그래서 F_{Y}(y)는 다음과 같다.
\bigg(1 - \dfrac{21}{32}\bigg)~
I(0 \le y < 1) ~+~
\biggr\{
F_{X}(y) + 1 - \dfrac{21}{32}
\biggr\}
~I(1 \le y < 4) ~+~
I(4 \le y)
\int_{0}^{y}~k(x+1)~dx
= k \cdot
\bigg(\dfrac{x^2}{2} + x \bigg)~
\biggr\rvert_{1}^{y}
= \dfrac{1}{32}~
(y-1)~(y+3)
그림으로 보면 다음과 같다.
Y = 0 : 왜 점핑이 일어났을까?
Y = \textcolor{red}{X}~
\textcolor{blue}{I(X < 4)}
\\
0 = \textcolor{red}
{\text{(range: 1 to 5)}} \cdot
\textcolor{blue}{0}
I(X < 4) ⇒ 4 < X 일때 그 값이 0이 됨.
그때의 확률을 계산해보면 다음과 같다.
1 - \dfrac{21}{32} = \dfrac{11}{32}
우선 주어진 구간은 다음과 같다 : P(Y < 4) = P(X~I(X<4)~<~4)
여기서 인제 파티션을 이용한다.
P\Big(
X~I(X<4)~<~4,
\textcolor{blue}{~~I(X<4)=0}
\Big) +
P\Big(
X~I(X<4)~<~4,
\textcolor{blue}{~~I(X=1)}
\Big)
- 첫번째 부분
- I(X < 4) = 0 이라는 것은 X < 4가 아니라는 것. 즉, 4 \le X이다.
- 이때, X~I(X<4) < 4 는 x \cdot 0 < 4 가 된다.
- 두번째 부분
- 역시 파티션을 통해서 나눌 수 있다.
\begin{align*}
&=
P(
X~I(X<4)<4,
\textcolor{blue}{~~4\le X}
) +
P(
X~I(X<4)<4,
\textcolor{blue}{~~X<4}
)
\\[10pt]
&= P(X \cdot 0 < 4,~~4\le X) +
P(X \cdot 1 \le 4,~~X<4)
\\[10pt]
&=
P(\Omega,~~4\le X) +
P(X \le 4,~X<4)
\end{align*}
특정 구간에서의 확률
역시 Y의 구간이 유한하기 때문에 케이스를 나눠줄 수 밖에 없다.
P(1.1 < Y < 4.2) =
P(1.1 < X~I(X<4) < 4.2)
이 식은 다음과 같이 두 부분으로 쪼갤 수 있다.
\begin{align*}
&P~\bigg(1.1 < X~I(X<4) < 4.2,~I(X<4)=0\bigg)
\\[10pt]
&=0
\\[20pt]
&P~\bigg(1.1 < X~I(X<4) < 4.2,~I(X<4)=1\bigg)
\\[10pt]
&=~P~\bigg(1.1 < X < 4.2,~I(X<4)=1\bigg)
\end{align*}
따라서 이 부분을 다시 적어보면 다음과 같다.
\begin{align*}
&P(1.1 < X < 4.2)~~I(X<4) = 1
\\[5pt]
&=P(1.1 < X < 4,~~X<4)
\\[5pt]
&=P(1.1 < X < 4)
\end{align*}
기댓값 구하기 : 1차적률
여기선 Y의 범위가 -\infty 부터 \infty 이기 때문에 조건을 걸어도 알아서 풀어진다.
따라서 기댓값은 별로 고민할 필요가 없이 적분하면 된다.
\begin{align*}
E(Y) &= E\{X~I(X<4)\} = \int~x~I(X<4)~dx
\\[15pt]
&=\int x~I(X<4)~k(x+1)~I(1<X<5)~dx
\\[15pt]
&=\int_{1}^{4} x\cdot k(x+1)dx
= k\cdot \bigg(\dfrac{x^3}{3} +
\dfrac{x^2}{2}\bigg)
\biggr\rvert_{1}^{4}
= 28.5k
\end{align*}
기댓값 구하기 : 공분산
역시 별 고민 없이 적분하면 된다.
cov(X, Y).
\kern{10pt}
Y=XI(X<4)
\begin{align*}
E(XY) &= E(X \cdot XI(X<4))
\\[10pt]
&= \int_{\mathbb{R}}x^2\cdot k(x+1)~I(1<x<5)~I(x<4)dx
\\[10pt]
&=\int_{1}^{4}~x^2\cdot k(x+1)
= {1 \over 16}\cdot \bigg(
{x^4 \over 4}+{x^3 \over 3} \bigg)
\biggr\rvert_{1}^{4}~
\\[10pt]
&= {1 \over 16} \cdot \bigg(
{255 \over 4} + 21 \bigg)
\\[20pt]
E(X)~~&= \int_{1}^{5}xk(x+1)dx =
k \bigg({x^3 \over 3} +
{x^2 \over 2} \bigg)
\biggr \rvert_{1}^{5}
\\[15pt]
E(Y)~~&= \int_{1}^{4}xk(x+1)dx =
k \bigg({x^3 \over 3} +
{x^2 \over 2} \bigg)
\biggr \rvert_{1}^{4}
\end{align*}
\begin{align*}
E(Y^2) &= E(XI(X<4) \cdot X(X<4))
= E(X^2I(X<4))
\\[10pt]
&= \int_{1}^{4}~x^2~I(X<4)~dx
\end{align*}