포아송과정 정의
우선적으로 X_t의 정의를 다음 두 가지 방식으로 내릴 수 있다.
- t시간 동안 특정 event가 발생할 확률
- t시까지 특정 event가 발생할 확률
계수과정
X_t 가 이산형 확률변수이고, \{X_t\}가 연속형 확률과정일때
이를 계수과정 N_t 라고 한다. 포아송과정 역시 계수과정이다.
포아송과정의 조건
-
X_0 = 0
-
\{X_t\} 는 정상독립증분이다.
X_{10} - X_{5} = X_{11} - X_{10} \\[10pt] X_{110} - X_{105} = X_{111} - X_{110} -
P(X_h \le 2) = o(h)
- 이때의 o(h)는 little-O 표기법이다. 모르면 클릭!
-
P(X_h = 1) = \lambda h + o(h)
- 0 \le P(X_h ) \le 1 이다. 왜? 확률값이니까
- 따라서 \lambda h 는 아무리 커도 1을 넘으면 안된다.
- 그래서 \lambda가 커질 때, h는 작아진다.
조건 1과 조건 2는 포아송과정 도출에 있어서 중요한 역할을 함.
조건 3, 4는 아주 짧은 시간 내에 사건이 발생할 횟수가 1회라는 것을 의미.
이를 다시 써보면 다음과 같다.
- X_0 = 0
- {X_h}는 독립증분을 가진다.
- (조건 3, 4)를 식으로 쓰면 밑과 같다.
P(X_{t+5}-X) = {e^{-\lambda t}(\lambda t)^k \over k!}
포아송분포 도출
- 4가지 조건과 미분방정식을 이용해 포아송분포를 도출해보자.
- 우선 새로운 표기법을 도입.
\begin{align*}
P_k(t) &= P(X_k = t)
\\[10pt]
&=P(X_t -X_0 = k)
\\[10pt]
&=P(X_{s+t} -X_{s} = k)
\end{align*}
k = 0일때
\begin{align*}
& P(X_{t+h} = 0) = P_0(t+h)
\\[10pt]
&= P(X_t = 0,~X_{t+h} - X_{t} = 0)
\\[10pt]
&= P(X_{t}-X_{0}= 0,~X_{t+h}-X_{t}=0)
\\[10pt]
& \text{(둘은 독립이므로, 곱의 헝태로 나눌 수 있다.)}
\\[10pt]
&= P(X_{t}-X_{0}=0)~P(X_{t+h}-X_{t}=0)
\\[10pt]
&= P(X_{t}=0)~P(X_{t+h}-X_{t}=0)
\\[10pt]
&= P(X_{0}=0)~P(X_{h}-X_{0}=0)
\\[10pt]
&= P_{0}(t)~P(X_{h}=0)
\end{align*}
그림으로 보면 다음과 같다.
중간 식을 전개해보자.
\begin{align*}
&P(X_h = 0) = 1 - P(X_h \ge 1)
\\[10pt]
&= 1-P(X_h = 1)-P(X_h \ge 2)
\\[10pt]
&= 1-\{\lambda h + o(h)\}-o(h)
\\[10pt]
&= 1-\lambda h + o(h)
\end{align*}
다시 원래 식으로 돌아가자.
P(X_{t+h} = 0) = P_0(t+h)
= P_{0}(t)~\{ 1-\lambda h + o(h)\}
\\[20pt]
\begin{align*}
P_0(t+h) - P_{0}(t) &=
P_{0}(t)\cdot(-\lambda h) + P_{0} \cdot o(h)
\\[15pt]
\lim\limits_{h \to \infty}
{P_0(t+h) - P_{0}(t) \over h } &=
\lim\limits_{h \to \infty}
{P_{0}~(-\lambda h)+o(h) \over h}
\\[15pt]
{P_0}^{\prime}(t) &=
\lim\limits_{h \to \infty}
{P_{0}~(t)(-\lambda h) \over h} ~+~
\lim\limits_{h \to \infty}
{o(h) \over h}
\\[20pt]
{P_0}^{\prime}(t)
&= -\lambda P_{0}(t) + 0
\end{align*}
계수 c를 구해보자.
\begin{align*}
{{P_0}^{\prime}(t) \over P_{0}(t)}
&= -\lambda
\\[20pt]
{d \over dt} \log\{P_{0}(t)\}
&= {d \over dt} (-\lambda t + c)
\\[20pt]
P_{0}(t) = e^{-\lambda t + c} &= P(X_t = 0)
\\[20pt]
P_{0}(\textcolor{red}{0}) = e^c &= 0. \kern{10pt} c= 0
\\[20pt]
\therefore~ P_{0}(t) &=
e^{-\lambda t}
\end{align*}
k = 1일때
\begin{align*}
& P(X_{t+h} = 1) = P_1(t+h)
\\[10pt]
&= P(X_t = 1,~X_{t+h} - X_{t} = 0)
+ P(X_t = 0,~X_{t+h} - X_{t} = 1)
\\[10pt]
&= P(X_{t}=1)~P(X_{t+h}-X_{t}=0)
+ P(X_{t}=0)~P(X_{t+h}-X_{t}=1)
\\[10pt]
&= P_{1}(t)~P(X_{h}=0) +
P_{0}(t)~P(X_{h}=1)
\\[10pt]
&= P_{0}(t)~\{1-\lambda h+o(h)\}+
P_{1}(t)~\{\lambda h+o(h)\}
\end{align*}
P_1(t+h) =
P_{1}(t)~\{1-\lambda h+o(h)\} +
P_{0}(t)~\{\lambda h+o(h)\}
\\[10pt]
P_1(t+h) =
P_{1}(t)-P_{1}(t)~\lambda h +
P_{0}(t)~\lambda h + o(h)
\\[30pt]
\lim\limits_{h \to 0}
{P_1(t+h) - P_{1}(t) \over h} =
\lim\limits_{h \to 0}
{P_{1}(t)~\lambda h +
P_{0}(t)~\lambda h + o(h)\over h }
\\[10pt]
{P_1}^{\prime}(t) =
-\lambda P_1(t) + \lambda P_0(t)
\\[10pt]
{P_1}^{\prime}(t) + \lambda P_1(t) = \lambda P_0(t)
e^{\lambda t}\cdot
\{{P_1}^{\prime}(t) +
\lambda P_1(t) \} =
e^{\lambda t}\cdot\lambda\cdot P_0(t)
\\[10pt]
e^{\lambda t}\cdot{P_1}^{\prime}(t) + e^\lambda \cdot P_1(t) = e^{\lambda t} \cdot \lambda \cdot
e^{-\lambda t} = \lambda
\\[10pt]
{d \over dt}e^{\lambda t}P_1(t) = {d \over dt} \lambda t
\\[10pt]
P_1(t) = \lambda t e^{-\lambda t}
k = n일때
포아송과정의 특징
확률과정 속 확률변수들의 기댓값을 구해보자.
\begin{align*}
P(X_k=t) &= {e^{-\lambda t}~
(\lambda t)^k \over k!}
\end{align*}
확률변수 1개
먼저, 개별적인 확률변수들의 기댓값을 생각 보자.
\begin{align*}
E(X_0) &= 0
\\[10pt]
E(X_1) &= \lambda
\\[10pt]
E({X_1}^2) &= \lambda^2 + \lambda= Var(X_1) + E(X_1)
\end{align*}
확률변수 2개
- 이항분포, 포아송분포에 대한 지식이 필요하다.
- X_0와 X_1
E(X_0~X_1) = E(0 \cdot X_1) = E(0) = 0
- X_1과 X_2
\begin{align*}
E(X_1X_2) &= E\Big[E(X_1X_2~|~X_1)\Big] =
E\big[X_1\cdot E(X_2|X_1)\big]
\\[10pt]
&= E\big[X_1\cdot(\lambda + X_1)\big]
= \lambda E(X_1)+E({X_1}^2)
\end{align*}
\begin{align*}
P(X_2=x_2 | X_1=x_1) &=
{P(X_2=x_{2,}~X_1=x_1) \over
P(X_1=x_1)}
\\[10pt]
&=P()
\end{align*}
\begin{align*}
E(X_2|X_1=x_1) &=
E(X_2-X_1+X_1|X_1=x_1)
\\[10pt]
&= E(X_2-X_1|X_1=x_1) +
E(X_1|X_1=x_1)
\\[10pt]
&= \lambda + x_1
\end{align*}
- X_1과 X_{10}
P(X_1=x_1~|~X_{10}=x_{10}) =
P(X_{10}=x_{10}~|~X_{1}=x_{1}) =
- X_2와 X_3
P(X_1=x_1~|~X_{10}=x_{10}) =
P(X_{10}=x_{10}~|~X_{1}=x_{1}) =
확률변수 n개
- n개일 때 구하는 방법은 두 가지가 있다.
- 조건부분포 이용하기
- 정상독립증분 이용하기
- 이를 이용해 다음과 같은 기댓값들을 구할 수 있다.
- 증명은 여기로!
E(X_1X_3X_5) = 15\lambda^3 + 11\lambda^2 + \lambda
E(X_1X_5X_7) =
35\lambda^3 + 17\lambda^2 + \lambda
시점의 차이
- 변수 2개, 뒤의 정보가 주어질 때의 앞의 분포 ⇒ 이항분포
- 변수 2개, 앞의 정보가 주어질 때 뒤의 분포 ⇒ 포아송분포
- 3개 이상인 케이스 ⇒ 포아송분포 두개의 곱.
마코프과정인지 확인
포아송과정이 마코프 과정인지 확인하는 방법은
P(X_t~|~X_{a,} \cdots, X_b)와 P(X_t~|~X_b)가 같은지 보면 된다.
변수가 2개인 경우
\begin{align*}
&P(X_t = x~|~X_{t-2}=x_2,
X_{t-1} = x_1)
\\[20pt]
&= {P(X_{t-1}=x_1, X_{t-2}=x_2, X_{t}=x) \over
P(X_{t-1}=x_1, X_{t-2}=x_2)}
\\[20pt]
&= {P(X_{t-1}=x_2,
~X_{t-1}-X_{t-2}=x_1-x_2,
~ X_{t}-X_{t-1}=x-x_1)
\over P(X_{t-1}=x_1, X_{t-2}=x_2)}
\\[20pt]
&= {P(X_{t-1}=x_2)~
P(X_{t-1}-X_{t-2}=x_1-x_2,
~ X_{t}-X_{t-1}=x-x_1)
\over P(X_{t-1}=x_1)
P(X_{t-1}-X_{t-2}=x_1-x_2)}
\\[20pt]
&= P(X_t - X_{t-1} = x-x_1)
\\[20pt]
&=P(X_1 = x - x_1) = {e^{-\lambda}~\lambda^{x-x_1}
\over (x-x_1)!}
\end{align*}
\begin{align*}
&P(X_t=x~|~X_{t-1}=x_1) =
{P(X_{t-1}=x_1)~
P(X_{t}-X_{t-1}=x-x_1)\over
P(X_{t-1} - X_{1})}
\\[20pt]
&=P(X_t-X_{t-1}=x-x_1)
= {e^{-\lambda}~\lambda^{x-x_1}
\over(x-x_1)!}
\end{align*}
두 식이 같음을 알 수 있다. 따라서 포아송 과정 \{X_t\}는 마코프 과정이다.
변수가 n개인 경우
다음과 같이 n개의 변수가 있다고 가정하고, t_1<\cdots<t_n<t 라고 하자.
\begin{align*}
&P(X_t = x~|~X_{t_1}=x_1,
X_{t_2} = x_2, \cdots
X_{t_n} = x_n)
\\[10pt]
&= {P(X_{t_1}=x_1,
\cdots
X_{t_n} = x_n)~
P(X_{t}-X_{tn} = x-x_{n})
\over
P(X_{t-1}=x_1, \cdots,
X_{t_n}=x_n)}
\\[10pt]
&= P(X_{t}-X_{t-n} = x-x_{n})
\\[10pt]
&= P(X_{t}=x~|~X_{tn} = x_{n})
\end{align*}
역시 조건부에서 가장 최근(=나중)의 확률변수만 남는다.
따라서, \{X_t\}는 마코프과정이 맞다.
응용
앞의 성질을 이용해서 어떠한 기댓값이 나와도 정리할 수 있다.
단, 가장 최근의 확률변수는 동률(’=’)로 이뤄져 있어야 한다.
대표적인 예시는 다음과 같다. 증명은 여기
E(X_4X_7~|~X_1=x_{1,}~X_2=x_2) =
E(X_4X_7~|~X_2=x_2)
P(X_3=x_3~|~X_2=x_{2,}~X_1\le x_1) = P(X_3=x_3~|~X_2=x_2)
다음 경우에는 정리가 안된다. 가장 최근 시점이 부등호이기 때문.
P(X_3=x_{3}~|~X_2 \le x_2)
지수분포와의 연계
포아송과정과 지수분포
포아송과정에서 지수분포를 도출해보자.
- 먼저 X_t = 0의 의미를 생각해보면 다음과 같다.
- 0시부터 t시까지 이벤트가 0번
- 1st 이벤트 소요시간은 t시간 이상 → 이 말을 다시 써보자.
- Y_1 : 1st 이벤트 발생까지 소요되는 시간
이를 식으로 표현하면 다음과 같다.
P(X_t=0) = P(Y_1 > t)
= 1 - F_{Y_1}(t)
즉, 이산형 변수가 연속형 확률변수로 변한 것이다.
이때 식을 다시 써보면 다음과 같다.
\begin{align*}
F_{Y_1}(t) &= 1 - P(X_t = 0)
\\[15pt]
&= 1-{e^{-\lambda t}(\lambda t)^0 \over 0!}
\\[15pt]
&= 1 - e^{-\lambda t}
\end{align*}
식의 모양을 볼 때 Y_1는 지수분포라고 할 수 있다.
\begin{align*}
Y_1 &\sim \exp(\lambda)\kern{5pt} \longleftrightarrow \kern{5pt}
\text{0th event 발생시점 to 1st event 발생시점}
\\[20pt]
Y_n &\sim \exp(\lambda)\kern{5pt} \longleftrightarrow \kern{5pt}
\text{(n-1)th event 발생시점 to nth event 발생시점}
\end{align*}
지수분포들의 합과 감마분포
이번에는 Y들을 더해보자.
\begin{align*}
Y_1 + Y_2 &\kern{5pt} \longleftrightarrow \kern{5pt}
\text{2nd event 발생까지 소요시간}
\\[20pt]
Y_1 + \cdots +Y_n &\kern{5pt} \longleftrightarrow \kern{5pt}
\text{nth event 발생까지 소요시간}
\end{align*}
이를 다시 써보면 다음과 같다.
\begin{align*}
W_k&\kern{5pt} \longleftrightarrow \kern{5pt}
\text{nth event 발생까지 소요시간}
\\[15pt]
P(W_k \le 20) &\kern {10pt} = \kern{8pt}
P(\text{20시까지 event는 k회 이상})
\\[15pt]
&\kern {10pt} = \kern{8pt}
P(X_{20} \ge k)
\end{align*}
P(W_k \le w) =
F_{wk}(W) = \sum_{m=k}^{\infty}~
{e^{-\lambda w}~
(\lambda w)^m\over m!}
\begin{align*}
&{d\over dw}~F_{wk}(W) =
\sum_{m=k}^{\infty}~
{\lambda^m \over m!} \cdot
{d \over dw}~(e^{-\lambda w}~w^m)
\\[20pt]
&= \sum_{m=2}^{\infty}
\dfrac{\lambda^m}{m!}~
(me^{-\lambda w}~w^{m-1})
- \sum_{m=2}^{\infty}
{\lambda^{m+1}~e^{-\lambda m}~
w^{m} \over m!}
\\[20pt]
&= e^{-\lambda m} ~\cdot~
\Bigg[
\sum_{m=1}^{\infty}
{\lambda^m~m~~
w^{m-1} \over m!}
- \sum_{m=2}^{\infty}
{\lambda^{m+1}~e^{-\lambda m}~
w^{m} \over m!}
\Bigg]
\\[20pt]
&= e^{-\lambda m} ~\cdot~
\dfrac{\lambda^2w}{1!}
\\[20pt]
&= \dfrac{1}{\Gamma({2})\lambda^{-2}}~
w^{2-1}e^{-\lambda/(1/w)}
\end{align*}
분포 모양을 볼 때, 감마분포이고, 알파는 k, 베타는 1/lambda 이다.
지수분포들의 독립성 판별
- Y_i : i번째 발생까지의 소요시간이자 지수분포를 따른다.
- 그럼, Y_i들은 전부 독립인가?
-
MGF 사용
단, 여기에는 Y_1과 Y_2가 독립이라는 가정이 들어간다.
\begin{align*}
M_{W_2}(t) &=
\bigg(1-\dfrac{t}{\lambda}
\bigg)^{-2}
\\[15pt]
M_{Y_1}(t) &= M_{W_1}(t) =
\bigg(1-\dfrac{t}{\lambda}
\bigg)^{-1}
\\[15pt]
M_{Y_1}(t) &= E\big(e^{t W_2}\big)
= E\big(e^{t~W_1}e^{t~Y_2}\big)
\\[15pt]
&= M_{Y_1}(t)~M_{Y_1}(t)
\end{align*}
- 조건부 분포 사용
\begin{align*}
P(W_2 \le y~|~Y_1 = x) &= F_{W_2|Y_1=x}(y)
\\[15pt]
P(W_2 \le y~|~Y_1 = x) &= F_{W_2|Y_1=x}(y) =
\dfrac{f_{Y_1,~W_2}(x,y)}
{f_{Y_1}(y)} = f_{Y_2}(y)
\end{align*}
\begin{align*}
&f_{Y_1,~W_2}(x,~y) =
\dfrac{\partial}{\partial x}~ \dfrac{\partial}{\partial y}~
F_{Y_1,~W_2}(x,~y)
\\[20pt]
&= \dfrac{\partial}{\partial x}~ \dfrac{\partial}{\partial y}~
\big[
P(Y_1 \le x_{1,} \kern{10pt}
W_2 \le y)_. \big] \kern{10pt}x<y
\\[20pt]
&= \dfrac{\partial}{\partial x}~ \dfrac{\partial}{\partial y}~
\big[ P(X_x\ge2) + P(X_x=1,X_y\ge2)\big]
\\[20pt]
&= \dfrac{\partial}{\partial x}~ \dfrac{\partial}{\partial y}~
\big[ P(X_x=1,X_y\ge2)\big]
\\[20pt]
&= \dfrac{\partial}{\partial x}~ \dfrac{\partial}{\partial y}~
P(X_x={1,}~X_y-X_x \ge 1)
\\[20pt]
&= \dfrac{\partial}{\partial x}~ \dfrac{\partial}{\partial y}~
P(X_x=1)~
P\big(1 - P(X_{y-x} =0)\big)
\\[20pt]
&= \dfrac{\partial}{\partial x}~ \dfrac{\partial}{\partial y}~
e^{-\lambda x}\lambda x
\big(1-e^{-\lambda (y-x)} \big)
\\[20pt]
&= \lambda^2e^{-\lambda y}~~
I(0<x<y)
\end{align*}