확률분포의 기초
확률변수
\begin{align*}
X&\text{: }S \rightarrow \mathbb{R}
\\
S~&\text{: Sample space (표본공간)}
\\
\mathbb{R}~&\text{: Real number (실수)}
\end{align*}
- 만약, \mathbb{R}의 치역이
- 이산형 → X : 이산형 확률변수
- 연속형 → X : 연속형 확률변수
- 이산 + 연속 → X : 결합형 확률변수
확률과 확률변수의 차이
- 확률 : ‘S’의 부분집합이 argument
- 확률변수 : ‘S’의 값이 argument
P~\text{: } F \rightarrow [0, 1]
X\text{: }S \rightarrow \mathbb{R}
확률함수 / 확률분포 : PMF & PDF
확률변수 X 가 특정 원소에 대응할 때의 확률을 함수로 표현 한 것.
이산형을 확률질량함수(Probability Moment Function, PMF),
연속형을 확률밀도함수(Probability Density Function, PDF)이라고 한다.
확률함수의 규칙
대표적인 확률함수 - 베르누이 분포
\begin{align*}
&P(X=x) = f_X(x) = p^x~(1-p)^{1-x}
~I(x \in \{0, 1\}),~0<p<1
\end{align*}
- 반드시 지시함수를 표기해야 한다.
- 지시함수: 조건이 성립할 때 1이고, 아니면 0인 함수
- I로 쓰고, 괄호 안에 조건을 표기한다.
- 모수를 표기해야 할 수도 있다.
- 위에서 0 < p < 1 에 해당한다.
확률함수의 조건
- 무조건 0보다 크다 : P(X=x) \ge 0
- 다 합치면 1이 된다 : \textstyle\sum P(X=x) = 1
- 이산형인 경우, 1번 & 2번을 모두 따져야 한다.
- 연속형의 경우, 보통 2번만 따져도 상관 없다.
분포함수 / 누적분포함수 : CDF
P(X \le x) = F_X(x)
확률변수 X가 특정 포인트까지 누적된 확률을 결과값으로 하는 함수.
CDF는 연속확률분포 / 이산확률분포 모두 존재한다.
분포함수의 조건
모든 분포함수는 다음과 같은 조건을 가진다.
\begin{align*}
\text{(1)} \kern{10pt}
&\lim\limits_{n \to -\infty}
F_{X}(x) = 0
\\[20pt]
\text{(2)} \kern{10pt}
&\lim\limits_{n \to \infty}
F_{X}(x) = 1
\\[20pt]
\text{(3)} \kern{10pt}
&\lim\limits_{n \to \infty}
F_{X}(x) \le
\lim\limits_{n \to \infty}
F_{X}(x+\epsilon)
\\[20pt]
\text{(4)} \kern{10pt}
&F_X(x) \text{ is right-continuous.}\\
&\lim\limits_{n \to \infty}
F_{X}(x+\epsilon)
= F_X(x)_~,~~
\epsilon \le 0
\end{align*}
분포함수(누적확률분포)로 확률함수(확률분포)를 만들 수 있다.
그러나 확률변수의 종류에 따라 차이점이 존재한다.
이산형 분포함수
-
이산확률분포는 계단함수(step function)의 형태를 띄고 있다.
-
따라서 point mass가 존재한다.
그래서 분포함수와 확률함수를 다음과 같이 정의할 수 있다.
F_{X}(x) = \displaystyle\sum_{x}~ P(X=x) = P(X \le x)
\\[20pt]
P(X=b) =F_X(b) -
\lim\limits_{x \to b-}F_X(x)
보면 알겠지만, x가 특정한 수일 때의 확률을 구할 수 있다.
- 등호를 써주는 것이 굉장히 중요하다.
- 확률함수 자체가 X가 숫자 x일 때의 확률로 나오기에, 확률함수만으로도 확률을 구할 수 있다.
연속형 분포함수
- 연속확률분포는 계단함수 모양이 아니다.
- 따라서 point mass가 없다.
그래서 분포함수와 확률함수를 미적분으로 정의한다.
F_X(x) = \int_{-\infty}^{x}f_X(t)dt
= P(X < x)
\\[20pt]
f_X(x) = \dfrac{d}{dx}F_X(x)
\\[20pt]
P(a < x < b) = \int_{a}^{b}~f_X(x)~dx
보면 알겠지만, x가 특정한 수일 때의 확률을 구할 수 없다.
- 등호를 써주는게 별로 중요하지 않다.
- 확률함수 자체로는 절대 확률을 못 구하고, 반드시 적분을 해야 한다.
분포함수의 응용
기댓값과 적률(moment)
- 기댓값은 다음과 같이 정의한다. (그냥 외우는게 편하다)
\begin{align*}
\text{discrete}~\rightarrow~
E(\bigstar) = &\sum \, \bigstar \, P(X=x)
\\[20pt]
\text{continuous}~\rightarrow~
E(\bigstar) = &\int \, \bigstar \, f_{X}(x)dx
\end{align*}
- 적률(moment)은 확률변수의 거듭제곱의 기댓값이다.
E(X^n) = \displaystyle\int
x^n\; f_{X}(x)dx
- 예시) E(X^2) 구하기
\begin{align*}
\text{discrete}~\rightarrow~
E(X^2) &= \displaystyle\sum \, x^2 \, P(X=x)
\\[20pt]
\text{continuous}~\rightarrow~
E(X^2) &=\displaystyle\int \, x^2 \, f_{X}(x)dx
\end{align*}
적률의 응용 & 성질
적률을 이용해 다음 통계값들을 구할 수 있다.
- 1차 적률 = E(X)
- 평균(mean) = E(X)
- 2차 적률 = E(X^2)
- 분산(variance) = E(X^2) - E(X)^2
- 3차 적률 = E(X^3)
- 왜도(skewness)
- 4차 적률 = E(X^4)
- 첨도(curtosis)
이를 구할 수 있는 이유는 다음과 같은 성질을 가지고 있기 때문이다.
\begin{align*}
E(aX) = \displaystyle\sum_{x} ~ax~P(X=x) &= a \cdot \displaystyle\sum_{x}
~xP(X=x) \\[15pt]
&= a \cdot E(X)
\end{align*}
\begin{align*}
E(X+b) &= \displaystyle\sum_{x}(x+b)P(X=x)\\
&= \displaystyle\sum_{x}xP(X=x) +
\displaystyle\sum_{x}bP(X=x) \\[10pt]
&= E(X) + b
\end{align*}
- 기댓값 자체가 선형성을 가지고 있다고 볼 수 있다.
\begin{align*}
E(aX+b) &= aE(X) + b. \\[10pt]
E(X^2) &= E(a^2X^2 + 2abX + b^2)\\
&= E(a^2X^2 + 2abX) + b \\
&= E(a^2X^2) + 2abE(X) + b \\
&= a^2E(X^2) + 2abE(X) + b
\end{align*}
\begin{align*}
E(X-E(X))^2 &= E(X^2 - 2XE(X) + E(X)^2) \\
&= E(X^2) - E(2XE(X)) + E(E(X)^2)\\
&= E(X^2) - 2E(X)E(X) + E(X)^2\\
&= E(X^2) - [E(X)]^2
\end{align*}
-
기댓값 안에 또 기댓값이 들어간 경우; E(E(X))
→ 이때 안쪽의 기댓값은 상수로 취급한다.
적률생성함수(MGF: Moment Generating Function)
- “적률”을 만드는 함수라고 생각할 수 있다.
- 적률을 이용해 평균, 분산, 첨도, 왜도를 만들 수 있다.
- 따라서, 편의성을 위해 자주 쓰인다.
- 단, 모든 분포에 존재하지 않는다.
- 이럴 때는 특성함수라는 것을 써준다.
- ex. 코시분포
우선 다음과 같이 정의해준다.
\begin{align*}
\text{X: discrete} &\rightarrow
M_{X}(t) = E(e^{tX}) =
\displaystyle\sum~e^x~P(X=x)
\\[20pt]
\text{X: continuous} &\rightarrow
M_{X}(t) = E(e^{tX}) =
\displaystyle\int~e^x~f_{X}(x)
\end{align*}
이를 미분하고, 0을 대입하면 다음과 같다.
\dfrac{d^k}{dt^k}~
M_X(t)\biggr\rvert_{t = 0}~
=~ E(X^n)
\begin{align*}
\because~~
\dfrac{d^k}{dt^k}~
M_X(t)
&= \dfrac{d^k}{dt^k}~
~ \sum_{x}~e^{tx}~P(X=x)~
\\[20pt]
&= \sum_{x}
~\bigg\{
\dfrac{d^k}{dt^k}~e^{tx}
\bigg\}
~P(X=x)
\\[20pt]
&=~ \sum_{x}~e^{tx}~x^k~P(X=x)
\\[30pt]
\therefore~~
\dfrac{d^k}{dt^k}~M_X(0)&
=~ \sum_{x}~e^{0}~x^k~P(X=x)
\\[20pt]
&=~ \sum_{x}~x^k~P(X=x)
\\[20pt]
&=~ E(X^k)
\end{align*}
<성질>
M_{X+Y}(t) = M_{X}(t)M_{Y}(t)
누율생성함수(Cumulant Generating Function)
- 적률생성함수에 로그를 취한 함수이다. (log MGF)
- MGF가 복잡할 때 간편하게 만들기 위해 쓰이는 경우가 있다.
\begin{align*}
log~M_{X}(t) = log~E(e^X)
\end{align*}
\begin{align*}
\dfrac{d}{dt}~log~M_X(t)
~\biggr\rvert_{t = 0}
~&=
~\dfrac{M_X^{\prime}(0)}{M_X(0)}
~=\dfrac{E(X)}{1}
\\[30pt]
\dfrac{d^2}{dt^2}~log~M_X(t)
~\biggr\rvert_{t = 0}
~&=
~\dfrac{d}{dt}
\bigg( \dfrac{1}{M_X(t)}
\cdot \dfrac{d}{dt} M_X(t)
\bigg)
=
\dfrac{d}{dt}
\bigg\{ \dfrac
{M_X^{\prime}(t)}
{M_X(t)}
\bigg\}
\\[30pt]
~&=~\dfrac
{M_X^{\prime\prime}(t)~M_X(t)
-\{M_X^{\prime}(t)\}^2}
{\{M_X(t)\}^2}
\\[50pt]
\dfrac{d^2}{dt^2}~log~M_X(0)
~&=~
\dfrac
{M_X^{\prime\prime}(0)~M_X(0)
-\{M_X^{\prime}(0)\}^2}
{\{M_X(0)\}^2}
\\[20pt]
&=
\dfrac
{E(X^2)\cdot 1 - E(X)^2}
{1}
\\[20pt]
&= Var(x)
\end{align*}
- 1차 누율 = E(X)
- 2차 누율 = Var(X)