다변량 분포
결합 MGF
- 자세한 내용은 여기를 참고.
\begin{align*}
M_{X}(t) &= E(e^{tX})
\\[15pt]
M_{X,~y}(s,~t) &=E(e^{sX}e^{tY})
\\[15pt]
M_{\underline{X}}(\underline{t}) &=
E(e^{\underline{t}^{\prime} \underline{X}})
\end{align*}
이변량 정규분포
- 자세한 내용은 여기를 참고.
\begin{align*}
f_{\underline{X}}(\underline{x}) &=
\bigg(\dfrac{1}{\sqrt{2\pi}}\bigg)^2~
\rvert \Sigma \rvert ^{-1/2}
\exp
\bigg(-\dfrac{1}{2}~
(\underline{x} - \underline{\mu})
^{T}~\Sigma^{-1}~
(\underline{x} - \underline{\mu})
\bigg)
\end{align*}
만약, \rho = 0 이면 \exp(f(x_1), f(x_2)) = \exp(f(x_1))\exp(f(x_2)).
이때, 두 변수 x_1,~x_2는 서로 독립이다.
극한정리
4가지 극한정리에 대해서 다뤄보자.
마코프 부등식
P(X \ge t) ~\le~ \dfrac{E(X)}{t},
~~P(X < 0) = 0
- 어떤 분포인지는 주어지지 않음
- 단, X가 음수면 안 됨. (만족하는 분포 : 이항, 지수 등등…)
- 해당 표본의 1차 적률만 알고있면 확률을 어림잡을 수 있음.
P(X \le 400) = \dfrac{100}{400} =
\dfrac{1}{4}
- 여기서의 E(X) => 표본평균으로 해도 됨.
증명
P(X < 0) = 0. \kern{20pt}
P(X \ge t) \le \dfrac{E(X)}{t},
\kern{10pt} t>0
\\[5pt]
E(X) = \int_{0}^{\infty}xf_{X}(x)dx
= \int_{0}^{t}xf_{X}(x)dx +
\int_{t}^{\infty}xf_{X}(x)dx
\\[15pt]
\int_{0}^{t}xf_{X}(x)dx \ge 0,
\kern{15pt}
\int_{t}^{\infty}xf_{X}(x)dx \ge 0.
E(X) = \int_{t}^{\infty}xf_{X}(x)dx
\ge \int_{t}^{\infty}tf_{X}(x)dx
체비세프 부등식
P(|X-\mu|\ge k ) ~\le~ \frac{\sigma^2}{k^2}_, \kern{20pt}
E(X_i) = \mu_{i,} \kern{10pt}
Var(X_i) = \sigma^2_{~.}
- 해당 분포를 몰라도 1차적률, 2차적률을 알면 확률을 근사할 수 있다.
- 마코프 부등식보다는 좀 더 실제 값에 가깝게 추정할 수 있다.
대수의 법칙
X_i\text{'s are i.i.d.} \kern{20pt}
E(X_i) = \mu_, \kern{10pt}
\overline{X_n} =
\dfrac{1}{n}\sum X_i
약대수의 법칙
\lim\limits_{n \to \infty}
P(|\overline{X_n} - \mu| > \epsilon) = 0
- 확률수렴에 속한다.
강대수의 법칙
P\Big(\lim\limits_{n \to \infty}
\overline{X_n} =\mu
\Big) = 1
- 강대수의 법칙이 성립하면, 약대수의 법칙 성립
수렴의 종류
- 확률수렴 : convergence in probability
- 거의 확실한 수렴 : Almost Sure Convergence
- 분포수렴 : convergence in distribution
이중에서 대수의 법칙과 관련있는 수렴은 다음과 같다.
- 약대수의 법칙은 확률수렴
- 강대수의 법칙은 분포수렴
중심극한정리
X_i\text{'s are independent.}
\\[10pt]
E(X_i) = \mu_, \kern{10pt}
Var(X_i) = \sigma^2_,~ \kern{10pt}
\overline{X_n} =
\dfrac{1}{n}\sum X_i
\\[10pt]
\sqrt{n}~
\big(\overline{X_n} - \mu\big) ~\rightarrow_{d}~ N(0, \sigma^2)
- 각 확률분포와 상관없이 확률분포들을 모으면 다음과 같이 나온다.
- 중심극한정리 참고