확률이란?
확률을 정의하기 위해 필요한 것들.
- 실험
- 표본공간 : 실험에서 가능한 모든 결과들의 집합
- 사건, 사상, event : 표본공간의 부분집합
그래서 확률이란?
-
확률 : 0~1 사이의 값으로 특정 event가 발생할 가능성에 대한 척도
정의에 따르면, 그냥 ‘확률’보다는 ‘특정 event에 대한 확률’이라고 생각하는 것이 옳다.
-
‘확률’을 함수로 보기.
P = 확률을 계산하는데 사용할 수 있는 함수
0 < P(event) \leq 1ex. 주사위 던지기
S = {1, 2, 3, 4, 5, 6}
A = {1, 3, 5} = 주사위 눈이 홀수인 사건
P(event) = P( {1,3,5} ) = P(A)
- S의 부분집합의 갯수는? 2^{6}
- \emptyset, {1}, {2}, \dots, S
- 부분집합들을 모은 집합을 우리는 시그마 대수, \mathfrak F라고 한다.
시그마대수란?
- \sigma-algebra : 시그마 대수라고 읽는다.
- 부분집합이라고 생각하면 된다.
- 기호로는 F, \mathcal F, \mathfrak F 또는 \mathscr {F}로 표기한다.
- 해석학과 심화확률론에서 나오는 개념.
그래서 함수로서 ‘확률’의 정의는 다음과 같다.
0 < P(event) \leq 1 \\ P : \mathfrak F -> [0,1]
확률의 법칙
- A_{i}와 A_{j}는 서로 배반. (Event A_{i} and Event A_{j} are disjoint)
추가로 나오는 정리
1.\; P(\varnothing) = 0
2. \; P(A^{c}) = 1 - P(A)
3.\;\ if \;A \subset B,\; P(A) \leq P(B)
- A \leftrightarrow B\, : A는 B의 필요충분조건 (명제)
- A \to B\; then\; B^{c} \to A^{c}
- A \leftrightarrow B
- A는 B의 충분조건
- B는 A의 필요조건
if. A_{1} \subset A_{2} \subset A_{3},\; P(A_{1}) \leq P(A_{2}) \leq P(A_{3})
-
A의 확률함수를 몰라도 도출 가능
(증명) B = A \cup (B \cap A^c) ; 서로 배반(disjoint)
P(B) = P(A \cup (B \cap A^c)) = P(A) + P(B \cap A^c)
-
P(B) -P(A) = P(B \cap A^c) \geq 0 \\[4pt] P(B) \geq P(A)
4. \;P(A \cup B) = P(A) + P(B) - P(A \cap B)
(1) A \cup B = (A \cap B^{c}) \cup (A \cap B) \cup (A^{c} \cap B)
(2) A = (A \cap B) \cup (A \cap B^c)
\{B, B^c\}\; is\; a\; partition.
B \cap B^{c} = \varnothing \leftrightarrow B \cup B^{c} =S
Then,\; A = \displaystyle \bigcup_{i=1}^{k}\;(A \cap B_{i}) → P(A) = \displaystyle \sum_{i=1}^{k}\; P(A \cap B_{i})
P(A) = P(A \cup B) + p(A \cap B^c).\quad A,\; A^{c}\; is\; a\; partition
P(B) = P(B \cup B) + p(A \cap B^c).\quad B,\; B^{c}\; is\; a\; partition
5. \;P(A \cup B \cup C) = P\{(A \cup B) \cup C\}
-
P(A) \geq P(A \cap B) : 성립한다
왜? A \supset (A \cap B)
P(A \mid B) ; Given B, the conditional probability of A
P(A \mid B) = \frac{P(A \cap B)}{P(B)}, \quad P(B) > 0
\star\;\ P(A) = P(A \mid S) = \dfrac{P(A \cap S)}{P(S)} = \dfrac{P(A)}{1} = P(A)
조건부확률
apption.co/embeds/349a18d1노란색 부분을 결합확률이라고 생각할 수 있다.
또한 초록색 부분을 주변확률로 볼 수 있다.
이때, "\text{조건부확률}" = \dfrac {"\text{결합확률}"} {"\text{주변확률}"} 로 생각하면 된다.
즉, 조건부 확률은 n차원 확률의 일부라고 생각해도 된다.
결합확률 → 결합확률분포
주변확률 → 주변확률분포
조건부확률 → 조건부확률분포
조건부확률의 성질
1.\; P(A|B) \ge 0
2.\; P(S|B) = 1
3.\; A_{i} \cap A_{j}=\emptyset
배반과 독립
간단하게 말해서,
배반 = 집합에서의 이야기. 집합 사이의 관계를 설명한다.
독립 = 확률에서의 이야기. 집합의 확률 사이의 관계를 설명한다.
배반 : A \cap B = \varnothing
독립 : P(A \cap B) = P(A)P(B)
독립과 조건부확률
ex. A와 B가 서로 독립인 경우
ex. A \perp B \; \leftrightarrow \; A \perp B^c \; \leftrightarrow\; A^c \perp B \; \leftrightarrow\; A^c \perp B^c \;
A \perp B \leftrightarrow P(A \cap B) = P(A)P(B)
A = (A \cap B) \cap (A \cap B^c)
P(A) = P(A \cap B) + P(A \cap B^c)
P(A \cap B^c) = P(A) - P(A \cap B)
= P(A) - P(A)P(B)
\underline {A \perp B^c \leftrightarrow P(A \cap B^c) = P(A)P(B^c)}
A \perp B^c \rightarrow A \perp B
A \perp B_{*} \leftarrow A \perp {B_{*}}^{c}
Note. \;\ P(A \mid B) = \dfrac{P(A \cap B)}{P(B)}.\;\ P(B) > 0
- if.\; P(B) = 0,\; P(A \mid B) = 0
Note. A와 \varnothing도 독립
- P(A \cap \varnothing) = 0 = P(A) \times 0
쌍으로 독립 (pairwise independent)
Event A, B, C에 대해서 다음 세 가지 법칙이 적용되는 경우
상호독립 (mutually independent)
Event A, B, C에 대해서 다음 네 가지 법칙이 적용되는 경우
A,\; B,\; C\;가 전부 상호독립인 경우
(1) A \perp (B \cap C) 인가?
P(A \cap (B \cap C)) = P(A)P(B)P(C) = P(A)P(B \cap C)
\therefore A \perp (B \cap C)
(2) A \perp (B \cup C) 인가?
P(A \cap (B \cup C)) = P[(A \cap B) \cup (A \cap C)]
= P(A \cap B) + P(A \cap C) - P[(A \cap B) \cap (A \cap C)]
= P(A)P(B) + P(A)P(C) - P(A \cap B \cap C)
= P(A) [P(B) + P(C) - P(B \cap C)]
= P(A) P(B \cap C)
\therefore A \perp (B \cup C)
(3) A^c \perp (B \cap C^c) 인가?
A^c \perp (B \cap C^c) \leftrightarrow A \perp (B \cap C^c)
즉, P(A \cap (B \cap C)) = P(A)P(B \cap C^c)인지 확인
베이즈 정리
전제
B_{1}, \dots, B_{n}\; is\; a\; partition.\; i.e.
- B_{1} \cup \dots \cup B_{n} = S_{i}
- B_{i} \cap B_{j} = \varnothing
- i, j = 1, 2, 3, 4….
베이즈 정리의 성질
A = (A \cap B_{1}) \cup (A \cap B_{2}) \dots = \displaystyle \bigcup_{i=1}^{k}(A \cap B_{i})
P(A) = \displaystyle \sum_{i=1}^{k} P(A \cap B_{i})
P(A|B_{i}) = \dfrac { P( A \cap B_{i} ) } { P( B_{i} ) }
P(B_{i}|A) = \dfrac { P( A \cap B_{i} ) } { P( B_{i} ) } = \dfrac {P(A|B_{i})\; P(B_{i})} {\sum P(A \cap B_{i})} = \dfrac {P(A|B_{i})~ P(B_{i})} {\sum P(A|B_{i}) P(B_{j})}
사전확률과 사후확률
베이즈 정리를 다시 보자.
이때, 확률의 종류를 구분지을 수 있다.