Basic Concepts of Probability Theory - (3)

Conditional Probability

event $A, B$가 있다. 일단 event $B$가 일어났다고 했을 때, event $A$가 일어날 확률은? 을 계산할 때 쓰이는 것이 조건부 확률(Conditional Probability)이다.
$$ P[A|B] = {P[A \cup B] \over P[B]}$$

조건부 확률을 function의 관점에서 보자면, $P[ \cdot | B]$ 또한 $P[\cdot]$과 마찬가지로 Axiom of Probability를 만족한다. $B$ event가 조건부로 주어지면서, Sample Space $S$에서 시작하던 $P$ 함수가 이젠 $B$ 에서 시작하는 것이다. 즉 조건부 확률은 함수 관점에서 보면 정의역이 제한된 함수이다.
$$
S \longrightarrow F \overset{P[\cdot]}{\longrightarrow} [0,1] \\
B \longrightarrow F_B \overset{P[\cdot | B]}{\longrightarrow} [0,1]
$$

$S$ : sample space,  $F$ : Event Class of $S$,  $B$ : Event,  $F_B$: Event Class of $B$

Partition

이것도 일단 Partition.. 

Partition은 일종의 땅따먹기이다. $B_i, (i=1, ... ,n)$ :events라고 하자. $B_i \cup B_j = \emptyset \:( i \neq j)$이고(mutually exclusive 하고) $\cup_{i=1}^{n} B_i = S$ 이면 $B_i$들을 partition 했다고 한다

Partition - 땅따먹기. $S$를 $B_1, B_2, B_3, B_4, B_5$로 분할했다

빨간 동그라미 영역을 event $A$라고 했을 때, 집합 $A$를 다음과 같이 표현할 수 있다
$$
A = A \cap S \\
= A \cap ( \cup_{i=1}^{n} B_i )\\
= (A \cap B_1) \cup (A \cap B_2) \cup (A \cap B_3) \: ... \: (A \cap B_n) \\
= \cup_{i=1}^{n} (A\cap B_i)
$$

$A\cap B_i$와 $A \cap B_j$ 는 서로 mutually exclusive 하므로 $P[(A\cap B_i) \cup (A \cap B_j)] = P[A\cap B_i] + P[A\cap B_j]$ 가 된다. (물론 $i \neq j$) 따라서 $P[A]$는 아래와 같이도 구할 수 있다.
$$ P[A]\\
= P[\cup_{i=1}^{n} (A \cap B_i ) ]\\
= \sum_{i=1}^{n} P[A \cap B_i]
$$

Bayes' Rule

베이즈 정리 wiki

위의 Partition과 conditional Probability를 이용하면 이미 일어난 사건으로 확률을 계산해볼 수 있다.
$$
P[B_j | A ] = {P[B_j \cap A] \over P[A]} = {P[A | B_j] P[B_j] \over P[A]} \\
= {P[A | B_j] P[B_j] \over \sum_{i=1}^{n} P[A | B_i] P[B_i] }
$$

가령 학생 j가 학점 A를 받았는데,  박교수님 수업을 들었을 확률은? 같은걸 계산할 수 있다
$A$ : j가 학점 A를 받는 사건
$B_j$ : j가 박교수님 수업을 듣는 사건

$P[A | B_j]$는 학생 j가 박교수님 수업을 들었는데, 그 수업에서 A를 받을 확률을 뜻하고, $P[B_j | A]$는 학생 j가 무슨과목인지는 모르겠지만 A를 받았고, 그때 학생 j가 박교수님 수업을 들었었을 확률을 뜻한다.

Independence of Events

$$ P[A \cap B ] = P[A] P[B]$$

위 조건을 만족하면 event $A, B$는 서로 독립이다. 즉 $P[A |B] = P[A]$란 뜻이고, $B$라는 이벤트가 생기든 말든 $A$가 생길 확률은 같다는 것이다.  물론 $P[B|A] = P[B]$이다. 독립이면 참 편해지는 것이 $P[A \cap B \cap C] = P[A]P[B]P[C]$가 되어 계산이 편해진다는 것이다. 물론 n개의 Event에 대해 서로 모두 독립인지 확인해보려면 모든 pair에 대해서 위 조건이 만족하는지 확인해보아야 한다. 
$$
P[A \cap B] = P[A] P[B] \\
P[A \cap C] = P[A] P[C] \\
P[B \cap C] = P[B] P[C] 
$$
위 조건이 만족된다 하더라도 $P[A \cap B \cap C] \neq P[A]P[B]P[C]$일 수 있다.

또한 자주 헷갈리는 것이 $A,B: \: independent \Leftrightarrow A \cap B = \emptyset$ 라는 것인데, 이는 맞지 않는다. $P[A \cap B] = P[\emptyset] = 0$이면 어떻게 $P[A | B ] = P[A]$ 일 수 있겠는가?
$$
A,B : \: independent \nLeftrightarrow A\cap B = \emptyset
$$

---

참고자료
Alberto Leon - Probability, Statistics, and Random Processes For Electrical Engineering, 3rd edtion