Basic Concepts of Probability Theory - (4)

Bernoulli Trial $(1,p)$

실험을 하는데, "실패" 혹은 "성공" 이렇게 결과가 양분되는 실험을 뜻한다. 동전을 던졌을 때 앞면/뒷면 나오기 실험 같은 실험을 예로 들 수 있겠다.  Bernoulli trial을 표현하는 parameter는 성공확률 $p(=P[success])$ 가 있다

$$
S = \{H,T\}, \: F=\{\emptyset, \{H\}, \{T\}, \{H,T\}\}, \: p
$$

Binomial Probability Model $(n,k,p)$

Bernoulli trial 을 이용한 확률 모델인데, 풀어 설명하자면 다음과 같다.
: 성공확률 p 인 independent bernoulli trial 을 n번 시행하여 k번 성공할 확률 

Binomial Probability Model을 표현하는 parameter는 $n, \: k, \: p$ 가 된다.

$$
S = \{0,1,2,3,4, .. n\} \\
P_n[k] = \begin{pmatrix} n\\k \end{pmatrix} p^k(1-p)^{n-k}
$$

왜 $\begin{pmatrix} n \\ k \end{pmatrix} p^k(1-p)^{n-k} $ 일까

일단 순서에 상관 없이 success $s$를 k개 뽑고 fail $f$를 n-k개 뽑을 확률은 indpendent하므로 $p^k(1-p)^{n-k}$ 이다. 그런데 n 번 중 success $s$가 k개일 확률이 궁금한 것이니, success $s$가 k개일 경우의 수를 모두 count 하고 그 개수 만큼 위 확률 값을 모두 더해주면 된다.
이는 n개의 element를 가진 집합을 k개,의 element, n-k개의 element를 가진 subset 2개로 나누는 경우의 수와 동일하다.

여담으로는,
$$(a + b)^n \\
= a^n + \Box a^{n-1}b^1 + \Box a^{n-2}b^2 + ... + b^n\\
= \sum_{k=0}^{n} \begin{pmatrix} n\\k\\ \end{pmatrix} b^ka^{n-k}
$$

 

Multinomial Probability Model

binomial probability model의 확장판이라고 생각할 수 있다.

$$
S\: : \:\text{ Sample Space}\\
\{B_i, i= 1... M\} \: : \: \text{partitions of  S} \\
P[B_j] = p_j \\
p_1 + ... +p_M = 1
$$
이라고 하자. Binmoial은 sample space를 2개의 partition으로 나눈 거라면, Multimonial 은 M개의 partiton으로 나눈 것이다.

이런 상황에서 $n$번 independent 실험을 한다고 하자. Multinomial Probability Model은 이 n번 중, $B_1$가 $k_1$ 발생하고, $B_2$가 $k_2$ 발생하고, $B_3$가 $k_3$ 발생하고, ... $B_j$가 $k_j$ 발생하고,  .. $B_M$가 $k_M$ 발생한 확률을 알아내고자 하는 것이다.
$$
P[(k_1,k_2,k_3, ... k_M)] = {n! \over k_1!k_2!k_3! ... k_M!} p_1^{k_1}p_2^{k_2}p_3^{k_3}...p_M^{k_M}
$$

나중에 marginal pmf 를 생각해보면 이 중 특정한 하나의 partition이 k번 일어나는 확률만도 구할 수 있을 것이다.

Geometric Probability Model

Independent한 Bernulli Trial을 계속해서 반복 시행할건데, m번째 처음으로 성공할 확률
즉 (m-1)번째까지 실패만 나올 확률 

$A_i$ : $i$번째 성공하는 이벤트
$$
P[m] \\
= P[A_1^c \cap A_2^c \cap \: ... \: \cap A_{m-1}^c \cap A_m]\\
= P[A_1^c]\cdot P[A_2^c] \cdot \: ... \: \cdot P[A_m] \: (\because \text{independent bernoulli trial}) \\
= (1-p)^{m-1}p
$$

Sub experiemtns

위 Binomial, Multinomial, Geometric Probability Model 은 이전 실험 결과들과 independent한 실험을 반복해서 시행하는 경우 쓸 수 있다. 덕분에 교집합($\cap$)으로 표현되는 event에 대해서 확률 $P$의 곱셈으로 쪼갤 수 있었다. 만일 이전 실험 결과들과 dependent한 실험을 반복시행한다면 어떻게 해야할까?

conditional probability를 생각해보면 된다. $P[A|B] = {P[A\cap B] \over P[B]}, \: P[A \cap B] = P[B] \cdot P[A|B]$

여기서 조건부 확률을 떠올리는 건 생각해보면 굉장히 자연스럽다.
사건 B와 A가 일어날 확률을 구하고자 할 때, A가 이전 사건 결과에 영향을 받는 사건이라면, 당연히 이전 사건에 무엇이 일어났느냐에 따라 A가 발생할 확률도 달라질 것이기 때문이다. 따라서 일단 B가 일어날 확률($P[B]$)에다가 B가 일어났다고 했을 때 A가 일어날 확률 ($P[A|B]$) 를 곱하게 된다.

물론 수학적으로 $P[A]\cdot P[B|A]$ 순서로 곱할 수도 있지만, 실험이 반드시 $A, B$ 순서로 발생하는 것이라면 $P[B] \cdot P[A|B]$ 가 물리적인 의미를 갖게 된다.

 

Sub experiment ($S_0, S_1, S_2$) 결과 값 : $s_0, \: s_1, \: s_2$라고 하자
(각각의 실험 결값이 $s_0, s_1, s_2$ 순서대로 나올 확률이 궁금하다!)
$$ P[(s_0,s_1,s_2)]\\
= P[s_2 | (s_0, s_1)] \cdot P[ (s_0, s_1)]\\
= P[s_2 | (s_0, s_1)] \cdot P[s_1 | s_0] \cdot P[s_0]
$$

계산할 수 있다

Markov chain

- sub experiment의 좀 특별한 케이스
- 실험 결과가 직전 실험 결과 값에만 영향을 받는 경우 ($ P[s_2 | (s_0, s_1)] = P[s_2 | s_1]$)

markov chain (출처 : wiki)

---

참고자료

1. Alberto Leon - Probability, Statistics, and Random Processes For Electrical Engineering, 3rd edtion
2. Markov chain(en) 
3. 마르코프 연쇄(ko)