Basic Concepts of Probability Theory - (1)

Random Experiments를 어떻게 정의해야할까?

일단 실험(Experiment)이니 실험 절차를 잘 기술하는 것도 하나의 방법일테다. 실험 절차를 잘 설명하고, 무엇을 관측할 것인지 잘 기술하면 될테다. 그럼 어떻게 이를 표현해야할까? Probability model을 떠올리자면, Sample Space $S$를 잘 정의하는 것만으로도 Random Experiments를 잘 표현할 수 있다.

가령 실험 : 주사위를 던진다 / 관심사(관측) : 던진 주사위가 바닥에 놓였을 때 윗면에 놓아진 숫자 라는 실험을 논할 때 이와 같이 문장으로 적어도 되지만,
$$
S = \{1,2,3,4,5,6\}
$$
라고 Sample Space를 정의하면 좀 더 단순하게 Random Experiment를 표현할 수 있다.

Sample Space를 기술함으로써 얻는 이득은, 저런 집합의 형태가 비단 주사위 실험만 의미하는 것이 아니라는 것이다. 가령 실험 : 6명의 학생 중 한 명을 무작위로 뽑는다 / 관심사(관측) : 뽑힌 학생이 가진 숫자 일 수도 있다. 즉 Sample Space 를 잘 정의함으로써 서로 다른 실험이라 생각했던 것들이 실은 같은 실험이었음을 알 수 있고, 푸는 방법을 정형화하여 쉽게 여러 문제를 풀어낼 수 있게 한다.

Sample Space

• Sample Space : 모든 가능한 경우의 결과값(outcome)들을 모아 놓은 집합.
• Outcome :
  • 다른 결과로 분해될 수 없는 최소한의 결과 값
  • Random Experiment 시행 1번에 outcome 1개가 나온다
  • 서로 다른 outcome은 동시에 일어날 수가 없다

Sample Space와 그 구성요소인 outcome을 정의하자면 위와 같이 할 수 있다. 이러한 Sample Space의 종류를 나눠보자면, 아래와 같이 나눌 수 있고,

• Sample Space
  • Finite
  • Infinite
    • Countably many : 무한인데 셀 수 있다
    • Uncountably many : 무한인데 셀 수 없다

Sample Space의 outcome이 불연속(discrete)인지 연속적(continuous)인지에 따라 Discrete Sample Space / Continuous Sample Space로 나뉜다.

예시를 들어보자면

1. 항아리에서 1부터 50까지 적혀있는 공들 중 하나를 무작위로 꺼내는 실험 (Finite) $$S=\{1,2,3, ... 50\}$$
2. 0이상 1이하 구간에서 임의의 숫자 하나 뽑는 실험(Infinite, Uncountably many) $$S=[0,1] = \{x \in R \: : \: 0\leq x \leq 1\}$$
3. 자연수 $N$에서 임의의 자연수 하나 뽑는 실험(Infinite, Countably many) $$S= \{1,2,3 \: ... \:\}$$

Countably many? 가산집합

정수를 마치 id처럼 하나하나 먹일 수 있는지 생각해보면 Uncountably many인지, Countably many인지 알 수 있다. 자연수의 경우 정수를 먹일 수 있어 Countably many인 반면, 실수는 먹일 수 없으므로 Uncountably many인 셈이다. 그럼 유리수${p \over q}$는 Countably many일까? 그렇다.

Sample Space의 outcome은 하나의 숫자 뿐만 아니라 묶음이 될 수도 있는데 가령
$$ S = \{(1,1), (1,2), (1,3), (1,4), (1,5), (1,6), (2,1), (2,2), (2,3), (2,4), (2,5), (2,6), (3,1), (3,2) ... (6,6)\}$$인 Sample Space $S$가 있을 수 있다.

위의 경우는 주사위 2개를 동시에 던져서 윗면에 나오는 숫자 쌍을 관찰할 때 나올 수 있는 모든 관측값들을 적어놓은 셈이 된다. 즉 관측값이 많아지면(관심 가지고자 하는 값이 많아지면) Sample Space는 Multidimensional 이 될 수 있다.

Events

그런데 사실 우리가 확률을 알아보는건 실험에서 나올 수 있는 모든 경우의 수를 알고자 함이 아닐 것이다. 가령 주사위 중 홀수만 혹은 짝수만 나올 경우의 확률은 얼마나 되는지, 동전 10개를 던졌을 때 7개 이상 앞면이 나올 확률은 얼마나 되는지 등 어떤 특정 조건에 부합한 outcome들만 관심 있는 경우가 많을 것이다. 이렇게 우리가 관심 있어하는 조건에 부합한 outcome들을 묶은 집합(set)을 Event라고 한다.

$$ A \: : \: event, \\ A \subset S$$

참고 :
- $ S $ : (certain event) 모든 경우의 outcome을 가지고 있으니 항상 일어나는 event
- $ \phi $ : (null event) 그 어떠한 outcome도 포함하지 않은 집합. 항상 안 일어나는 event
- (elementary event) $S$의 outcome이 하나 들어가 있는 집합.

ex)
$$
S = \{1,2,3\} \\
\phi = \{\} \\
\{1\}, \: \{2\}, \: \{3\} \: : \: elementary \: events
$$

Set Theory

주사위로 나올 수 있는 숫자중 짝수이되 3이상인 수, 라는 조건은 1) 짝수, 2) 3 이상 이란 더 작은 조건을 이용해 구성한 조건이듯, 특정 Event도 더 작은 Event를 구성하여 만들어낼 수 있다. 위에서 Event는 집합임을 명시했으니, 집합 연산은 새로운 Event를 구성하는데 유용한 도구가 된다

집합 연산 (Wiki)

집합 - 위키백과, 우리 모두의 백과사전

Event Class

결국 확률, 그러니까 $P$로 불리우는 집합 $A$(event)를 받아서 [0,1]로 보내는 일종의 함수를 다시 생각해보면, 함수 $P$의 정의역은 sample space 부분 집합들이 모인 집합이 된다. 이러한 집합을 Collection of subset of $S$ 라고 하자

만일 $S$가 discrete sample space라면 사실 문제가 되지 않는다. 아래와 같이 $P$라는 함수를 잘 정의하면 될테니까.

$$ 
S = \{1,2,3\} \\
F = \{ \{1\}, \{2\}, \{3\}, \{1,2\}, \{1,3\}, \{2,3\},\{1,2,3\} \} \\
F \overset{P}{\rightarrow} [0,1] 
$$
$S$는 sample space, $F$는 Collection of subset of $S$가 된다

그런데 문제는 $S$가 Continous sample space(가령 $S$ = 실수선/Real line)가 될 경우 발생한다. Axiom of Probability 를 만족하는 $P$를 찾을 수가 없는 경우가 생기는 것이다. 그래서 $P$를 잘 정의할 수 있는 일종의 layer를 깔 것이고, 이러한 layer는 $P(A)$가 있는 $A$들 만을 요소로 가지는 set $F$라고 하자. 이러한 $F$를 우리는 Event Class 라고 부른다.

Field $F$는 다음을 만족해야 한다

1. $\phi \in F$
2. If $ A \in F$ and $ B \in F$ then $A \cup B \in F$
3. If $A \in F$ then $A^c \in F$

Sigma Field  $F$는 다음을 만족해야 한다

1. $\phi \in F$
2. $A_1, A_2, A_3, ... \in F \longrightarrow \cup_{i=1}^{\infty} A_i \in F$
3. $A \in F \longrightarrow A^c \in F$

Borel Field $F$ : Sigma Field 의 특이한 경우

Real line에 대해서 $(-\infty, b]$로 generate 한 field를 말한다.
$(a,b), [a,b], (a,b], [a,b), [a,\infty), (a,\infty), (-\infty,b), {b}$의 합집합, 교집합, 여집합으로 나올 수 있는 모든 집합을 element로 가지고 있는 field라고 말할 수 있다.

Real line을 Sample Space로 가졌을 때 ($S = R$) 바로 이 Borel Field위에서만 확률 $P$를 정의하며, Borel field를 넘어서는 것은 확률을 정의할 수 없다고 말한다.

 

Sample Space와 Event Class를 정의하였으면 확률 $P$라고 불리우는 함수의 정의역을 살펴본 셈이 된다. 이제 $P$가 갖추어야할 덕목이자 필수 조건 Axiom of probability를 알면 $P$를 이용하여 현실 세계를 모델링할 준비가 끝났다고 볼 수 있다.

---

참고자료
Alberto Leon - Probability, Statistics, and Random Processes For Electrical Engineering, 3rd edtion