[Probability] 4. 전확률 공식과 베이즈 정리(law of total probability and Bayes Thm)

이번 글에서는 베이지안 딥러닝에서 기초적으로 쓰이는 베이즈 정리에 대해 알아보도록 하겠습니다.

---

베이즈 정리는 다음과 같습니다. $P(B_j|A)=\frac{P(B_j \cap A)}{P(A)}$

분모를 계산할 때, 주어진 사건에 대한 모든 확률을 구해야합니다. 이 확률을 구하는 공식을 전확률 공식이라고 합니다.

위의 그림에서 $P(A)$를 구하기 위해, 각각의 $P(B_i)$가 주어졌을 때, $P(A|B_i)$인 확률을 모두 더해서 구할 수 있다는 것이 전확률 공식 입니다. 수식으로 나타내면 다음과 같습니다.

$P(A)=\Sigma_{i=1}^{k}{P(B_i)P(A|B_i)}$

전확률 공식을 적용하여 베이즈 정리를 나타내면 다음과 같습니다.

$P(B_j|A)=\frac{P(B_j \cap A)}{P(A)}=\frac{P(B_j \cap A)}{\Sigma_{i=1}^{k}{P(B_i)P(A|B_i)}}=\frac{P(B_j)P(A|B_j)}{\Sigma_{i=1}^{k}{P(B_i)P(A|B_i)}}$

---

확률 변수를 이용하여 베이즈 정리를 나타내면 다음과 같습니다.

$P(X|Y)=\frac{P(X)P(Y|X)}{P(Y)}=\frac{P(X)P(Y|X)}{\int_{X}{P(X,~Y)}dX}=\frac{P(X)P(Y|X)}{\int_{X}{P(X)P(Y|X)}dX}$

베이즈정리의 결과에서 확률변수$X$의 분포$P(X)$를 Prior, $Y$가 주어졌을 때 $X$가 갱신되어 나타나는 확률분포 $P(X|Y)$를 Posterior, 확률변수 $X$가 주어졌을 때, $Y$의 분포 $P(Y|X)$를 Likelihood라고 합니다.

---

<베이즈정리 예시 1.>

상자 $B_1$에는 붉은 칩이 3개, 푸른 칩이 7개가 있고, 상자 $B_2$에는 붉은 칩 8개와 푸른 칩 2개가 있습니다. 숫자가 6까지 있는 공평한 주사위를 하나 던져서 윗면에 5 또는 6이 나오면 상자 $B_1$을 선택하고, 아니면 상자 $B_2$를 선택한다고 했을 때, $P(B_1)=\frac{2}{6}$, $P(B_2)=\frac{4}{6}$입니다. 상자에서 붉은 칩이 선택되는 사건을 $R$이라고 했을 때, $P(R|B_1)$, $P(R|B_2)$, $P(B_1|R)$, $P(B_2|R)$을 계산해봅시다.

먼저 $P(R|B_1)$는 직관적으로 보았을 때, 상자$B_1$이 선택 되었을 때, 붉은 칩이 선택 될 확률이므로, $\frac{3}{10}$이라고 생각할 수 있고, 마찬가지로 $P(R|B_2)$도 $\frac{8}{10}$로 계산할 수 있습니다.

이제 사후확률에 해당하는 $P(B_1|R)$을 계산해보겠습니다. 먼저 붉은 칩이 나올 확률은 상자 $B_1$에서 붉은 칩을 뽑았을 때의 경우와 상자$B_2$에서 붉은 칩을 뽑았을 때의 경우를 더하여 구할 수 있습니다. 수식으로 나타내면 다음과 같습니다.

$P(B_1|R)=\frac{P(B_1)P(R|B_1)}{P(B_1)P(R|B_1)+P(B_2)P(R|B_2)}=\frac{(\frac{2}{6})(\frac{3}{10})}{(\frac{2}{6})(\frac{3}{10})+(\frac{4}{6})(\frac{8}{10})}=\frac{3}{19}$로 계산할 수 있습니다. 마찬가지 방법으로 $P(B_2|R)=\frac{16}{19}$입니다.

<베이즈정리 예시2.>

3대의 기계 $C_1$, $C_2$, $C_3$가 각각 한 공장 생산품의 10%, 50%, 40%를 생산합니다. 기계 $C_1$은 불량률이 1%, $C_2$, $C_3$는 불량률이 3%, 4%입니다. 공정 중 불량품이 발견 된 사건을 $C$라고 했을 때, $C_1$에서 불량품을 생산했을 확률을 구해봅시다.

사전확률은 각각 다음과 같습니다. $P(C_1)=0.1$, $P(C_2)=0.5$, $P(C_3)=0.4$ 그리고 불량품에 대한 조건부 확률은 다음과 같습니다. $P(C|C_1)=0.01$, $P(C|C_2)=0.03$, $P(C|C_3)=0.04$, 따라서 불량품이 발견 되었을 때, 기계$C_1$이 생산했을 확률 $P(C_1|C)$는 다음과 같이 구할 수 있습니다.

$P(C_1|C)=\frac{P(C_1 \cap C)}{P(C)}=\frac{P(C_1)P(C|C_1)}{P(C_1)P(C|C_1)+P(C_2)P(C|C_2)+P(C_3)P(C|C_3)}=\frac{(0.1)(0.01)}{(0.1)(0.01)+(0.5)(0.03)+(0.4)(0.04)}=\frac{1}{32}$