Loading [MathJax]/jax/output/CommonHTML/jax.js

[Probability] 4. 전확률 공식과 베이즈 정리lawoftotalprobabilityandBayesThm

2021. 7. 9. 13:53Preliminary/Probability

이번 글에서는 베이지안 딥러닝에서 기초적으로 쓰이는 베이즈 정리에 대해 알아보도록 하겠습니다.


베이즈 정리는 다음과 같습니다. P(Bj|A)=P(BjA)P(A)

분모를 계산할 때, 주어진 사건에 대한 모든 확률을 구해야합니다. 이 확률을 구하는 공식을 전확률 공식이라고 합니다.

위의 그림에서 P(A)를 구하기 위해, 각각의 P(Bi)가 주어졌을 때, P(A|Bi)인 확률을 모두 더해서 구할 수 있다는 것이 전확률 공식 입니다. 수식으로 나타내면 다음과 같습니다.

P(A)=Σki=1P(Bi)P(A|Bi)

전확률 공식을 적용하여 베이즈 정리를 나타내면 다음과 같습니다.

P(Bj|A)=P(BjA)P(A)=P(BjA)Σki=1P(Bi)P(A|Bi)=P(Bj)P(A|Bj)Σki=1P(Bi)P(A|Bi)


확률 변수를 이용하여 베이즈 정리를 나타내면 다음과 같습니다.

P(X|Y)=P(X)P(Y|X)P(Y)=P(X)P(Y|X)XP(X, Y)dX=P(X)P(Y|X)XP(X)P(Y|X)dX

베이즈정리의 결과에서 확률변수X의 분포P(X)를 Prior, Y가 주어졌을 때 X가 갱신되어 나타나는 확률분포 P(X|Y)를 Posterior, 확률변수 X가 주어졌을 때, Y의 분포 P(Y|X)를 Likelihood라고 합니다.


<베이즈정리 예시 1.>

상자 B1에는 붉은 칩이 3개, 푸른 칩이 7개가 있고, 상자 B2에는 붉은 칩 8개와 푸른 칩 2개가 있습니다. 숫자가 6까지 있는 공평한 주사위를 하나 던져서 윗면에 5 또는 6이 나오면 상자 B1을 선택하고, 아니면 상자 B2를 선택한다고 했을 때, P(B1)=26, P(B2)=46입니다. 상자에서 붉은 칩이 선택되는 사건을 R이라고 했을 때, P(R|B1), P(R|B2), P(B1|R), P(B2|R)을 계산해봅시다.

먼저 P(R|B1)는 직관적으로 보았을 때, 상자B1이 선택 되었을 때, 붉은 칩이 선택 될 확률이므로, 310이라고 생각할 수 있고, 마찬가지로 P(R|B2)810로 계산할 수 있습니다.

이제 사후확률에 해당하는 P(B1|R)을 계산해보겠습니다. 먼저 붉은 칩이 나올 확률은 상자 B1에서 붉은 칩을 뽑았을 때의 경우와 상자B2에서 붉은 칩을 뽑았을 때의 경우를 더하여 구할 수 있습니다. 수식으로 나타내면 다음과 같습니다.

P(B1|R)=P(B1)P(R|B1)P(B1)P(R|B1)+P(B2)P(R|B2)=(26)(310)(26)(310)+(46)(810)=319로 계산할 수 있습니다. 마찬가지 방법으로 P(B2|R)=1619입니다.

<베이즈정리 예시2.>

3대의 기계 C1, C2, C3가 각각 한 공장 생산품의 10%, 50%, 40%를 생산합니다. 기계 C1은 불량률이 1%, C2, C3는 불량률이 3%, 4%입니다. 공정 중 불량품이 발견 된 사건을 C라고 했을 때, C1에서 불량품을 생산했을 확률을 구해봅시다.

사전확률은 각각 다음과 같습니다. P(C1)=0.1, P(C2)=0.5, P(C3)=0.4 그리고 불량품에 대한 조건부 확률은 다음과 같습니다. P(C|C1)=0.01, P(C|C2)=0.03, P(C|C3)=0.04, 따라서 불량품이 발견 되었을 때, 기계C1이 생산했을 확률 P(C1|C)는 다음과 같이 구할 수 있습니다.

P(C1|C)=P(C1C)P(C)=P(C1)P(C|C1)P(C1)P(C|C1)+P(C2)P(C|C2)+P(C3)P(C|C3)=(0.1)(0.01)(0.1)(0.01)+(0.5)(0.03)+(0.4)(0.04)=132