[Bayesian Network] 1. 확률 그래프 모델

이번 글에서는 확률분포를 그래프로 나타내어 변수들 간의 조건부 관계를 쉽게 나타낼 수 있는 확률 그래프 모델(Probabilistic Graphical Model)을 알아보겠습니다.

---

그래프는 노드(node)와 에지(edge)로 이루어진 조합론적 구조입니다. 노드는 꼭짓점, 에지는 간선을 말하는데, 노드가 $n$개인 그래프를 수학적으로 다음과 같이 나타낼 수 있습니다.

$\mathbb {G}=\left \{ \textrm {V, E} \right \}$

$V(\mathbb {G})=\left \{ v_1,\cdots, v_n \right \}$

$\varepsilon(\mathbb {G})=\left \{ e_{i~j} \right \}$

그리고 만약 노드 $i$와 노드 $j$가 연결되어 있다면 $v_i \sim v_j$로 나타냅니다.

---

그래프 구조를 이용하여 확률분포를 어떻게 나타낼 수 있을까요?

하나의 확률변수를 하나의 노드로 본다면, 결합 확률분포는 다음과 같이 나타낼 수 있습니다.

$p(a,~b,~c)=p(c|a,~b) p(a,~b) \\~~~~~~~~~~~~~~~~~=p(c|a,~b) p(b|a) p(a)$

각각의 노드가 확률변수를 나타내고, 노드로 향하는 에지가 방향성이 있는 경우, Bayesian Network라고 합니다.

Bayesian Network의 한 가지 예를 더 들어보겠습니다. 다음과 같은 관계를 가지는 결합 확률분포를 어떻게 나타낼 수 있을까요?

$p(x)=p(x_1) p(x_2) p(x_3) p(x_4|x_1,~x_2,~x_3) p(x_5|x_1,~x_3) p(x_6|x_4) p(x_7|x_4,~x_5),~~~~where~~ x=(x_1,\cdots, x_7)$

이와 같이 그래프를 활용하면 확률변수들의 조건부 관계를 쉽게 나타낼 수 있어, 많은 확률 모델에서 사용하고 있습니다.

[Reference] BISHOP, Christopher M. Pattern recognition. Machine learning, 2006, 128.9.