[Bayesian Network] 1-1. 확률그래프 모델의 확장

이번 글에서는 확률 그래프 모델에서 확률분포를 나타내는 방법을 조금 더 알아보겠습니다.

이전 글([Bayesian Network] 1. 확률 그래프 모델)에서는 확률분포 간의 조건부 관계를 그래프를 통해 나타내는 확률 그래프 모델의 정의와 간단한 예시를 알아보았습니다.

---

 확률 그래프 모델의 여러 형태를 살펴보기 위해, 곡선을 다항 분포를 통해 적합하는 예시를 보겠습니다.

Curve fitting

우리가 적합시킬 곡선에 대한 모델을 다음과 같이 다항 분포로 구성하겠습니다.

$y(x,~\textbf {w})=w_0+w_1x+\dots+w_M x^M$

위의 모델을 이용하면 우리의 목표 값인 $t_n$을 다음과 같이 나타낼 수 있습니다.

$t_n = y(x,~\textbf {w})+ \varepsilon,~~~~where~\varepsilon \sim N(0,~\sigma^2)~~~~\dots~~(1)$

위와 같이 구성된 변수를 확률분포와 확률 그래프 모델로 나타내어 보겠습니다.

---

우선 곡선의 가중치와 우리의 목표 값에 대한 결합 확률분포를 나타내면 다음과 같습니다.

$p(t, \textbf {w})=p(\textbf {w})\displaystyle \prod^{N}_{n=1} p(t_n|\textbf {w})~~~~\dots~~(2)$

위와 같이 가중치가 각각의 목표 값에 영향을 주는 것을 다음과 같이 나타냅니다.

하지만 매번 이와 같이 나타내는 것은 공간의 낭비가 크기 때문에, 조금 더 간편하게 나타내면 다음과 같습니다.

이와 같이 나타낸 파란색 박스를 plate라고 합니다.

---

다음으로 살펴볼 것은 확률변수가 아닌 모수(parameter)가 포함된 식 입니다.

$(2)$식은 $(1)$식을 너무 간단하게 나타낸 경향이 있기 때문에, $t_n$을 결정하는 입력값 $x_n$과 오차 항의 분산$\sigma^2$을 이용하여 나타내면 $(2)$식을 나타낼 수 있습니다.

$p(\textbf {t},~\textbf {w}|\textbf {x},~\alpha,~\sigma^2)=p(\textbf {w}|\alpha)\displaystyle \prod^{N}_{n=1} p(t_n|\textbf {w},~x_n,~\sigma^2)$

확률변수를 큰 원으로, 고정된 값을 작은 원으로 나타내면, 다음과 같이 표현할 수 있습니다.

그리고 $t_n$은 $\textbf {w}$와는 다르게 입력값 $x_n$에 따라 결정되기 때문에 이를 칠해진 큰 원으로 표현하면 위의 그래프를 다시 나타낼 수 있습니다.

[Reference]

BISHOP, Christopher M. Pattern recognition. Machine learning, 2006, 128.9.