[models] 가우시안 혼합모델의 확장(Extention of Gaussian Mixture)

이번 글에서는 기존 가우시안 혼합 모델에 이산형 잠재 변수$discrete latent variable$를 추가한 형태에 대해 알아보겠습니다.

[관련 글] 가우시안 혼합 모델$Gaussian Mixture$

---

기본적으로 가우시안 혼합 모델은 다음과 같이 단일 가우시안 분포의 선형 결합$superposition$으로 나타낼 수 있습니다.

$p(\textbf {x})=\displaystyle \sum^{K}_{k=1}{\pi_k N(\textbf {x}|\mu_k,~\Sigma_k)}$

기존의 가우시안 혼합 모델에 클래스를 나타내는 이산형 잠재 변수 $z_k$를 도입하겠습니다. 이 변수는 하나의 값만 1이고 나머지의 값은 0으로 구성됩니다. 또한 변수 $z_k$의 값이 1일 확률이 $\pi_k$입니다. 즉, 다음과 같습니다.

$p(z_k=1)=\pi_k,~~~~where~~\displaystyle \sum^{K}_{k=1}\pi_k=1$

그러므로, 변수 $x$와 $z$의 결합 확률분포는 다음과 같이 나타낼 수 있습니다.

$p(x,~z)=p(z) p(x|z)$

이렇게 구성된 변수 $z_k$에 $x$와 동일하게 취급해주기 위해, 다음과 같이 변수를 구성합니다.

$p(z)=\displaystyle \prod^K_{k=1}{\pi_k^{z_k}}$

한편, $z$가 주어졌을 때 $x$의 분포를 다음과 같이 나타낼 수 있습니다.

$p(\textbf {x}|z_k=1)=N(\textbf {x}|\mu_k,~\Sigma_k)$

$p(\textbf {x}|\textbf {z})=\displaystyle \sum^K_{k=1}{N(\textbf {x}|\mu_k~,\Sigma_k)}^{z_k}$

변수 $z_k$의 값이 1일 때만 분포가 존재하므로 이를 활용하여 정리하면 $x$의 주변 분포는 다음과 같이 나타낼 수 있습니다.

$p(\textbf {x})=\displaystyle \sum_{z}{p(\textbf {z})p(\textbf {x}|\textbf {z})}=\displaystyle \sum_{k=1}^{K}{\pi_k N(\textbf {x}|\mu_k,~\Sigma_k)}$

그리고 베이즈 정리를 활용하여 변수 $z_k$에 대한 사후 분포를 나타내면 다음과 같습니다.

$\begin {align} \gamma(z_k) \equiv p(z_k=1|\textbf {x}) &= \frac{{p(z_k=1) p(\textbf {x}|z_k=1)}}{\displaystyle \sum^{K}_{k=1}{p(z_j=1) p(\textbf {x}|z_j=1)}} \\ &= \frac {\pi_k N(\textbf {x}|\mu_k,~\Sigma_k)}{\displaystyle \sum^{K}_{j=1}{\pi_j N(\textbf {x}|\mu_j,~\Sigma_j)}} \end {align}$

위와 같이 정의된 $\gamma(z_k)$를 reponsibility라고 합니다.

---

$a$ 그림이 $p(\textbf {x},~\textbf {z})$입니다. 샘플들이 각각 클래스에 해당하는 색깔로 나타나는 것을 알 수 있습니다. $b$ 그림은 $x$의 주변 분포 $p(x)$입니다. $z$변수가 포함되어 있지 않기 때문에, 하나의 색으로 나타나는 것을 볼 수 있습니다. $c$ 그림은 responsibility $\gamma({z_k})$를 나타낸 것입니다. 데이터에 따라 어느 클래스 인지가 결정되기 때문에, 경계선에 있는 샘플 같은 경우, 색이 섞여서 나타나는 것을 볼 수 있습니다.

$c$ 그림에서도 볼 수 있듯이, 단순한 선형 결합으로 혼합 모델을 나타내는 것보다 클래스를 나타내는 잠재 변수를 쓰는 것이 분포를 더 효과적으로 나타내는 것을 알 수 있습니다. 뿐만 아니라, 잠재 변수와의 결합 확률로 나타내면, EM 알고리즘$Expectation Maximization algorithm$도 사용할 수 있기 때문에, 여러 이점이 있습니다.