[general] EM 알고리즘(Expectation and Maximization Algorithm)

이번 글에서는 최대 우도 추정법(MLE)을 사용할 수 없는 경우, 모수를 추정하기 위해 사용할 수 있는 EM 알고리즘에 대해 알아보겠습니다. EM 알고리즘은 일반적인 모델에서 쓰일 수 있지만, 이번 글에서는 가우시안 혼합 모델의 모수를 추정하기 위해 쓰는 경우에 대해 알아보겠습니다. 따라서 이전 글가우시안 혼합 모델의 확장(Extention ofGaussian Mixture)을 읽고 오시면 도움이 될 것입니다. 가우시안 혼합 모델의 주변 분포와 로그 우도는 다음과 같습니다. $\begin {align} &p(x_n)=\displaystyle \sum_{k=1}^{K}{\pi_k N(x_n|\mu_k,~\Sigma_k)} \\ &ln~ p(\textbf {X}|\mathbf {\pi}, \mathbf {\..

2021.07.28