이전 글 EM 알고리즘(Expectation and Maximization Algorithm)에서 가우시안 혼합 모델에 대한 EM 알고리즘을 다루었습니다. 예시로 가우시안 혼합 모델의 모수를 추정하였지만, 본래 EM 알고리즘은 잠재 변수가 있는 모델에 대해 모두 사용할 수 있습니다. 이번 글에서는 가우시안 혼합 모델에 국한하지 않고, 일반적으로 잠재 변수가 있는 모델에서 어떻게 모수를 추정하게 되는지 알아보겠습니다. 또한 가우시안 혼합 모델을 기반으로 많은 이야기가 전개되니 가우시안 혼합 모델도 읽고 오시는 것을 추천드립니다. [관련 글] 가우시안 혼합 모델(Gaussian Mixture),가우시안 혼합 모델의 확장(Extention ofGaussian Mixture) 변수를 주변화 하는 기본적인 방법은..

이번 글에서는 최대 우도 추정법(MLE)을 사용할 수 없는 경우, 모수를 추정하기 위해 사용할 수 있는 EM 알고리즘에 대해 알아보겠습니다. EM 알고리즘은 일반적인 모델에서 쓰일 수 있지만, 이번 글에서는 가우시안 혼합 모델의 모수를 추정하기 위해 쓰는 경우에 대해 알아보겠습니다. 따라서 이전 글가우시안 혼합 모델의 확장(Extention ofGaussian Mixture)을 읽고 오시면 도움이 될 것입니다. 가우시안 혼합 모델의 주변 분포와 로그 우도는 다음과 같습니다. $\begin {align} &p(x_n)=\displaystyle \sum_{k=1}^{K}{\pi_k N(x_n|\mu_k,~\Sigma_k)} \\ &ln~ p(\textbf {X}|\mathbf {\pi}, \mathbf {\..

이번 글에서는 기존 가우시안 혼합 모델에 이산형 잠재 변수(discrete latent variable)를 추가한 형태에 대해 알아보겠습니다. [관련 글] 가우시안 혼합 모델(Gaussian Mixture) 기본적으로 가우시안 혼합 모델은 다음과 같이 단일 가우시안 분포의 선형 결합(superposition)으로 나타낼 수 있습니다. $p(\textbf {x})=\displaystyle \sum^{K}_{k=1}{\pi_k N(\textbf {x}|\mu_k,~\Sigma_k)}$ 기존의 가우시안 혼합 모델에 클래스를 나타내는 이산형 잠재 변수 $z_k$를 도입하겠습니다. 이 변수는 하나의 값만 1이고 나머지의 값은 0으로 구성됩니다. 또한 변수 $z_k$의 값이 1일 확률이 $\pi_k$입니다. 즉, ..

이번 글에서는 하나의 확률분포를 선형결합시켜 더 복잡한 형태를 만들 수 있는 혼합모델에 대해 알아보겠습니다. 이번 글에서는 여러 혼합모델 중 가장 널리 쓰이는 가우시안 혼합모델에 대해 알아 볼 것 이므로, 이전 글[Probability] 8. 정규분포와 중심극한정리(Normal distribution and Central limit theorem) 을 읽고 오시면 도움이 될 것 입니다. 가우시안 분포는 수학적으로 좋은 특징이 많지만, 두 개로 나뉘어진 데이터를 정확하게 적합하지 못하는 문제가 있습니다. 만약 이 가우시안 분포를 선형결합(superposition)시킨다면, 더 복잡한 모양의 분포를 나타낼 수 있을 것 입니다. 위 그림은 세 개의 가우시안분포(파란선)를 선형결합시킨 가우시안 혼합모델(Gaus..