이번 시간에는 사후 분포를 다룰 수 없는(intractable) 경우 사용할 수 있는 변분 베이즈 방법에 대해 알아보겠습니다. [관련 글] 4. 사후 분포의 추정(Estimation of Posterior distribution),5-1. MCMC(Estimation of Posterior - Markov Chain Monte Carlo) - 몬테카를로 방법(Monte Carlo method),범함수(Functional) 우리는 확률 기반의 모델에서의 사후 분포를 알고자 합니다. 이는 다음과 같이 나타낼 수 있습니다. $p(\textbf {Z}|\textbf {X})$ 여기서 $\textbf {X}$는 관찰된(observed data variables) 변수이고, $\textbf {Z}$는 잠재 변수(l..

이번 글에서는 통계학 및 정보이론에서 많이 등장하는 범함수의 정의에 대해 알아보겠습니다. 정의 변수의 값을 입력으로 받고, 함수의 값을 출력하는 관계를 함수라고 하고, 수식으로 다음과 같이 나타냅니다. $Y=f(X)+\epsilon$ 함수를 입력으로 받고, 함수의 값을 출력하는 관계를 범함수라고 합니다. 예를 들면, 정보이론에서 불확실성의 정도를 나타내는 엔트로피는 다음과 같이 나타낼 수 있습니다. $\textrm {H} \left [ p \right ] = \displaystyle \int p(x)~\textrm {ln} p(x)~dx$ 관심사 함수의 입력값이 변할 때, 출력 값이 어떻게 변하는지에 대해 연구하는 학문이 미적분학(calculus)입니다. 미적분학에서는 출력 값을 최대(최소)로 하는 입력..

이전 글 EM 알고리즘(Expectation and Maximization Algorithm)에서 가우시안 혼합 모델에 대한 EM 알고리즘을 다루었습니다. 예시로 가우시안 혼합 모델의 모수를 추정하였지만, 본래 EM 알고리즘은 잠재 변수가 있는 모델에 대해 모두 사용할 수 있습니다. 이번 글에서는 가우시안 혼합 모델에 국한하지 않고, 일반적으로 잠재 변수가 있는 모델에서 어떻게 모수를 추정하게 되는지 알아보겠습니다. 또한 가우시안 혼합 모델을 기반으로 많은 이야기가 전개되니 가우시안 혼합 모델도 읽고 오시는 것을 추천드립니다. [관련 글] 가우시안 혼합 모델(Gaussian Mixture),가우시안 혼합 모델의 확장(Extention ofGaussian Mixture) 변수를 주변화 하는 기본적인 방법은..

이번 글에서는 최대 우도 추정법(MLE)을 사용할 수 없는 경우, 모수를 추정하기 위해 사용할 수 있는 EM 알고리즘에 대해 알아보겠습니다. EM 알고리즘은 일반적인 모델에서 쓰일 수 있지만, 이번 글에서는 가우시안 혼합 모델의 모수를 추정하기 위해 쓰는 경우에 대해 알아보겠습니다. 따라서 이전 글가우시안 혼합 모델의 확장(Extention ofGaussian Mixture)을 읽고 오시면 도움이 될 것입니다. 가우시안 혼합 모델의 주변 분포와 로그 우도는 다음과 같습니다. $\begin {align} &p(x_n)=\displaystyle \sum_{k=1}^{K}{\pi_k N(x_n|\mu_k,~\Sigma_k)} \\ &ln~ p(\textbf {X}|\mathbf {\pi}, \mathbf {\..

이번 글에서는 기존 가우시안 혼합 모델에 이산형 잠재 변수(discrete latent variable)를 추가한 형태에 대해 알아보겠습니다. [관련 글] 가우시안 혼합 모델(Gaussian Mixture) 기본적으로 가우시안 혼합 모델은 다음과 같이 단일 가우시안 분포의 선형 결합(superposition)으로 나타낼 수 있습니다. $p(\textbf {x})=\displaystyle \sum^{K}_{k=1}{\pi_k N(\textbf {x}|\mu_k,~\Sigma_k)}$ 기존의 가우시안 혼합 모델에 클래스를 나타내는 이산형 잠재 변수 $z_k$를 도입하겠습니다. 이 변수는 하나의 값만 1이고 나머지의 값은 0으로 구성됩니다. 또한 변수 $z_k$의 값이 1일 확률이 $\pi_k$입니다. 즉, ..

이번 글에서는 하나의 확률분포를 선형결합시켜 더 복잡한 형태를 만들 수 있는 혼합모델에 대해 알아보겠습니다. 이번 글에서는 여러 혼합모델 중 가장 널리 쓰이는 가우시안 혼합모델에 대해 알아 볼 것 이므로, 이전 글[Probability] 8. 정규분포와 중심극한정리(Normal distribution and Central limit theorem) 을 읽고 오시면 도움이 될 것 입니다. 가우시안 분포는 수학적으로 좋은 특징이 많지만, 두 개로 나뉘어진 데이터를 정확하게 적합하지 못하는 문제가 있습니다. 만약 이 가우시안 분포를 선형결합(superposition)시킨다면, 더 복잡한 모양의 분포를 나타낼 수 있을 것 입니다. 위 그림은 세 개의 가우시안분포(파란선)를 선형결합시킨 가우시안 혼합모델(Gaus..