이번 글에서는 변 분추론의 방법 중 하나인 평균 장 근사$Mean-field approximation$에 대해 알아보겠습니다. 이번 글에서는 변분추론의 개념이 나오기 때문에, 이전 글들을 참고하시면 도움이 될 것입니다. [관련 글]변분 베이즈 방법$Variational Bayes Method$,범함수$Functional$ $\begin {align} \textrm {ln} p$\textbf {X}$=&\displaystyle \int {q$\textbf {Z}$~\textrm {ln} \left \{ \frac {p$\textbf {X},\textbf {Z}$}{q$\textbf {Z}$}\right \} d\textbf {Z}}-\displaystyle \int {q$\textbf {Z}$~\textr..

이번 시간에는 사후 분포를 다룰 수 없는$intractable$ 경우 사용할 수 있는 변분 베이즈 방법에 대해 알아보겠습니다. [관련 글] 4. 사후 분포의 추정$Estimation of Posterior distribution$,5-1. MCMC$Estimation of Posterior - Markov Chain Monte Carlo$ - 몬테카를로 방법$Monte Carlo method$,범함수$Functional$ 우리는 확률 기반의 모델에서의 사후 분포를 알고자 합니다. 이는 다음과 같이 나타낼 수 있습니다. $p(\textbf {Z}|\textbf {X})$ 여기서 $\textbf {X}$는 관찰된$observed data variables$ 변수이고, $\textbf {Z}$는 잠재 변수(l..

이전 글에서는 공액사전분포에 대해 알아보았습니다. 공액사전분포, 무정보적 사전분포, 제프리 사전분포 등을 사용하는 이유는 사후분포를 쉽게 다룰 수 있는$tractable$ 분포로 나타내기 위함입니다. 이번 글에서는 사후분포가 계산이 불가능$Intractable$한 경우를 살펴보고, 이를 계산할 수 있는 방법들에 대해 알아보겠습니다. 관측값 $y=(y_1,\dots,y_n)$과 모수 $\theta$가 주어졌을 때, 사후분포는 다음과 같습니다. $p(\theta|y)=\frac{p(y|\theta)\pi(\theta)}{p(y)}=\frac{p(y|\theta)\pi(\theta)}{\int{p(y|\theta)\pi(\theta)d\theta}}$ 사후분포를 계산할 때, 발생할 수 있는 문제점은 두 가지 ..