이번 글에서는 사후 분포를 계산할 수 없는 경우 이를 계산할 수 있는 방법인 MCMC(Markov Chain Monte Carlo)방법의 구성요소인 몬테카를로방법(Monte carlo method)에 대해 알아보겠습니다. 관측치 $y=(y_1,\dots, y_n)$, $\theta$에 대해 사후 분포는 다음과 같습니다. $p(\theta|y)=\frac {p(y|\theta)\pi(\theta)}{\int {p(y|\theta)\pi(\theta) d\theta}}$ 베이지안 추론의 장점은 새로운 관측치에 대한 추론을 수행할 때, 이전의 데이터(사후 분포)를 이용하여 추론을 갱신할 수 있다는 것입니다. 예를 들어서, 미래 관측값 $\tilde {y}$에 대한 추론을 다음과 같이 수행할 수 있습니다. $p..

이전 글에서는 공액사전분포에 대해 알아보았습니다. 공액사전분포, 무정보적 사전분포, 제프리 사전분포 등을 사용하는 이유는 사후분포를 쉽게 다룰 수 있는(tractable) 분포로 나타내기 위함입니다. 이번 글에서는 사후분포가 계산이 불가능(Intractable)한 경우를 살펴보고, 이를 계산할 수 있는 방법들에 대해 알아보겠습니다. 관측값 $y=(y_1,\dots,y_n)$과 모수 $\theta$가 주어졌을 때, 사후분포는 다음과 같습니다. $p(\theta|y)=\frac{p(y|\theta)\pi(\theta)}{p(y)}=\frac{p(y|\theta)\pi(\theta)}{\int{p(y|\theta)\pi(\theta)d\theta}}$ 사후분포를 계산할 때, 발생할 수 있는 문제점은 두 가지 ..