이번 글에서는 MCMC(Markov Chain Monte Carlo)의 알고리즘의 수렴 진단에 대해 알아보겠습니다. [관련 글] MCMC(Estimation of Posterior - Markov Chain Monte Carlo) - 깁스 샘플러(Gibbs Sampler), MCMC(Estimation of Posterior - Markov Chain Monte Carlo) - 메트로폴리스-헤스팅스 알고리즘(Metropolis-Hastings Algorithm) 깁스 샘플링 또는 메트로폴리스-헤스팅스 알고리즘을 사용한 통계량의 추정이 정당성을 가지기 위해선 관심 모수 $\theta$의 수렴성을 진단해야 합니다. MCMC방법의 수렴을 진단하는 방법 중 겔만-루빈(Gelman-Rubin) 방법에 대해 알아보..

이번 글에서는 사후 분포를 계산할 수 없는 경우 이를 계산할 수 있는 방법인 MCMC(Markov Chain Monte Carlo) 방법 중 깁스 샘플러보다 더 일반적인 경우 사용되는 메트로폴리스-헤스팅스 알고리즘(Metropolis-Hastings Algorithm)에 대해 알아보겠습니다. [관련 글] [Stochastic Process] 1. 확률 과정(Stochastic Process),[Stochastic Process] 2. 마르코프 체인(Markov Chain) 메트로폴리스-헤스팅스 알고리즘(Matropolis-Hastings Algorithm) 난수를 발생하고자 하는 목표 확률분포가 $f(y) \propto \pi(y)$ 혹은 $f(y) = c\pi(y)$와 같이 주어지고, 이때 정규화 상수..

이번 글에서는 사후 분포를 계산할 수 없는 경우 이를 계산할 수 있는 방법인 MCMC(Markov Chain Monte Carlo) 방법 중 널리 쓰이는 깁스 샘플러(Gibbs sampler)에 대해 알아보겠습니다. [관련 글] [Stochastic Process] 1. 확률 과정(Stochastic Process),[Stochastic Process] 2. 마르코프 체인(Markov Chain) 깁스 샘플러(Gibbs sampler) 깁스 샘플러는 다차원의 결합 확률분포가 복잡하여 직접 랜덤 표본을 생성하기 어려운 경우, 각 변수의 조건부 확률분포로부터 랜덤 표본을 반복적으로 생성하면 적절한 조건 하에서 이들의 극한 분포가 결합 확률 밀도 함수가 된다는 사실에 근거하여 난수를 샘플링하는 방법입니다. 관..

이번 글에서는 사후 분포를 계산할 수 없는 경우 이를 계산할 수 있는 방법인 MCMC(Markov Chain Monte Carlo)방법의 구성요소인 몬테카를로방법(Monte carlo method)에 대해 알아보겠습니다. 관측치 $y=(y_1,\dots, y_n)$, $\theta$에 대해 사후 분포는 다음과 같습니다. $p(\theta|y)=\frac {p(y|\theta)\pi(\theta)}{\int {p(y|\theta)\pi(\theta) d\theta}}$ 베이지안 추론의 장점은 새로운 관측치에 대한 추론을 수행할 때, 이전의 데이터(사후 분포)를 이용하여 추론을 갱신할 수 있다는 것입니다. 예를 들어서, 미래 관측값 $\tilde {y}$에 대한 추론을 다음과 같이 수행할 수 있습니다. $p..