7. 기댓값 전파$Expectation Propagation$

이전 글에서는 결합 분포의 우도를 최적화하는 과정에서 $\textrm {KL}(q||p)$를 최소로 만드는 $q(Z)$를 찾는 변분 베이즈 방법$Variational Bayes$에 대해 알아보았습니다. 이번 글에서는 사후분포를 최적화하는 방법 중 하나인 기댓값 전파$Expectation Propagation$에 대해 알아보겠습니다. [관련 글] 6. 변분 베이즈 방법$Variational Bayes Method$,6-1. 평균 장 근사$Mean-field approximation$ 많은 경우에 결합 확률분포를 IID$Independent Identically Distributed$ 분포의 곱으로 나타낼 수 있습니다. 즉, 다음과 같이 나타낼 수 있습니다. $p$\mathcal {D}, \theta$=\d..

2021.08.05