이번 글에서는 잠재 변수가 시간적인 순서를 따라 나타나는 경우를 모델링하는 선형 역학계에 대해 알아보겠습니다. [관련 글] 가우시안 혼합모델의 확장(Extention of Gaussian Mixture), 확률적 주성분 분석(Probabilistic PCA),2. 마르코프 체인(Markov Chain) 관찰된 변수의 분포를 더 다양하게 만들기 위해 잠재 변수를 도입하는 모델은 많이 사용되어 왔습니다. 예를 들어서, 이산형 잠재 변수를 사용하는 모델은 가우시안 혼합 모델과 은닉 마르코프 모델(Hidden Markov Models)이 있고, 연속형 잠재 변수를 사용하는 모델은 확률적 주성분 분석 모델이 있습니다. 한편, 우리가 시간을 다루는 모델을 생각해볼 때, 시간 사이에 종속성이 있을 수도 있고, 관측된..

이번 글에서는 베이지안 주성분 분석에 대해 알아보겠습니다. [관련 글] 2021.08.16 - [Machine Learning/models] - [models] 주성분 분석(Principal Component Analysis) 2021.08.16 - [Bayesian] - 확률적 주성분 분석(Probabilistic PCA) 확률적 주성분 분석에서는 관측된 변수를 연속형 잠재 변수를 통해 다음과 같이 나타내었습니다. $\begin {align} &\textbf {x}=\textbf {Wz} + \mu + \epsilon,~~~~where~\epsilon \sim N(0,\sigma^2),~p(\textbf {z})=N(z|0, \textrm {I}) \\ &p(\textbf {x}|\textbf {z})..

이번 글에서는 연속형 잠재 변수를 활용하는 가장 기본적인 모델에 해당하는 확률적 주성분 분석(Probabilistic PCA)에 대해 알아보겠습니다. [관련 글] 2021.08.16 - [Machine Learning/models] - [models] 주성분 분석(Principal Component Analysis) 주성분 분석은 원래 데이터 차원보다 더 낮은 차원으로 선형 사영(linear projection) 시키는 방법을 말합니다. 주성분 분석의 고유 벡터와 고윳값은 라그랑주 승수법을 통해 구할 수 있습니다. 확률적 주성분 분석에서는 연속형 잠재 변수의 선형 결합을 통해 관찰된 변수를 나타냅니다. 이렇게 나타내게 되면, 기존의 확률론적 방법으로 통합될 수 있기 때문에 여러 이점(MLE, EM 알고리..

이전 글에서는 결합 분포의 우도를 최적화하는 과정에서 $\textrm {KL}(q||p)$를 최소로 만드는 $q(Z)$를 찾는 변분 베이즈 방법(Variational Bayes)에 대해 알아보았습니다. 이번 글에서는 사후분포를 최적화하는 방법 중 하나인 기댓값 전파(Expectation Propagation)에 대해 알아보겠습니다. [관련 글] 6. 변분 베이즈 방법(Variational Bayes Method),6-1. 평균 장 근사(Mean-field approximation) 많은 경우에 결합 확률분포를 IID(Independent Identically Distributed) 분포의 곱으로 나타낼 수 있습니다. 즉, 다음과 같이 나타낼 수 있습니다. $p(\mathcal {D}, \theta)=\d..

이번 글에서는 변 분추론의 방법 중 하나인 평균 장 근사(Mean-field approximation)에 대해 알아보겠습니다. 이번 글에서는 변분추론의 개념이 나오기 때문에, 이전 글들을 참고하시면 도움이 될 것입니다. [관련 글]변분 베이즈 방법(Variational Bayes Method),범함수(Functional) $\begin {align} \textrm {ln} p(\textbf {X})=&\displaystyle \int {q(\textbf {Z})~\textrm {ln} \left \{ \frac {p(\textbf {X},\textbf {Z})}{q(\textbf {Z})}\right \} d\textbf {Z}}-\displaystyle \int {q(\textbf {Z})~\textr..

이번 시간에는 사후 분포를 다룰 수 없는(intractable) 경우 사용할 수 있는 변분 베이즈 방법에 대해 알아보겠습니다. [관련 글] 4. 사후 분포의 추정(Estimation of Posterior distribution),5-1. MCMC(Estimation of Posterior - Markov Chain Monte Carlo) - 몬테카를로 방법(Monte Carlo method),범함수(Functional) 우리는 확률 기반의 모델에서의 사후 분포를 알고자 합니다. 이는 다음과 같이 나타낼 수 있습니다. $p(\textbf {Z}|\textbf {X})$ 여기서 $\textbf {X}$는 관찰된(observed data variables) 변수이고, $\textbf {Z}$는 잠재 변수(l..