이번 글에서는 연속형 잠재 변수를 활용하는 가장 기본적인 모델에 해당하는 확률적 주성분 분석(Probabilistic PCA)에 대해 알아보겠습니다. [관련 글] 2021.08.16 - [Machine Learning/models] - [models] 주성분 분석(Principal Component Analysis) 주성분 분석은 원래 데이터 차원보다 더 낮은 차원으로 선형 사영(linear projection) 시키는 방법을 말합니다. 주성분 분석의 고유 벡터와 고윳값은 라그랑주 승수법을 통해 구할 수 있습니다. 확률적 주성분 분석에서는 연속형 잠재 변수의 선형 결합을 통해 관찰된 변수를 나타냅니다. 이렇게 나타내게 되면, 기존의 확률론적 방법으로 통합될 수 있기 때문에 여러 이점(MLE, EM 알고리..

이번 글에서는 데이터의 차원 축소에 많이 쓰이는 방법 중 하나인 주성분 분석에 대해 알아보겠습니다. [관련 글] 가우시안 혼합 모델의 확장(Extention of Gaussian Mixture) $D$차원의 $N$개 데이터셋 $ \textbf {x} = \left ( x_1,\dots, x_N \right )^T $에 대해 생각해보겠습니다. 우리는 $D$ 차원의 데이터를 $M$차원으로 축소하기를 원한다고 가정하겠습니다. $M=1$이라고 가정하고, 우리가 축소할 차원의 방향을 가진 $\textbf{u}_1$벡터를 생각해보겠습니다. 각각의 데이터를 $\textbf{u}_1$방향으로 사영(projection) 시킨 후, 그들의 분산을 구하면 다음과 같습니다. $\frac {1}{N} \displaystyle ..

이전 글에서는 결합 분포의 우도를 최적화하는 과정에서 $\textrm {KL}(q||p)$를 최소로 만드는 $q(Z)$를 찾는 변분 베이즈 방법(Variational Bayes)에 대해 알아보았습니다. 이번 글에서는 사후분포를 최적화하는 방법 중 하나인 기댓값 전파(Expectation Propagation)에 대해 알아보겠습니다. [관련 글] 6. 변분 베이즈 방법(Variational Bayes Method),6-1. 평균 장 근사(Mean-field approximation) 많은 경우에 결합 확률분포를 IID(Independent Identically Distributed) 분포의 곱으로 나타낼 수 있습니다. 즉, 다음과 같이 나타낼 수 있습니다. $p(\mathcal {D}, \theta)=\d..

이번 글에서는 변 분추론의 방법 중 하나인 평균 장 근사(Mean-field approximation)에 대해 알아보겠습니다. 이번 글에서는 변분추론의 개념이 나오기 때문에, 이전 글들을 참고하시면 도움이 될 것입니다. [관련 글]변분 베이즈 방법(Variational Bayes Method),범함수(Functional) $\begin {align} \textrm {ln} p(\textbf {X})=&\displaystyle \int {q(\textbf {Z})~\textrm {ln} \left \{ \frac {p(\textbf {X},\textbf {Z})}{q(\textbf {Z})}\right \} d\textbf {Z}}-\displaystyle \int {q(\textbf {Z})~\textr..

이번 시간에는 사후 분포를 다룰 수 없는(intractable) 경우 사용할 수 있는 변분 베이즈 방법에 대해 알아보겠습니다. [관련 글] 4. 사후 분포의 추정(Estimation of Posterior distribution),5-1. MCMC(Estimation of Posterior - Markov Chain Monte Carlo) - 몬테카를로 방법(Monte Carlo method),범함수(Functional) 우리는 확률 기반의 모델에서의 사후 분포를 알고자 합니다. 이는 다음과 같이 나타낼 수 있습니다. $p(\textbf {Z}|\textbf {X})$ 여기서 $\textbf {X}$는 관찰된(observed data variables) 변수이고, $\textbf {Z}$는 잠재 변수(l..

이번 글에서는 통계학 및 정보이론에서 많이 등장하는 범함수의 정의에 대해 알아보겠습니다. 정의 변수의 값을 입력으로 받고, 함수의 값을 출력하는 관계를 함수라고 하고, 수식으로 다음과 같이 나타냅니다. $Y=f(X)+\epsilon$ 함수를 입력으로 받고, 함수의 값을 출력하는 관계를 범함수라고 합니다. 예를 들면, 정보이론에서 불확실성의 정도를 나타내는 엔트로피는 다음과 같이 나타낼 수 있습니다. $\textrm {H} \left [ p \right ] = \displaystyle \int p(x)~\textrm {ln} p(x)~dx$ 관심사 함수의 입력값이 변할 때, 출력 값이 어떻게 변하는지에 대해 연구하는 학문이 미적분학(calculus)입니다. 미적분학에서는 출력 값을 최대(최소)로 하는 입력..