이번 글에서는 데이터의 차원 축소에 많이 쓰이는 방법 중 하나인 주성분 분석에 대해 알아보겠습니다. [관련 글] 가우시안 혼합 모델의 확장(Extention of Gaussian Mixture) $D$차원의 $N$개 데이터셋 $ \textbf {x} = \left ( x_1,\dots, x_N \right )^T $에 대해 생각해보겠습니다. 우리는 $D$ 차원의 데이터를 $M$차원으로 축소하기를 원한다고 가정하겠습니다. $M=1$이라고 가정하고, 우리가 축소할 차원의 방향을 가진 $\textbf{u}_1$벡터를 생각해보겠습니다. 각각의 데이터를 $\textbf{u}_1$방향으로 사영(projection) 시킨 후, 그들의 분산을 구하면 다음과 같습니다. $\frac {1}{N} \displaystyle ..

이번 글에서는 기존 가우시안 혼합 모델에 이산형 잠재 변수(discrete latent variable)를 추가한 형태에 대해 알아보겠습니다. [관련 글] 가우시안 혼합 모델(Gaussian Mixture) 기본적으로 가우시안 혼합 모델은 다음과 같이 단일 가우시안 분포의 선형 결합(superposition)으로 나타낼 수 있습니다. $p(\textbf {x})=\displaystyle \sum^{K}_{k=1}{\pi_k N(\textbf {x}|\mu_k,~\Sigma_k)}$ 기존의 가우시안 혼합 모델에 클래스를 나타내는 이산형 잠재 변수 $z_k$를 도입하겠습니다. 이 변수는 하나의 값만 1이고 나머지의 값은 0으로 구성됩니다. 또한 변수 $z_k$의 값이 1일 확률이 $\pi_k$입니다. 즉, ..

이번 글에서는 하나의 확률분포를 선형결합시켜 더 복잡한 형태를 만들 수 있는 혼합모델에 대해 알아보겠습니다. 이번 글에서는 여러 혼합모델 중 가장 널리 쓰이는 가우시안 혼합모델에 대해 알아 볼 것 이므로, 이전 글[Probability] 8. 정규분포와 중심극한정리(Normal distribution and Central limit theorem) 을 읽고 오시면 도움이 될 것 입니다. 가우시안 분포는 수학적으로 좋은 특징이 많지만, 두 개로 나뉘어진 데이터를 정확하게 적합하지 못하는 문제가 있습니다. 만약 이 가우시안 분포를 선형결합(superposition)시킨다면, 더 복잡한 모양의 분포를 나타낼 수 있을 것 입니다. 위 그림은 세 개의 가우시안분포(파란선)를 선형결합시킨 가우시안 혼합모델(Gaus..

이번 글에서는 머신러닝 모델 중 가장 기초적인 모델이라고 할 수 있는 회귀분석에 대해 알아보겠습니다. 회귀분석은 가장 기초적이지만 중요한 내용을 많이 포함하고 있는 모델이기도 합니다. 독립변수 $X$와 종속변수 $Y$ 그리고 오 차 항 $\epsilon$이 평균이 0이고, 분산이 $\sigma^2$인 정규분포를 따르고 있다고 가정할 때, 우리가 풀고자 하는 문제를 다음과 같이 나타낼 수 있습니다. $Y=\beta_0 + \beta_1*X+\epsilon~,~where~\epsilon \sim N(0,\sigma^2)$ 이와 같이 독립변수와 종속변수가 선형의 관계를 가질 때, 가중치 $\beta_0$, $\beta_1$을 찾는 문제를 선형 회귀분석이라고 정의합니다. 이 가중치들을 어떻게 찾을 수 있을까요?..