Confusion Matrix 이진 분류 모델이 예측한 결과는 맞다(Positive), 아니다(Negatives) 두 가지 경우로 나타날 수 있습니다. 모델이 예측한 결과가 정답인 경우 True와 함께 판단 결과를 써주고, 모델이 예측한 결과가 정답이 아닌 경우 False와 함께 판단 결과를 써줍니다. 이 결과들을 종합하면 총 4가지 경우의 수가 나타날 수 있습니다. 4가지 경우의 수는 아래와 같습니다. True Positive(맞다고 예측한 결과가 맞는 경우) False Positive(맞다고 예측 하였는데, 아니다가 정답인 경우) True Negative(아니다라고 예측한 결과가 맞는 경우) False Negative(아니다라고 예측하였는데, 맞다가 정답인 경우) Threshold 이진 분류의 모델은..

이번 글에서는 데이터의 차원 축소에 많이 쓰이는 방법 중 하나인 주성분 분석에 대해 알아보겠습니다. [관련 글] 가우시안 혼합 모델의 확장(Extention of Gaussian Mixture) $D$차원의 $N$개 데이터셋 $ \textbf {x} = \left ( x_1,\dots, x_N \right )^T $에 대해 생각해보겠습니다. 우리는 $D$ 차원의 데이터를 $M$차원으로 축소하기를 원한다고 가정하겠습니다. $M=1$이라고 가정하고, 우리가 축소할 차원의 방향을 가진 $\textbf{u}_1$벡터를 생각해보겠습니다. 각각의 데이터를 $\textbf{u}_1$방향으로 사영(projection) 시킨 후, 그들의 분산을 구하면 다음과 같습니다. $\frac {1}{N} \displaystyle ..

이전 글 EM 알고리즘(Expectation and Maximization Algorithm)에서 가우시안 혼합 모델에 대한 EM 알고리즘을 다루었습니다. 예시로 가우시안 혼합 모델의 모수를 추정하였지만, 본래 EM 알고리즘은 잠재 변수가 있는 모델에 대해 모두 사용할 수 있습니다. 이번 글에서는 가우시안 혼합 모델에 국한하지 않고, 일반적으로 잠재 변수가 있는 모델에서 어떻게 모수를 추정하게 되는지 알아보겠습니다. 또한 가우시안 혼합 모델을 기반으로 많은 이야기가 전개되니 가우시안 혼합 모델도 읽고 오시는 것을 추천드립니다. [관련 글] 가우시안 혼합 모델(Gaussian Mixture),가우시안 혼합 모델의 확장(Extention ofGaussian Mixture) 변수를 주변화 하는 기본적인 방법은..

이번 글에서는 최대 우도 추정법(MLE)을 사용할 수 없는 경우, 모수를 추정하기 위해 사용할 수 있는 EM 알고리즘에 대해 알아보겠습니다. EM 알고리즘은 일반적인 모델에서 쓰일 수 있지만, 이번 글에서는 가우시안 혼합 모델의 모수를 추정하기 위해 쓰는 경우에 대해 알아보겠습니다. 따라서 이전 글가우시안 혼합 모델의 확장(Extention ofGaussian Mixture)을 읽고 오시면 도움이 될 것입니다. 가우시안 혼합 모델의 주변 분포와 로그 우도는 다음과 같습니다. $\begin {align} &p(x_n)=\displaystyle \sum_{k=1}^{K}{\pi_k N(x_n|\mu_k,~\Sigma_k)} \\ &ln~ p(\textbf {X}|\mathbf {\pi}, \mathbf {\..

이번 글에서는 기존 가우시안 혼합 모델에 이산형 잠재 변수(discrete latent variable)를 추가한 형태에 대해 알아보겠습니다. [관련 글] 가우시안 혼합 모델(Gaussian Mixture) 기본적으로 가우시안 혼합 모델은 다음과 같이 단일 가우시안 분포의 선형 결합(superposition)으로 나타낼 수 있습니다. $p(\textbf {x})=\displaystyle \sum^{K}_{k=1}{\pi_k N(\textbf {x}|\mu_k,~\Sigma_k)}$ 기존의 가우시안 혼합 모델에 클래스를 나타내는 이산형 잠재 변수 $z_k$를 도입하겠습니다. 이 변수는 하나의 값만 1이고 나머지의 값은 0으로 구성됩니다. 또한 변수 $z_k$의 값이 1일 확률이 $\pi_k$입니다. 즉, ..

이번 글에서는 하나의 확률분포를 선형결합시켜 더 복잡한 형태를 만들 수 있는 혼합모델에 대해 알아보겠습니다. 이번 글에서는 여러 혼합모델 중 가장 널리 쓰이는 가우시안 혼합모델에 대해 알아 볼 것 이므로, 이전 글[Probability] 8. 정규분포와 중심극한정리(Normal distribution and Central limit theorem) 을 읽고 오시면 도움이 될 것 입니다. 가우시안 분포는 수학적으로 좋은 특징이 많지만, 두 개로 나뉘어진 데이터를 정확하게 적합하지 못하는 문제가 있습니다. 만약 이 가우시안 분포를 선형결합(superposition)시킨다면, 더 복잡한 모양의 분포를 나타낼 수 있을 것 입니다. 위 그림은 세 개의 가우시안분포(파란선)를 선형결합시킨 가우시안 혼합모델(Gaus..