베이지안 관점에서 쓰이는 확률에 대한 개념은 ([Probability] 4. 전확률 공식과 베이즈 정리(law of total probability and Bayes Thm))을 참고해주시면 감사하겠습니다. 이번 글에서는 베이지안 관점을 이용한 추론의 예시를 들어보겠습니다. 인간은 부모로부터 각각 한 개씩의 성염색체를 유전으로 받게 되는데, 남성은 하나의 X염색체와 하나의Y염색체, 여성은 두 개의 X염색체를 가집니다. 혈우병은 X염색체에 나타나는 열성유전자 입니다. 그러므로 남성이 혈우병 유전자를 가지고 있으면, 혈우병에 걸리게 되고, 여성이 혈우병 유전자를 가지고 있으면 보인자가 됩니다. 이제 혈우병에 걸린 남자 형제가 있고, 여성의 아버지는 혈우병이 아닌 여성의 경우를 생각해봅시다. 그렇다면, 여성의..

이번 글에서는 머신러닝 모델 중 가장 기초적인 모델이라고 할 수 있는 회귀분석에 대해 알아보겠습니다. 회귀분석은 가장 기초적이지만 중요한 내용을 많이 포함하고 있는 모델이기도 합니다. 독립변수 $X$와 종속변수 $Y$ 그리고 오 차 항 $\epsilon$이 평균이 0이고, 분산이 $\sigma^2$인 정규분포를 따르고 있다고 가정할 때, 우리가 풀고자 하는 문제를 다음과 같이 나타낼 수 있습니다. $Y=\beta_0 + \beta_1*X+\epsilon~,~where~\epsilon \sim N(0,\sigma^2)$ 이와 같이 독립변수와 종속변수가 선형의 관계를 가질 때, 가중치 $\beta_0$, $\beta_1$을 찾는 문제를 선형 회귀분석이라고 정의합니다. 이 가중치들을 어떻게 찾을 수 있을까요?..

이전 글([Machine Learning] - 2-1. 편향-분산 절충 관계 증명(Bias-Variance Trade-off Proof))에서 모델을 학습하는 과정에서 사용되는 식을 예측모델의 편향과 분산으로 나눌 수 있음을 증명하였습니다. 이번 글에서는 예측모델 관점에서의 과대 적합과 과소 적합에 대해 알아보겠습니다. 우리가 예측모델을 학습시킬 때, 왼쪽 상단의 모습처럼 분산도 낮고 편향도 낮은 모델을 학습시키는 것이 가장 이상적인 그림입니다. 하지만, 예측모델의 편향과 분산의 합은 정해져 있기 때문에, 둘 간의 절충 관계가 생기게 됩니다. 오른쪽 상단과 같이 훈련 데이터에 대해 편향은 낮지만, 분산이 높은 경우를 가리켜 "모델이 훈련 데이터에 과대 적합되었다"라고 말합니다. 즉, 훈련 데이터의 정답은..

이전 글([Machine Learning] - 2. 모델 학습(How can we train a model?))에서 모델이 학습하는 과정을 어떻게 수식으로 나타낼 수 있는지에 대해 알아보았습니다. 또한 그 수식을 예측모델의 편향과 분산으로 나눌 수 있음을 보았습니다. 이번 글에서는 그 수식을 증명하여 수식의 의미를 조금 더 생각해보겠습니다. 우리가 예측하고자 하는 종속변수 $Y$와 그의 예측 값 $\hat {Y}$간의 차이를 줄이면서 모델을 학습하게 된다고 하였고, 그것을 수식으로 나타내면 다음과 같습니다. $E[(Y-\hat {Y})^2]=\mathbb {E}[f(X)+\epsilon-\hat {f}(X))^2]~~~~\cdots(1) \\ ~~~~~~~~~~~~~~~~~~~~~=\mathbb {E}[..

이전 글에서 머신러닝이 무엇이고, 어떻게 분류할 수 있는지에 대해 알아보았습니다. 이번 글에서는 머신러닝 모델의 학습을 어떻게 수학적으로 나타낼 수 있는지 알아보겠습니다. 우리가 예측하기를 원하는 종속변수($Y$)와 $p$개의 다른 설명변수 $X_1$, $X_2$,... , $X_p$가 관찰된다고 해보겠습니다. $Y$와 $X=(X_1,~X_2,~...,~X_p)$ 사이에 어떤 상관관계가 있다고 가정하면, 다음과 같은 일반적인 형태로 나타낼 수 있습니다. $Y=f(X)+\epsilon$ 여기서 $f$는 $X_1,~...,~X_p$에 대한 알려지지 않은 어떤 고정 함수이고, $\epsilon$은 랜덤 오 차 항으로 측정되지 않는 변수들을 포함할 수 있습니다. 오 차 항은 $X$와 독립적이며, 평균은 0이라고..

머신러닝 방법을 통해 만든 모델들은 크게 세 가지로 분류할 수 있습니다. 첫 번째는 지도 학습(Supervised learning) 모델입니다. 지도 학습 모델은 훈련용 데이터(Train dataset)와 정답 레이블이 같이 주어져서 각 데이터에 해당하는 정답을 학습할 수 있도록 모델을 구성하는 방법입니다. 우리가 생각할 수 있는 일반적인 머신러닝 모델이 지도 학습모델이라고 할 수 있습니다. 예를 들어, 스팸메일 분류, 의료영상에서의 양, 악성 판단, 거래기록으로부터의 이상 거래 탐지 등을 판단하는 모델에서 쓰일 수 있습니다. 지도 학습모델은 모델의 결과와 비교할 수 있는 정답 레이블이 주어지기 때문에, 비교적 높은 성능의 모델을 만들 수 있는 장점이 있습니다. 하지만, 정답 레이블을 만드는 것은 사람이..