이번 글에서는 확률과정의 수학적 정의와 함께 간단한 예시를 통해 확률과정이 무엇인지에 대해 알아보겠습니다. 먼저 예시를 보겠습니다. A회사에서는 인체에 해가 적고 자연상태에서 쉽게 분해되는 새로운 세제를 개발하였습니다. 그러나 이 제품은 기존제품에 비해 제조단가가 1.5배 이상 되어 과연 소비자들이 이를 선택할지 의문인 상황입니다. 따라서 경영자는 먼저 시제품을 내어놓고 이에 대한 소비자들의 반응을 알아볼 것 입니다. 또한 소비자들의 반응에 따라 생산량을 조절하여 적정 재고량을 유지하려 할 것 입니다. 그러자면 생산설비를 늘려야 할 것인지 줄여야 할 것 인지를 미리 판단하여야 하며 이를 위해서는 일정시간 경과 후에 신제품을 구입하고자 하는 소비자 수를 예측하여야 할 것 입니다. 위의 예시와 같이 시간에 ..

이번 글에서는 사후 분포를 계산할 수 없는 경우 이를 계산할 수 있는 방법인 MCMC(Markov Chain Monte Carlo)방법의 구성요소인 몬테카를로방법(Monte carlo method)에 대해 알아보겠습니다. 관측치 $y=(y_1,\dots, y_n)$, $\theta$에 대해 사후 분포는 다음과 같습니다. $p(\theta|y)=\frac {p(y|\theta)\pi(\theta)}{\int {p(y|\theta)\pi(\theta) d\theta}}$ 베이지안 추론의 장점은 새로운 관측치에 대한 추론을 수행할 때, 이전의 데이터(사후 분포)를 이용하여 추론을 갱신할 수 있다는 것입니다. 예를 들어서, 미래 관측값 $\tilde {y}$에 대한 추론을 다음과 같이 수행할 수 있습니다. $p..

이전 글에서는 공액사전분포에 대해 알아보았습니다. 공액사전분포, 무정보적 사전분포, 제프리 사전분포 등을 사용하는 이유는 사후분포를 쉽게 다룰 수 있는(tractable) 분포로 나타내기 위함입니다. 이번 글에서는 사후분포가 계산이 불가능(Intractable)한 경우를 살펴보고, 이를 계산할 수 있는 방법들에 대해 알아보겠습니다. 관측값 $y=(y_1,\dots,y_n)$과 모수 $\theta$가 주어졌을 때, 사후분포는 다음과 같습니다. $p(\theta|y)=\frac{p(y|\theta)\pi(\theta)}{p(y)}=\frac{p(y|\theta)\pi(\theta)}{\int{p(y|\theta)\pi(\theta)d\theta}}$ 사후분포를 계산할 때, 발생할 수 있는 문제점은 두 가지 ..

베이지안 추론에서 주요 논쟁거리 중 하나는 주관적 사전분포의 사용입니다. 사전분포에는 여러가지 형태가 있고, 사전분포를 정하는 방법은 매우 다양합니다. 이번 글에서는 공액사전분포에 대해 알아보겠습니다. 모수에 대한 사전분포를 선택할 때, 그 분포의 형태를 모른다면 특정계열의 분포를 이용할 수 있습니다. 사전분포와 사후분포가 동일한 분포족에 속할 때, 사전분포를 공액사전분포(Conjugate prior)라고 합니다. 흔히 사용되는 공액사전분포는 다음과 같습니다. 표본분포 공액사전분포 $B(n,~\theta)$ $\theta \sim Beta(\alpha,~\beta)$ $Poi(\theta)$ $\theta \sim Gamma(a,~b)$ $N(\mu,~\sigma^2),~\sigma^2$ 알 때 $\mu..

베이지안 관점에서 쓰이는 확률에 대한 개념은 ([Probability] 4. 전확률 공식과 베이즈 정리(law of total probability and Bayes Thm))을 참고해주시면 감사하겠습니다. 이번 글에서는 베이지안 관점을 이용한 추론의 예시를 들어보겠습니다. 인간은 부모로부터 각각 한 개씩의 성염색체를 유전으로 받게 되는데, 남성은 하나의 X염색체와 하나의Y염색체, 여성은 두 개의 X염색체를 가집니다. 혈우병은 X염색체에 나타나는 열성유전자 입니다. 그러므로 남성이 혈우병 유전자를 가지고 있으면, 혈우병에 걸리게 되고, 여성이 혈우병 유전자를 가지고 있으면 보인자가 됩니다. 이제 혈우병에 걸린 남자 형제가 있고, 여성의 아버지는 혈우병이 아닌 여성의 경우를 생각해봅시다. 그렇다면, 여성의..

이번 글에서는 머신러닝 모델 중 가장 기초적인 모델이라고 할 수 있는 회귀분석에 대해 알아보겠습니다. 회귀분석은 가장 기초적이지만 중요한 내용을 많이 포함하고 있는 모델이기도 합니다. 독립변수 $X$와 종속변수 $Y$ 그리고 오 차 항 $\epsilon$이 평균이 0이고, 분산이 $\sigma^2$인 정규분포를 따르고 있다고 가정할 때, 우리가 풀고자 하는 문제를 다음과 같이 나타낼 수 있습니다. $Y=\beta_0 + \beta_1*X+\epsilon~,~where~\epsilon \sim N(0,\sigma^2)$ 이와 같이 독립변수와 종속변수가 선형의 관계를 가질 때, 가중치 $\beta_0$, $\beta_1$을 찾는 문제를 선형 회귀분석이라고 정의합니다. 이 가중치들을 어떻게 찾을 수 있을까요?..