3. 공액사전분포(Conjugate Prior)

베이지안 추론에서 주요 논쟁거리 중 하나는 주관적 사전분포의 사용입니다. 사전분포에는 여러가지 형태가 있고, 사전분포를 정하는 방법은 매우 다양합니다. 

이번 글에서는 공액사전분포에 대해 알아보겠습니다.

---

모수에 대한 사전분포를 선택할 때, 그 분포의 형태를 모른다면 특정계열의 분포를 이용할 수 있습니다. 사전분포와 사후분포가 동일한 분포족에 속할 때, 사전분포를 공액사전분포$Conjugate prior$라고 합니다. 흔히 사용되는 공액사전분포는 다음과 같습니다.

표본분포	공액사전분포
$B(n,~\theta)$	$\theta \sim Beta(\alpha,~\beta)$
$Poi(\theta)$	$\theta \sim Gamma(a,~b)$
$N(\mu,~\sigma^2),~\sigma^2$ 알 때	$\mu \sim N(\mu_0,~\tau_0^2)$
$N(\mu,~\sigma^2),~\mu$ 알 때, $\tau=\frac{1}{\sigma^2}$	$\tau \sim Gamma(a,~b)$
$Gamma(\alpha,~\lambda),~\alpha$ 알 때	$\lambda \sim Gamma(a,~b)$

 

예를들어서, 표본분포가 이항분포일때, 사전분포를 베타분포로 가정하면, 사후분포가 베타분포가 되기 때문에, 베타분포를 이항분포에 대한 공액사전분포라고 할 수 있습니다. 이를 수학적으로 나타내면 다음과 같습니다.

표본에 대한 분포를 이항분포로 가정하면 다음과 같이 나타낼 수 있습니다.

$P(y|\theta)=\binom{n}{y}\theta^y(1-\theta)^{n-y}~;y=0,1,\dots,n$

$\theta$에 대한 사전분포로 공액사전분포인 베타분포 $\theta \sim Beta(\alpha,~\beta)$를 고려하면 다음과 같습니다.

$\pi(\theta) \propto \theta^{\alpha-1}(1-\theta)^{\beta-1}$

이 경우 $\theta$에 대한 사후분포는 다음과 같습니다.

$P(\theta|y) \propto P(y|\theta)\pi(\theta) \propto \theta^{y+\alpha-1} (1-\theta)^{n-y+\beta-1} \sim  Beta(y+\alpha,~ n-y+\beta)$

즉 사후분포인 $P(\theta|y)$가 $Beta(y+\alpha,~ n-y+\beta)$분포를 따르므로, $B(n,~\theta)$의 사전분포로$Beta(\alpha,~\beta)$를 선택한다면, $Beta(\alpha,~\beta)$ 를 공액사전분포라고 할 수 있습니다.

---

이외에도 무정보적 사전분포, 제프리 사전분포 등의 분포를 많이 사용하고 있습니다. 이러한 언급한 사전분포를 사용하지 않는 경우, 분자에 해당하는 $P(y|\theta) \pi(\theta)$의 텀이 특정 분포족을 따르지 않아 사후분포 $P(\theta|y)$를 모델링하지 못할 수도 있고, 분모에 해당하는 적분 텀 $\int{P(y|\theta)\pi(\theta)d\theta}$의 계산이 불가능$Intractable$하여 사후분포를 구하지 못할 수도 있습니다.