1. 통계적 추론을 바라보는 관점 (Perspective of Statistical Inference)

통계적 추론(Statistical Inference)에서 문제를 정의하는 관점은 두 가지가 있습니다.

두 가지의 관점을 설명하기에 앞서, 통계적 추론은 무엇일까요?

기본적으로 통계학이란 관심 있는 모집단의 특성을 파악하는 학문이며, 모집단의 특성을 설명해주는 값을 모수(Parameter)라고 합니다. 모집단의 특성을 파악하기 위해서 자료를 관측하고 이를 사용하게 되는데, 관측된 자료로부터 모수에 대한 어떤 결론을 이끌어 내는 과정을 통계적 추론이라고 합니다.

---

통계적 추론에 대해 간략하게 살펴보았으니, 통계적 추론에서 문제를 정의하는 관점에 대해 알아봅시다.

첫 번째는 빈도 주의자(Frequentist) 관점이고, 두 번째는 베이지안(Bayesian) 관점입니다.

빈도 주의자 관점에서는 현재 주어진 관측값뿐만 아니라 실험이나 조사를 무한히 반복했을 경우 얻을 수 있는 모든 가능한 관측값들을 고려합니다. 예를 들어서, 대통령 선거와 같은 전국 단위 선거에서는 투표 후, 출구조사를 합니다. 이 출구조사 결과를 통해, 대통령 후보에 대한 당선 확률을 추정하여 당선인을 가늠할 수 있습니다.

베이지안 관점에서는 관측된 자료의 정보와 모수에 대한 확률 모형을 모두 이용하여 추론의 관심이 되는 모수를 추론하게 됩니다. 베이지안의 관점에서 바라볼 수 있는 대표적인 문제는 유전문제입니다. 어떤 여성이 병에 대한 보균자 인지 아닌지가 관심 있는 문제라고 했을 때, 그 여성의 아들의 병력을 이용하여 여성이 보균자 인지 아닌지에 대한 확률을 추론할 수 있습니다.

---

베이지안 방법은 빈도 주의 방법과 비교하여 장점이 많습니다. 대표적인 장점 두 개를 알아보겠습니다.

첫 번째는 베이지안 방법은 해석하기가 쉽습니다. 예를 들어서 빈도 주의 방법을 통해 모수에 대한 95% 신뢰구간(Confidence Interval)을 추정할 때, 다음과 같이 나타낼 수 있습니다. 

$\overline {x} \pm (1.96)\frac {s}{\sqrt {n}}$

이렇게 구해진 신뢰구간이 $\theta$를 포함할 확률은 95%가 아니라, 포함하거나 포함하지 않거나 둘 중 하나입니다.

즉, $P(\overline {x}-(1.96)\frac {s}{\sqrt {n}}<\theta <\overline {x}+(1.96)\frac {s}{\sqrt {n}})$=$\{0,~1\}$입니다.

반면, 베이지안 방법을 통해 구해진 95% 신용 구간(Credible Interval)은 모수를 포함할 확률이 95%이므로 보다 쉽게 결과를 해석할 수 있습니다.

 

두 번째는 베이지안 방법은 학습에 관한 공식입니다. 만약 어떤 실험을 수행하여 관측값 $y_1,\dots, y_n$을 수집하였다고 할 때, $y=(y_1,\dots, y_n)$라고 두면 사후 분포는 다음과 같이 나타낼 수 있습니다.

$p(\theta|y)=\frac {p(y|\theta) \pi(\theta)}{\int {p(y|\theta)\pi(\theta) d\theta}}$

새로운 실험으로 추가적인 관측값 $y_n+1$을 얻었다고 하면, 수정된 사후 분포는 다음과 같습니다.

$p(\theta|y,~y_{n+1})=\frac {p(y_{n+1}|\theta)\pi(\theta|y)}{\int {p(y_{n+1}|\theta)\pi(\theta|y) d\theta}}$

즉 현재 실험에서 사전 분포는 과거 실험으로부터의 사후 분포입니다. 이것과 같이 베이지안 방법에서는 정보를 더 획득하였을 때, 자연스럽게 결과를 수정할 수 있습니다.