[Probability] 8. 정규분포와 중심극한정리(Normal distribution and Central limit theorem)

이번 글에서는 통계학에서 가장 많이 쓰이는 확률분포라고 해도 과언이 아닌 정규분포에 대해 알아보겠습니다.

---

펑균이 $\mu$이고, 분산이 $\sigma^2$인 정규분포의 pdf는 다음과 같습니다.

$f(x)=\frac {1}{\sqrt {2\pi} \sigma} \textrm {exp}{ \left \{ -\frac {1}{2} \left ( \frac {x-a}{b} \right )^2 \right \} },~~~~-\infty <x <\infty$ 

어떤 확률분포 $X$ 가 평균이 $\mu$이고 분산이 $\sigma^2$인 정규분포를 따른다면, $X \sim N(\mu,~\sigma^2)$와 같이 나타냅니다.

정규분포를 따르는 확률변수 $X$에 대해 정규화를 수행하여 $Z=\frac {X-\mu}{\sigma}$라고 두면 확률분포를 다음과 같이 나타낼 수 있습니다. 이 확률분포를 표준 정규분포라고 합니다.

$f(z)=\frac {1}{\sqrt {2\pi}}\textrm {exp} \left \{ {-\frac {1}{2} z^2} \right \},~~~~-\infty <z <\infty$

---

중심 극한 정리

중심 극한 정리는 IID(Identical Independent Distribution) 즉, 동일한 확률분포를 가진 독립 확률 변수 $n$개 평균의 분포는 $n$이 적당히 크다면, 정규분포에 가까워진다는 정리입니다.

만약 확률변수 $X_1,\cdots, X_n$ 들이 평균 $\mu$, 분산 $\sigma^2$을 가진다면, 평균 $\mathbb {S_n}=\frac{(X_1+\dots+X_n)}{n}$의 분포는 평균 $\mu$, 표준편차 $\frac {\sigma}{\sqrt {n}}$인 정규분포 $N(\mu, \frac {\sigma^2}{n})$에 분포 수렴합니다. 즉, 다음과 같이 나타낼 수 있습니다.

$\sqrt {n} \left( \left( \frac {1}{n} \displaystyle \sum^{n}_{i=1} X_i  \right ) - \mu \right ) \rightarrow N(0,~\sigma^2)$

중심 극한 정리는 모양이 치우치거나 특정한 분포를 가정하기 힘든 확률변수에서도 쓸 수 있기 때문에, 상당히 중요하고 많이 쓰이는 정리라고 할 수 있습니다.