이번 글에서는 확률 그래프 모델에서 확률분포를 나타내는 방법을 조금 더 알아보겠습니다. 이전 글([Bayesian Network] 1. 확률 그래프 모델)에서는 확률분포 간의 조건부 관계를 그래프를 통해 나타내는 확률 그래프 모델의 정의와 간단한 예시를 알아보았습니다. 확률 그래프 모델의 여러 형태를 살펴보기 위해, 곡선을 다항 분포를 통해 적합하는 예시를 보겠습니다. 우리가 적합시킬 곡선에 대한 모델을 다음과 같이 다항 분포로 구성하겠습니다. $y(x,~\textbf {w})=w_0+w_1x+\dots+w_M x^M$ 위의 모델을 이용하면 우리의 목표 값인 $t_n$을 다음과 같이 나타낼 수 있습니다. $t_n = y(x,~\textbf {w})+ \varepsilon,~~~~where~\varepsi..

이번 글에서는 확률분포를 그래프로 나타내어 변수들 간의 조건부 관계를 쉽게 나타낼 수 있는 확률 그래프 모델(Probabilistic Graphical Model)을 알아보겠습니다. 그래프는 노드(node)와 에지(edge)로 이루어진 조합론적 구조입니다. 노드는 꼭짓점, 에지는 간선을 말하는데, 노드가 $n$개인 그래프를 수학적으로 다음과 같이 나타낼 수 있습니다. $\mathbb {G}=\left \{ \textrm {V, E} \right \}$ $V(\mathbb {G})=\left \{ v_1,\cdots, v_n \right \}$ $\varepsilon(\mathbb {G})=\left \{ e_{i~j} \right \}$ 그리고 만약 노드 $i$와 노드 $j$가 연결되어 있다면 $v_i ..

이번 글에서는 통계학에서 가장 많이 쓰이는 확률분포라고 해도 과언이 아닌 정규분포에 대해 알아보겠습니다. 펑균이 $\mu$이고, 분산이 $\sigma^2$인 정규분포의 pdf는 다음과 같습니다. $f(x)=\frac {1}{\sqrt {2\pi} \sigma} \textrm {exp}{ \left \{ -\frac {1}{2} \left ( \frac {x-a}{b} \right )^2 \right \} },~~~~-\infty

이번 글에서는 표본 공간 $\mathbb {S}$의 실현 값이 오직 둘 중 하나로 분류될 수 있는 베르누이 시행(Bernoulli trial)에 대해 알아보고, 그의 확장인 이항 분포의 정의와 예시에 대해 알아보겠습니다. [관련 글] 2. 확률변수(Random Variable)와,5. 기댓값과 분산(Expectation and Variance),6. 적률 생성 함수(Moment generating function) 베르누이 시행(Bernoulli trial)은 표본 공간의 실현 값이 오직 둘 중 하나로 분류되는 실험인 베르누이 실험을 독립적으로 몇 회 반복했을 때 발생합니다. 이때 각각의 실험이 성공할 확률은 $p$로 동일합니다. 성공하는 경우를 1이라고 하고, 실패하는 경우를 0이라고 했을 때, 확률변..

이번 글에서는 확률분포의 기댓값과 분산을 수학적으로 계산할 수 있는 도구인 적률 생성 함수에 대해 알아보겠습니다. 기댓값과 분산에 대한 내용은 이전 글(Probability] 5. 기댓값과 분산(Expectation and Variance))을 참고해주시면 감사하겠습니다. $X$를 어떤 $h>0$에 대해 $-h

이번 글에서는 통계적으로 많은 의미를 가지는 통계량인 기댓값과 분산의 수학적 정의를 알아보겠습니다. 확률변수가 연속형 확률변수인 경우, 기댓값은 수학적으로 다음과 같이 나타냅니다. $\mathbb {E}(X)=\displaystyle \int^{\infty}_{-\infty} xf(x) dx$ 확률변수 $X$의 pdf인 $f(X)$는 $X$의 값이 나올 확률을 의미하기 때문에, 기댓값은 확률변수의 값과 확률변수의 값이 나올 확률을 가중합 하여 계산할 수 있습니다. 한편, 확률변수가 연속형 확률변수인 경우, 분산은 수학적으로 다음과 같이 나타냅니다. $V(X)=\displaystyle \int^{\infty}_{-\infty}(x-\mu)^2f(x) dx$ 또한, 기댓값을 이용하여 분산을 계산하면 다음과 ..