이번 글에서는 통계학 및 정보이론에서 많이 등장하는 범함수의 정의에 대해 알아보겠습니다. 정의 변수의 값을 입력으로 받고, 함수의 값을 출력하는 관계를 함수라고 하고, 수식으로 다음과 같이 나타냅니다. $Y=f(X)+\epsilon$ 함수를 입력으로 받고, 함수의 값을 출력하는 관계를 범함수라고 합니다. 예를 들면, 정보이론에서 불확실성의 정도를 나타내는 엔트로피는 다음과 같이 나타낼 수 있습니다. $\textrm {H} \left [ p \right ] = \displaystyle \int p(x)~\textrm {ln} p(x)~dx$ 관심사 함수의 입력값이 변할 때, 출력 값이 어떻게 변하는지에 대해 연구하는 학문이 미적분학(calculus)입니다. 미적분학에서는 출력 값을 최대(최소)로 하는 입력..

이번 글에서는 확률 그래프 모델에서 확률변수들 간의 독립, 종속 관계를 알아볼 수 있는 D-separation 성질에 대해 알아보겠습니다. [관련 글] [Bayesian Network] 2. 조건부 독립(Conditional Independence) 결합 확률분포를 통해 확률변수들 간의 독립, 종속에 대해 파악하기 위해서는 어떤 변수를 주변화(marginalize)하여 알아볼 수 있습니다. 하지만, 복잡한 결합 확률분포의 경우, 여러 변수들 간의 종속관계를 파악하기 어려울 수 있습니다. 방향성을 가진 그래프의 경우, 각 노드에서의 관계를 파악하여, 우리가 관심 있는 노드들이 조건부 독립인지 판단할 수 있습니다. 각 노드들이 다음과 같은 관계를 가지면 D-separated이라고 말합니다. (1) $A$, ..

이전 글 [Bayesian Network] 1. 확률 그래프 모델,[Bayesian Network] 1-1. 확률 그래프 모델의 확장에서는 어떻게 확률분포를 확률 그래프 모델로 나타내는지에 대해 알아보았습니다. 이번 글에서는 복잡한 결합 확률분포를 간단하게 나타내어 줄 수 있고, 여러 변수 간의 종속, 독립관계를 알기 위해 필요한 조건부 독립 이란 개념에 대해 알아보겠습니다. 이번 글에서는 조건부 분포에 대한 이야기가 많이 나오기 때문에 이전 글 [Probability] 3. 결합, 조건부, 주변 확률분포(Joint, Contional, Marginal Probability Distribution) 읽고 오시면 읽을 때 도움이 될 것입니다. 직관적으로 생각했을 때, 조건부 독립이란 용어는 '어떤 조건이 ..

이번 글에서는 확률 그래프 모델에서 확률분포를 나타내는 방법을 조금 더 알아보겠습니다. 이전 글([Bayesian Network] 1. 확률 그래프 모델)에서는 확률분포 간의 조건부 관계를 그래프를 통해 나타내는 확률 그래프 모델의 정의와 간단한 예시를 알아보았습니다. 확률 그래프 모델의 여러 형태를 살펴보기 위해, 곡선을 다항 분포를 통해 적합하는 예시를 보겠습니다. 우리가 적합시킬 곡선에 대한 모델을 다음과 같이 다항 분포로 구성하겠습니다. $y(x,~\textbf {w})=w_0+w_1x+\dots+w_M x^M$ 위의 모델을 이용하면 우리의 목표 값인 $t_n$을 다음과 같이 나타낼 수 있습니다. $t_n = y(x,~\textbf {w})+ \varepsilon,~~~~where~\varepsi..

이번 글에서는 확률분포를 그래프로 나타내어 변수들 간의 조건부 관계를 쉽게 나타낼 수 있는 확률 그래프 모델(Probabilistic Graphical Model)을 알아보겠습니다. 그래프는 노드(node)와 에지(edge)로 이루어진 조합론적 구조입니다. 노드는 꼭짓점, 에지는 간선을 말하는데, 노드가 $n$개인 그래프를 수학적으로 다음과 같이 나타낼 수 있습니다. $\mathbb {G}=\left \{ \textrm {V, E} \right \}$ $V(\mathbb {G})=\left \{ v_1,\cdots, v_n \right \}$ $\varepsilon(\mathbb {G})=\left \{ e_{i~j} \right \}$ 그리고 만약 노드 $i$와 노드 $j$가 연결되어 있다면 $v_i ..

이번 글에서는 통계학에서 가장 많이 쓰이는 확률분포라고 해도 과언이 아닌 정규분포에 대해 알아보겠습니다. 펑균이 $\mu$이고, 분산이 $\sigma^2$인 정규분포의 pdf는 다음과 같습니다. $f(x)=\frac {1}{\sqrt {2\pi} \sigma} \textrm {exp}{ \left \{ -\frac {1}{2} \left ( \frac {x-a}{b} \right )^2 \right \} },~~~~-\infty