이번 글에서는 베이지안 딥러닝에서 기초적으로 쓰이는 베이즈 정리에 대해 알아보도록 하겠습니다. 베이즈 정리는 다음과 같습니다. $P(B_j|A)=\frac{P(B_j \cap A)}{P(A)}$ 분모를 계산할 때, 주어진 사건에 대한 모든 확률을 구해야합니다. 이 확률을 구하는 공식을 전확률 공식이라고 합니다. 위의 그림에서 $P(A)$를 구하기 위해, 각각의 $P(B_i)$가 주어졌을 때, $P(A|B_i)$인 확률을 모두 더해서 구할 수 있다는 것이 전확률 공식 입니다. 수식으로 나타내면 다음과 같습니다. $P(A)=\Sigma_{i=1}^{k}{P(B_i)P(A|B_i)}$ 전확률 공식을 적용하여 베이즈 정리를 나타내면 다음과 같습니다. $P$B_j|A$=\frac{P$B_j \cap A$}{P(A..

이번 글에서는 결합 확률$Joint Probability$, 조건부 확률$Conditional Probability$과 주변 확률$Marginal Probability$에 대해 알아보겠습니다. 어떤 확률실험에서 표본 공간$Sample space$ $\mathbb {S}$의 사건들이 중복되어 일어나는 경우의 확률을 결합 확률이라고 하고, 이 분포를 수학적으로 $P(X,~Y)$로 나타냅니다. 해가 없으면서 비가 오지 않는 경우를 예시로 들 수 있습니다. 어떤 확률 실험에서 표본공간$Sample space$을 표본공간$\mathbb {S}$의 부분집합 $X$로 축소하여 생각하고 싶은 경우를 생각해보겠습니다. 이때 표본 공간은 사실상 부분 공간 $X$을 의미하게 됩니다. 이 확률을 사건 $X$의 가설에 대한 사..

블로그의 다른 글$[Measure] 2. Measurable function and Probability Measure$에서 Probability Measure에 대해 정의하였습니다. 이번 글에서는 조금 더 확률론적인 입장에서 Probability를 정의해보겠습니다. 이전 글에서 Measure는 Measurable Set 상에서 정의된다고 하였는데, Probability Measure를 사용하는 경우, Measurable Set을 Sample Space라고 지칭하고, Probability Measure를 간단히 Probability라고 지칭합니다. 즉, 우리는 관심있는 집합$Sample space$에서 집합의 원소의 Probability Measure$확률$을 정의하였다고 할 수 있습니다. Sample ..

집합은 확률의 이론적 기반을 제공하는 기초이기 때문에, 기본적인 집합의 개념을 알고 있는 것은 중요합니다. 먼저, 집합은 명확하게 특정할 수 있는 모임을 말합니다. 예를 들어, '자연수의 집합', '정수의 집합' 등은 수학적으로 엄밀하게 정의가 필요하지만, 수학적인 정의 하에서 명확하게 특정할 수 있으므로, 집합이라고 할 수 있습니다. 자연수의 집합을 생각해볼 때, 0은 집합에 속하지 않고, 1은 집합에 속합니다. 이렇게 어떤 집합에 속하는 대상을 그 집합의 원소$element$라고 합니다. 수학적으로 $c \in C$는 $c$가 집합$C$의 원소임을 뜻합니다. 집합 간의 대소 관계를 나타내는 부분집합을 다음과 같이 정의할 수 있습니다. 집합 $C_1$의 각 원소가 또한 집합$C_2$의 원소이면, $C_..

이전 글$1. Measurable Set이란?$에서 추상적인 적분을 수행할 수 있는 단위인 Measurable Set에 대해서 알아보았습니다. 이번 글에서는 추상적인 적분인 Measure와 Probability Measure에 대해 알아보겠습니다. 먼저, Measurable Set에서 Measure로 mapping 하기 위해선, mapping 하는 함수가 필요할 것입니다. 그 함수를 Measurable function이라고 합니다. Measurable function은 다음과 같이 정의합니다. $\textrm {Given},~\sigma-alg~m$ of $X~and~Y~,where~Y~is~topological~space.$ $\textrm {We say that}~f~:~X \rightarrow Y~..

앞선 글$[Preliminary] - 0. 측도(Measure$란?)에서 Measure에 대한 직관적인 개념에 대해 설명하였습니다. 앞선 글에서 우리가 Measure를 사용하는 주된 이유는 추상적인 단위들에 대해서 적분을 수행하기 위함이라고 하였습니다. 추상적인 단위들에 대해 적분을 수행하기 위해선, 추상적인 단위들을 '어떻게 정의할 것 인가?'에 대한 엄밀한 정의가 필요할 것입니다. 집합 $X$에 대해 만약 $m~\subseteq~ \textrm {power set P(X)}$이다음 조건을 만족한다면 $m$을 $\sigma-algebra$라고 합니다. $1.$ $X \in m$ $2.$ $A \in m,~~then~~ A^{c} \in m$ $3.$ $\{A_{n}\} \subseteq m,~~t..