초창기 지능형 애플리케이션들은 데이터를 처리하고 사용자의 입력을 다루는데 하드 코딩된 "if"와 "else" 명령을 사용하는 시스템이었습니다. 의심되는 메일을 스팸함으로 보내야 하는 스팸 필터를 생각해보겠습니다. 스팸으로 의심되는 단어들로 블랙리스트를 만들어 처리할 수 있을 것입니다. 이 방식은 사람이 직접 스팸으로 의심되는 단어들을 선정하여 그 단어들이 포함된 메일을 스팸으로 분류하는 방식입니다. 이 방법을 활용하면 대부분의 스팸메일들을 처리할 수 있을 것입니다. 하지만, 결정 규칙을 수동으로 만드는 것(스팸으로 의심되는 단어들을 선정)은 계속 결정규칙이 변하거나 결정규칙의 수가 너무 많을 때 잘 작동하지 않을 수도 있습니다. 따라서 이 모델을 사용하여야 하는 사람들은 모델이 직접 결정 규칙을 학습하기..

이전 글([Measure] 2. Measurable function and Probability Measure)에서 Measure는 추상적인 단위에 대한 적분을 하기 위한 수학적인 정의라고 하였습니다. 이것을 조금 더 확률론적인 관점에서 풀어보도록 하겠습니다. 우리는 실제에서 일어나는 사건을 수학적으로 정의하기를 원합니다. 예를 들어서, 주사위를 던졌을 때, 1이 나올 확률을 수학적으로 표현하기를 원합니다. '주사위를 던진 사건'이 이전 글에서 언급한 '추상적인 단위'를 말합니다. 이렇게 실제의 사건을 수학적으로 다루기 위한 수단이 Measure인 것이고, 확률론적으로 정의한 것이 확률변수(Random Variable)입니다. 이번 글에서는 확률변수를 수학적으로 정의하고, 이산형 확률변수와 연속형 확률변..

이번 글에서는 베이지안 딥러닝에서 기초적으로 쓰이는 베이즈 정리에 대해 알아보도록 하겠습니다. 베이즈 정리는 다음과 같습니다. $P(B_j|A)=\frac{P(B_j \cap A)}{P(A)}$ 분모를 계산할 때, 주어진 사건에 대한 모든 확률을 구해야합니다. 이 확률을 구하는 공식을 전확률 공식이라고 합니다. 위의 그림에서 $P(A)$를 구하기 위해, 각각의 $P(B_i)$가 주어졌을 때, $P(A|B_i)$인 확률을 모두 더해서 구할 수 있다는 것이 전확률 공식 입니다. 수식으로 나타내면 다음과 같습니다. $P(A)=\Sigma_{i=1}^{k}{P(B_i)P(A|B_i)}$ 전확률 공식을 적용하여 베이즈 정리를 나타내면 다음과 같습니다. $P(B_j|A)=\frac{P(B_j \cap A)}{P(A..

이번 글에서는 결합 확률(Joint Probability), 조건부 확률(Conditional Probability)과 주변 확률(Marginal Probability)에 대해 알아보겠습니다. 어떤 확률실험에서 표본 공간(Sample space) $\mathbb {S}$의 사건들이 중복되어 일어나는 경우의 확률을 결합 확률이라고 하고, 이 분포를 수학적으로 $P(X,~Y)$로 나타냅니다. 해가 없으면서 비가 오지 않는 경우를 예시로 들 수 있습니다. 어떤 확률 실험에서 표본공간(Sample space)을 표본공간$\mathbb {S}$의 부분집합 $X$로 축소하여 생각하고 싶은 경우를 생각해보겠습니다. 이때 표본 공간은 사실상 부분 공간 $X$을 의미하게 됩니다. 이 확률을 사건 $X$의 가설에 대한 사..

블로그의 다른 글([Measure] 2. Measurable function and Probability Measure)에서 Probability Measure에 대해 정의하였습니다. 이번 글에서는 조금 더 확률론적인 입장에서 Probability를 정의해보겠습니다. 이전 글에서 Measure는 Measurable Set 상에서 정의된다고 하였는데, Probability Measure를 사용하는 경우, Measurable Set을 Sample Space라고 지칭하고, Probability Measure를 간단히 Probability라고 지칭합니다. 즉, 우리는 관심있는 집합(Sample space)에서 집합의 원소의 Probability Measure(확률)을 정의하였다고 할 수 있습니다. Sample ..

집합은 확률의 이론적 기반을 제공하는 기초이기 때문에, 기본적인 집합의 개념을 알고 있는 것은 중요합니다. 먼저, 집합은 명확하게 특정할 수 있는 모임을 말합니다. 예를 들어, '자연수의 집합', '정수의 집합' 등은 수학적으로 엄밀하게 정의가 필요하지만, 수학적인 정의 하에서 명확하게 특정할 수 있으므로, 집합이라고 할 수 있습니다. 자연수의 집합을 생각해볼 때, 0은 집합에 속하지 않고, 1은 집합에 속합니다. 이렇게 어떤 집합에 속하는 대상을 그 집합의 원소(element)라고 합니다. 수학적으로 $c \in C$는 $c$가 집합$C$의 원소임을 뜻합니다. 집합 간의 대소 관계를 나타내는 부분집합을 다음과 같이 정의할 수 있습니다. 집합 $C_1$의 각 원소가 또한 집합$C_2$의 원소이면, $C_..