Preliminary/Probability(14)
-
[Probability] 7. 베르누이 시행과 이항분포(Bernoulli trial and Binomial Distribution)
이번 글에서는 표본 공간 $\mathbb {S}$의 실현 값이 오직 둘 중 하나로 분류될 수 있는 베르누이 시행(Bernoulli trial)에 대해 알아보고, 그의 확장인 이항 분포의 정의와 예시에 대해 알아보겠습니다. [관련 글] 2. 확률변수(Random Variable)와,5. 기댓값과 분산(Expectation and Variance),6. 적률 생성 함수(Moment generating function) 베르누이 시행(Bernoulli trial)은 표본 공간의 실현 값이 오직 둘 중 하나로 분류되는 실험인 베르누이 실험을 독립적으로 몇 회 반복했을 때 발생합니다. 이때 각각의 실험이 성공할 확률은 $p$로 동일합니다. 성공하는 경우를 1이라고 하고, 실패하는 경우를 0이라고 했을 때, 확률변..
2021.07.20 -
[Probability] 6. 적률생성함수(Moment generating function)
이번 글에서는 확률분포의 기댓값과 분산을 수학적으로 계산할 수 있는 도구인 적률 생성 함수에 대해 알아보겠습니다. 기댓값과 분산에 대한 내용은 이전 글(Probability] 5. 기댓값과 분산(Expectation and Variance))을 참고해주시면 감사하겠습니다. $X$를 어떤 $h>0$에 대해 $-h
2021.07.20 -
[Probability] 5. 기댓값과 분산(Expectation and Variance)
이번 글에서는 통계적으로 많은 의미를 가지는 통계량인 기댓값과 분산의 수학적 정의를 알아보겠습니다. 확률변수가 연속형 확률변수인 경우, 기댓값은 수학적으로 다음과 같이 나타냅니다. $\mathbb {E}(X)=\displaystyle \int^{\infty}_{-\infty} xf(x) dx$ 확률변수 $X$의 pdf인 $f(X)$는 $X$의 값이 나올 확률을 의미하기 때문에, 기댓값은 확률변수의 값과 확률변수의 값이 나올 확률을 가중합 하여 계산할 수 있습니다. 한편, 확률변수가 연속형 확률변수인 경우, 분산은 수학적으로 다음과 같이 나타냅니다. $V(X)=\displaystyle \int^{\infty}_{-\infty}(x-\mu)^2f(x) dx$ 또한, 기댓값을 이용하여 분산을 계산하면 다음과 ..
2021.07.20 -
[Probability] 2. 확률변수(Random Variable)
이전 글([Measure] 2. Measurable function and Probability Measure)에서 Measure는 추상적인 단위에 대한 적분을 하기 위한 수학적인 정의라고 하였습니다. 이것을 조금 더 확률론적인 관점에서 풀어보도록 하겠습니다. 우리는 실제에서 일어나는 사건을 수학적으로 정의하기를 원합니다. 예를 들어서, 주사위를 던졌을 때, 1이 나올 확률을 수학적으로 표현하기를 원합니다. '주사위를 던진 사건'이 이전 글에서 언급한 '추상적인 단위'를 말합니다. 이렇게 실제의 사건을 수학적으로 다루기 위한 수단이 Measure인 것이고, 확률론적으로 정의한 것이 확률변수(Random Variable)입니다. 이번 글에서는 확률변수를 수학적으로 정의하고, 이산형 확률변수와 연속형 확률변..
2021.07.09 -
[Probability] 4. 전확률 공식과 베이즈 정리(law of total probability and Bayes Thm)
이번 글에서는 베이지안 딥러닝에서 기초적으로 쓰이는 베이즈 정리에 대해 알아보도록 하겠습니다. 베이즈 정리는 다음과 같습니다. $P(B_j|A)=\frac{P(B_j \cap A)}{P(A)}$ 분모를 계산할 때, 주어진 사건에 대한 모든 확률을 구해야합니다. 이 확률을 구하는 공식을 전확률 공식이라고 합니다. 위의 그림에서 $P(A)$를 구하기 위해, 각각의 $P(B_i)$가 주어졌을 때, $P(A|B_i)$인 확률을 모두 더해서 구할 수 있다는 것이 전확률 공식 입니다. 수식으로 나타내면 다음과 같습니다. $P(A)=\Sigma_{i=1}^{k}{P(B_i)P(A|B_i)}$ 전확률 공식을 적용하여 베이즈 정리를 나타내면 다음과 같습니다. $P(B_j|A)=\frac{P(B_j \cap A)}{P(A..
2021.07.09 -
[Probability] 3. 결합, 조건부, 주변 확률분포(Joint, Contional, Marginal Probability Distribution)
이번 글에서는 결합 확률(Joint Probability), 조건부 확률(Conditional Probability)과 주변 확률(Marginal Probability)에 대해 알아보겠습니다. 어떤 확률실험에서 표본 공간(Sample space) $\mathbb {S}$의 사건들이 중복되어 일어나는 경우의 확률을 결합 확률이라고 하고, 이 분포를 수학적으로 $P(X,~Y)$로 나타냅니다. 해가 없으면서 비가 오지 않는 경우를 예시로 들 수 있습니다. 어떤 확률 실험에서 표본공간(Sample space)을 표본공간$\mathbb {S}$의 부분집합 $X$로 축소하여 생각하고 싶은 경우를 생각해보겠습니다. 이때 표본 공간은 사실상 부분 공간 $X$을 의미하게 됩니다. 이 확률을 사건 $X$의 가설에 대한 사..
2021.07.08