이번 글에서는 확률분포의 기댓값과 분산을 수학적으로 계산할 수 있는 도구인 적률 생성 함수에 대해 알아보겠습니다. 기댓값과 분산에 대한 내용은 이전 글(Probability] 5. 기댓값과 분산(Expectation and Variance))을 참고해주시면 감사하겠습니다. $X$를 어떤 $h>0$에 대해 $-h

이번 글에서는 통계적으로 많은 의미를 가지는 통계량인 기댓값과 분산의 수학적 정의를 알아보겠습니다. 확률변수가 연속형 확률변수인 경우, 기댓값은 수학적으로 다음과 같이 나타냅니다. $\mathbb {E}(X)=\displaystyle \int^{\infty}_{-\infty} xf(x) dx$ 확률변수 $X$의 pdf인 $f(X)$는 $X$의 값이 나올 확률을 의미하기 때문에, 기댓값은 확률변수의 값과 확률변수의 값이 나올 확률을 가중합 하여 계산할 수 있습니다. 한편, 확률변수가 연속형 확률변수인 경우, 분산은 수학적으로 다음과 같이 나타냅니다. $V(X)=\displaystyle \int^{\infty}_{-\infty}(x-\mu)^2f(x) dx$ 또한, 기댓값을 이용하여 분산을 계산하면 다음과 ..

이번 글에서는 MCMC(Markov Chain Monte Carlo)의 알고리즘의 수렴 진단에 대해 알아보겠습니다. [관련 글] MCMC(Estimation of Posterior - Markov Chain Monte Carlo) - 깁스 샘플러(Gibbs Sampler), MCMC(Estimation of Posterior - Markov Chain Monte Carlo) - 메트로폴리스-헤스팅스 알고리즘(Metropolis-Hastings Algorithm) 깁스 샘플링 또는 메트로폴리스-헤스팅스 알고리즘을 사용한 통계량의 추정이 정당성을 가지기 위해선 관심 모수 $\theta$의 수렴성을 진단해야 합니다. MCMC방법의 수렴을 진단하는 방법 중 겔만-루빈(Gelman-Rubin) 방법에 대해 알아보..

이번 글에서는 사후 분포를 계산할 수 없는 경우 이를 계산할 수 있는 방법인 MCMC(Markov Chain Monte Carlo) 방법 중 깁스 샘플러보다 더 일반적인 경우 사용되는 메트로폴리스-헤스팅스 알고리즘(Metropolis-Hastings Algorithm)에 대해 알아보겠습니다. [관련 글] [Stochastic Process] 1. 확률 과정(Stochastic Process),[Stochastic Process] 2. 마르코프 체인(Markov Chain) 메트로폴리스-헤스팅스 알고리즘(Matropolis-Hastings Algorithm) 난수를 발생하고자 하는 목표 확률분포가 $f(y) \propto \pi(y)$ 혹은 $f(y) = c\pi(y)$와 같이 주어지고, 이때 정규화 상수..

이번 글에서는 사후 분포를 계산할 수 없는 경우 이를 계산할 수 있는 방법인 MCMC(Markov Chain Monte Carlo) 방법 중 널리 쓰이는 깁스 샘플러(Gibbs sampler)에 대해 알아보겠습니다. [관련 글] [Stochastic Process] 1. 확률 과정(Stochastic Process),[Stochastic Process] 2. 마르코프 체인(Markov Chain) 깁스 샘플러(Gibbs sampler) 깁스 샘플러는 다차원의 결합 확률분포가 복잡하여 직접 랜덤 표본을 생성하기 어려운 경우, 각 변수의 조건부 확률분포로부터 랜덤 표본을 반복적으로 생성하면 적절한 조건 하에서 이들의 극한 분포가 결합 확률 밀도 함수가 된다는 사실에 근거하여 난수를 샘플링하는 방법입니다. 관..

LaTex는 논문이나 블로그에서 수식을 적을 수 있는 도구입니다. 자주 사용하는 LaTex기호들을 모아서 정리해보았습니다. 1. 그리스문자 $\alpha~\textrm{\alpha}$ $\beta~\textrm{\beta}$ $\gamma~\textrm{\gamma}$ $\delta~ \textrm{\delta}$ $\epsilon~\textrm{\epsilon}$ $\zeta~\textrm{\zeta}$ $\eta~\textrm{\eta}$ $\theta~\textrm{\theta}$ $\iota~\textrm{\iota}$ $\kappa~\textrm{\kappa}$ $\lambda~\textrm{\lambda}$ $\mu~\textrm{\mu}$ $\nu~\textrm{\nu}$ $\xi~\text..