[Stochastic Process] 2. 마르코프체인(Markov Chain)

이번 글에서는 확률 과정$\{ X_t|t \in T\}$이 주어졌을 때, $X_t$간의 종속관계를 고려한 모델 중 하나인 마르코프 체인에 대해 알아보겠습니다. 시간 공간 $T$는 $T= \{ 0,1,2,3, \cdots\}$, 상태 공간 $S$는 $S=\{ \cdots,-2,-1,0,1,2,\cdots\}$이라고 가정하고, $\{ X_n=i \}$를 $n$시점에서 확률 과정이 상태 $i$에 있는 사상을 의미한다고 가정하겠습니다. 한 확률 과정이 $X_0=0$에서 시작하고, 상태 $i$에서 $i+1$로 갈 확률이 $\frac {2}{3}$. $i-1$로 갈 확률이 $\frac {1}{3}$이라고 가정할 때, $\{ X_5=1 \}$이 되는 사상은 어떻게 될까요? $X_0=0$에서 출발하여 $X_5=1$이 ..

2021.07.18