[Stochastic Process] 2. 마르코프체인(Markov Chain)

이번 글에서는 확률 과정$\{ X_t|t \in T\}$이 주어졌을 때, $X_t$간의 종속관계를 고려한 모델 중 하나인 마르코프 체인에 대해 알아보겠습니다.

---

시간 공간 $T$는 $T= \{ 0,1,2,3, \cdots\}$, 상태 공간 $S$는 $S=\{ \cdots,-2,-1,0,1,2,\cdots\}$이라고 가정하고, $\{ X_n=i \}$를 $n$시점에서 확률 과정이 상태 $i$에 있는 사상을 의미한다고 가정하겠습니다.

한 확률 과정이 $X_0=0$에서 시작하고, 상태 $i$에서 $i+1$로 갈 확률이 $\frac {2}{3}$. $i-1$로 갈 확률이 $\frac {1}{3}$이라고 가정할 때, $\{ X_5=1 \}$이 되는 사상은 어떻게 될까요?

$X_0=0$에서 출발하여 $X_5=1$이 되기 위해선 $0 \rightarrow -1 \rightarrow 0 \rightarrow 1 \rightarrow 2 \rightarrow 1 $ 또는 $0 \rightarrow 1 \rightarrow 0 \rightarrow -1 \rightarrow 0 \rightarrow 1$ 등의 경로를 따를 수 있고 다른 경로도 있을 수 있습니다.

만약 $X_5=1$이 되면, $X_6$이 취할 수 있는 상태는 $0$또는 $2$가 되며 각각의 확률은 $\frac {1}{3}$, $\frac {2}{3}$입니다. 즉, 여기서 $X_6$의 분포는 $n=0,~1,~2,~3,~4$에서의 상태 $X_n$의 위치와는 전혀 상관이 없음을 알 수 있습니다. 수식으로 표현하면 다음과 같습니다.

$P(X_{n+1}=i_{n+1}|X_0=i_0,~X_1=i_1,\cdots,~X_n=i_n)=P(X_{n+1}=i_{n+1}|X_n=i_n)$

이와 같은 성질은 마르코프 성질(Markov property)이라 하고 마르코프 성질을 만족하는 확률 과정 $\{X_n\}$을 마르코프 확률 과정이라 합니다. 그리고 상태 공간이 이산형인 마르코프 확률 과정을 마르코프 연쇄(Markov chain)이라 부릅니다.

---

내일 비가 올 것인가 하는 문제를 오늘의 날씨로만 좌우된다고 할 때, 오늘 비가 온 상황에서 내일 비가 올 확률을 $\alpha$, 오늘은 비가 안 오는데 내일 비가 내릴 확률을 $\beta$라고 가정하겠습니다. 비가 오는 상태를 1, 비가 오지 않는 상태를 0이라 하면 이 확률 과정은 상태 공간이 $S=\{0,~1\}$인 마르코프 확률 과정으로 나타낼 수 있습니다.

즉, 다음과 같습니다.

오늘/내일	0(비 안옴)	1(비 옴)
0(비 안옴)	$1-\beta$	$\beta$
1(비 옴)	$1-\alpha$	$\alpha$

---

한편, 확률 과정$\{ X_n\}$이 시간 $m$에서 상태 $i$에 있다가 시간 $n$에서 $j$상태로 바뀔 확률을 $P_{i,~j}^{m,~n}$으로 표시하면 다음과 같이 나타낼 수 있습니다.

$P_{i,~j}^{m,~n}=P(X_n=j|X_m=i)$

이와 같은 조건부 확률을 전이 확률(Transition probability)이라고 하고, 위의 예시처럼 한 확률 과정에 대한 확률 과정의 전이 확률을 행렬 형태로 만들었을 때, 그 행렬을 전이 행렬(Transition matrix)이라고 합니다.

추가적으로 출발 및 도착 시점과는 무관하고 단지 경과된 시간에 의해서만 좌우되는 전이 확률을 정상 전이 확률(stationary transition probability)이라고 합니다. 즉, 다음과 같은 전이 확률을 말합니다.

$P_{i,~j}^{m,~n}=P_{i,~j}^{0,~n-m}$