在尚未進入第三章及第四章之前，第二章根據[1]和[3]，簡單地 說明必須先了解的相關理論基礎與定義。
2-1 隨機過程
隨機過程(stochastic process) X =
{
X(t),t∈T}
是隨機變數(random variable)的集合。我們一般都解釋t為時間，而X(t)是過程在時間t時 的狀態。假若 T 是一個可數的集合，則稱 X 是離散時間隨機過程 (discrete time stochastic process)；若T 是連續的，則稱 X 是連續時間 隨機過程(continuous time stochastic process)(Ross [3])。2-2 離散時間馬可夫鏈
隨機過程(stochastic process)
{
Xn,n=0,1,2,K}
序列中，可能的值是 有限或是可數，除非另外有說明，不然可能的值之集合為非負整數。當 ，代表過程在時間 時的狀態是i；如果下ㄧ個狀 態是 ，則有一個轉置機率(transition probability) ，令
是任意狀態且 ，則
{
0,1,2,L}
Xn =i nj Pij i0,i1,L,in−1,i, j
≥0 n
P
{
Xn+1 = j| Xn =i,Xn−1 =in−1,L,X1 =i1,X0 =i0}
= Pij (2.2.1) 此 隨 機 過 程(stochastic process)我 們 就 稱 它 為 離 散 時 間 馬 可 夫 鏈 (discrete time Markov chain)。式子(2.2.1)可以解釋為：一個離散時間 馬可夫鏈(discrete time Markov chain)，任意未來狀態Xn+1的分配只與現在的狀態 有關，而與過去的狀態 無關，此也就是 馬 可 夫 性 質 (Markovian property) 。 而 在 轉 置 機 率 (transition probability) 的限制上，
Xn X0,X1,L,Xn−1
且我們令轉置機率矩陣(transition probability matrix) P 為
⎥ ⎥
狀態，則當它們具有馬可夫性質(Markovian property)，也就是說：當 過程停留在某一時間點狀態而尚未轉換到下一個時間點狀態所花的 時 間 呈 現 指 數 分 配 (exponentially distribution) ， 具 有 遺 失 記 憶 性 (memoryless property)，所以未來狀態的分配只與現在的狀態有關，而 與過去的狀態們無關。我們就稱這些時間點的狀態{
X(τ0),X(τ1),K}
形成一個嵌入式離散時間馬可夫鏈(embedded discrete time Markov chain) (Ross [3])。
2-2-2 穩定狀態機率
【定義】
我 們 說 一 個 機 率 分 配
{
Pj, j≥0}
是 馬 可 夫 鏈 (Markov chain) 的 定 態 (stationary)分配，當0 時間馬可夫鏈(discrete time Markov chain)的狀態是處於穩定狀態 (steady state)，所以穩定狀態機率(steady state probability)向量αv′就會 滿足
α P αv′ v= ′
P 是轉置機率矩陣(transition probability matrix) (Ross [3])。
2-3 連續時間馬可夫鏈
當 連 續 時 間 隨 機 過 程 (continuous time stochastic process)
{
具有馬可夫性質(Markovian property)：未來狀態的 分配只和現在狀態有關，而與過去狀態是獨立的。則，我們說連續時 間隨機過程(continuous time stochastic process)}
0 ), (t t ≥ X
{
X(t),t ≥0}
是連續時間 馬可夫鏈(continuous time Markov chain)，而X(t)=過程在時間t的狀 態。換句話說，當所有的s,t ≥0，非負整數i, j,x(u),0≤u≤s，{
X t s j X s i X u x u u s} {
P X t s j X s i}
P ( + )= | ( )= , ( )= ( ),0≤ < = ( + )= | ( )= (Ross [3])。
假設τi是過程停留在狀態i而尚未轉換到另一個不同狀態的停留 時間，則當所有的s,t ≥0，
(
s t s) (
P t)
Pτi > + |τi > = τi >
因此，隨機變數τi具有遺失記憶性(memoryless property)且必須為指數 分配(exponentially distribution)。並且，連續時間馬可夫鏈(continuous time Markov chain)
{
當它進入狀態i ，是一個有以下性質之 隨機過程(stochastic process) (Ross [3])：}
0 ), (t t≥ X
(1) τi是比率(rate)為νi的指數分配(exponentially distribution)。
(2) 當過程離開狀態 ，到下一個狀態i j 的機率為Pij，
∑
。≠
=
i j
Pij 1
當i ≠ j，
ij i
ij P
q =ν
我們稱qij是 到i j 的轉換率(transition rate)。而
∑ ∑
≠ ≠
=
=
i
j j i
i ij i
ij P
q ν ν 。另
外，要清楚的是， 和 是不同的， 是指現在在狀態 ，經
2-3-1 KOLMOGOROV 微分方程式
【引理】
【定理】 Kolmogorov 逆向方程式(backward equations) 對所有的i, j，且t≥0，
⎭⎬
【定理】 Kolmogorov 順向方程式(forward equations) 對所有的i, j，且t≥0，
在 2-3-1 節，我們可以將 Kolmogorov 逆向方程式(backward equations)表示成
) ( )
(t QP t P′ =
將 Kolmogorov 順向方程式(forward equations)表示成 Q
t P t
P′( )= ( )
因此，得到轉置機率矩陣(transition probability matrix)P(t)為
∑
∞( )
=
≡
=
0 !
) (
i
i Qt
i e Qt
t P
(Ross [3])。但是，如果用上式的展開式來計算P(t)，會有兩個非常 沒有效率的原因(Ross [3])：
(1) 因為微矩陣(infinitesimal matrix) 中包含正值及負值，在計算 Q Q 的次方上，會有四捨五入的誤差問題。
(2) 我們計算必須要接近無限多項以趨近真值。
所以，我們計算P(t)選擇使用
n
n x
n
e x⎟
⎠
⎜ ⎞
⎝⎛ +
=lim→∞ 1 也就是
n
n Qt
n I Qt
e ⎟
⎠
⎜ ⎞
⎝⎛ +
=lim→∞
令n=2k，
n I Qt t
M( )= + ，可以得到
(
M(t)) (
n = M(t))
2k，於是只需要k 次矩陣相乘即可求得P(t)(Ross [3])。2-3-3 穩定狀態機率
當t >0、 是連續時間馬可夫鏈(continuous time Markov chain)的 微矩陣(infinitesimal matrix)，則連續時間馬可夫鏈(continuous time Markov chain)的穩定狀態機率(steady state probability)向量
Q
πv′需滿足，
eQt
t
P π
π
πv′= v′ ( )= v′ 兩邊同時對t 微分，且t 代零，我們可以得到
π′Q
′= v 0v
則利用
∑
=1 Markov chain)的轉置機率(transition probability)，(2.3.3.1)又可寫成Pij
所以嵌入式離散時間馬可夫鏈(embedded discrete time Markov chain) 的穩定狀態機率(steady state probability)αi可以表示為
連續時間馬可夫鏈(continuous time Markov chain)的穩定狀態機率 (steady state probability)πi也可以表示為
(2.3.3.2)與(2.3.3.3)是由於兩個穩定狀態機率(steady state probability) 的關連而來的(Ross [3])。
另外，我們也可以將連續時間馬可夫鏈(continuous time Markov chain)的穩定狀態機率(steady state probability)πj看成是一個在長時間 下，過程停留在狀態 所占全部時間的比例， j
t 過程(renewal process) (Ross [3])。
ㄧ般來說，令
{
是個非負的獨立隨機變數(random variable)序列，且有共同的分配 。為了避免一些不必要的討論，假 設2-4-1 再生過程
是由更新過程(renewal process)發生事件的時間點所構 成。我們定義一個循環(cycle)為時間直至一個更新(renewal)事件的發
2-5 發生率
定義發生率(hazard rate)為
[ ]
x
x X x x X x x P
x ∆
≥
∆ +
<
= ≤
→
∆
lim | )
(
0
λ (2.5.1)
如果 是連續隨機變數(continuous random variable)，且分配函數 (distribution function)為 、機率密度函數(probability density function) 為
X
F f ，則
[ ]
dx x F d
x F
x
x f ln1 ( )
) ( 1
) ) (
( = − −
= − λ
從(2.5.1)，我們可以將λ(x)∆x解釋成是一個個體已經活到 x 歲，將在 下一個很短暫的時刻 x∆ 內發生事件的趨近機率(Klein et al. [1])。
而發生率(hazard rate)λ(x)可以是各種形式，例如：隨時間遞增、
隨時間遞減，或是和時間無關的常數。它唯一的限制是 0
) (x ≥ λ (Klein et al. [1])。