在一個交替更新過程上的連續時間馬可夫鏈

全文

(1)國立交通大學統計學研究所碩士論文. 在一個交替更新過程上的連續時間馬可夫鏈 Continuous Time Markov Chains On A System Following An Alternating Renewal Process. 學生: 黃宇葶指導教授: 彭南夫博士. 中華民國九十四年六月.

(2) 在一個交替更新過程上的連續時間馬可夫鏈 Continuous Time Markov Chains On A System Following An Alternating Renewal Process 學生 : 黃宇葶. Student : Yu-Ting Huang. 指導教授:彭南夫博士. Advisor : Dr. Nan-Fu Peng. 國立交通大學理學院統計學研究所碩士論文. A Thesis Submitted to Institute of Statistics College of Science National Chiao Tung University in Partial Fulfillment of the Requirements for the Degree of Master in Statistics June 2005 Hsinchu, Taiwan, Republic of China. 中華民國九十四年六月.

(3) 在一個交替更新過程上的連續時間馬可夫鏈. 學生 : 黃宇葶. 指導教授 : 彭南夫. 博士. 國立交通大學統計學研究所碩士班. 摘. 要. 在本篇論文中，我們考慮一個連續時間馬可夫鏈在 r 個階段為一個周期的交替更新過程之動態運轉狀態的系統中被觀察。主要目的是研究整個過程的極限狀態，和嵌入式過程在每個階段起始被觀察的極限狀態。討論此系統服從三種分配分別是常數函數與時間是定值、指數、韋柏，整個過程的極限機率分配可以以嵌入式過程的穩定狀態機率之形式推導出來。另外我們會檢查馬可夫性質發現一個有趣的事，即使是指數分配仍不具有馬可夫性質和另外會導出一定理說明整個過程的漸近齊次性。最後先舉一些實際的例子了解這些理論可運用在哪些方面，之後我們將前面所推導的理論加以應用，試著模擬幾種情況，將得到的結果進一步討論，以達成目標。. 關鍵字: 交替更新過程，連續時間馬可夫鏈，M/M/1 排隊。. i.

(4) Continuous Time Markov Chains On A System Following An Alternating Renewal Process. Student : Yu-Ting Huang. Advisor : Dr. Nan-Fu Peng. Institute of Statistics National Chiao Tung University. Abstract. A continuous time Markov chain observed on a system following the dynamic behavior of an alternating renewal process is studied. The limiting probability of the process is derived. The characteristics of the process are examined. Examples of application are given.. Keywords: Alternating renewal process, Continuous time Markov chain, M/M/queue.. ii.

(5) 誌謝經過這一年來的努力終於完成論文，在這段時間裡過得十分充實，內心非常的愉悅，有許多的感觸將一一說出。在寫論文的這段期間，由衷感謝彭南夫老師的精心指導。老師學識淵博，思想深邃，視野雄闊，使我不僅接受了全新的思想觀念，領會了基本的思考方式，掌握了通用的研究方法。另外，感謝口試委員陳鄰安老師、鄭天澤老師、王鴻龍老師對我的論文提出寶貴的建議與指正，使我的論文能更臻完善。謝謝各位同學及好朋友的陪伴與照顧，生活才能如此的多采多姿。也謝謝昆南一路陪我度過難關，陪我熬夜寫程式、聽我抱怨、無微不至的照顧著我。另外，我要謝謝我的家教學生們的體諒，大家都很願意配合我的時間，讓我能順利完全我的論文。謝謝大家!我會銘記在心的。最後，要好好謝謝我的父母，對我影響至深，對我的學業也給予了極大的鼓勵與支持，讓我能順順利利的完成我的學業，當然還有我可愛的弟弟，很開心有他相伴，遇到很多難以解決的問題，都是有他一起討論一同解決困惑。時光如水，日月如梭，短暫的學術之旅行將結束。它短暫而充實，輕鬆而又愜意，猶如人生旅途劃過的一顆璀璨靚麗的流星。這是一個小小的終點，或許哪天我們會在相會也說不定，因為人生是那麼地充滿無限可能阿!. iii.

(6) 目錄中文摘要………………………………………………………i 英文摘要………………………………………………………ii 誌謝……………………………………………………………iii 目錄……………………………………………………………iv 一、緒論………………………………………………………1 二、隨機過程理論……………………………………………4 三、 X(t)的極限機率分配……………………………………8 3.1 Y 服從韋柏分配……………………………………11 3.2 Y 服從指數分配……………………………………15 3.3 Y 服從常數分配……………………………………18 四、過程的特徵…………………………………………… 21 五、例子…………………………………………………… 23 六、應用實例……………………………………………… 29 七、結論…………………………………………………… 32 參考文獻…………………………………………………… 33 附錄………………………………………………………… 34. iv.

(7) 一、緒論在有限的資源下，一家工廠老闆欲購買機器以達最大產量並獲得最高利潤，因此許多菁英們紛紛尋找各種方法以獲得老闆賞識，其中一人使用本篇之方法找出符合老闆期望的機器數量。初步想法: 每台機器的狀況為馬可夫鏈，工廠工作時間固定為三班制(每八小時為一班，第一班早班:早上八點到下午四點，第二班午班:下午四點到零晨零點，第三班:晚班零晨零點到早上八點)，不間斷地有人來輪班，每三班為一個週期，這三班各有一個馬可夫鏈(Markov chain)在運作且各有各的轉置率(transition rate)。早班的人精神狀況較佳、效率佳，一旦遇到機器故障的時候立即處理，午班的人精神狀況比早班差，因此效率相對也比較低，所以當發現機器故障時處理的速度較慢，晚班的人精神不佳，時常機器故障卻沒人發現造成產量減少，有時會到發現才修理，有時會一直到換早班的人才發現。所以透過此篇想法，找出每台機器在長期的時間「好」的機率，「中等」的機率，「壞」的機率，最後老闆決定欲購買機器數量以達到最大產量並獲得最高利潤。. 我們將上述想法具體的表示在這篇論文中，我們考慮一個連續時間馬可夫鏈(continuous time Markov chain) X (t ) 在 r 個階段的一個交替更新過程(alternating renewal process)的動態運轉狀態的系統中被觀察。因此，考慮一個多階段的更新時間系統序列為. 1.

(8) {Y ( ) , Y ( ) ,..., Y ( ) , Y ( ) , Y ( ) ,..., Y ( ) ,..., Y ( ) , Y ( ) ,..., Y ( ) , Y ( ) ,......}互相獨 1. 1. 2. 1. r. 1. 1. 2. 2. 2. r. 1. 2. n. 2. n. 1 n +1. 2 n +1. 立，皆為正的而且是非退化(non-degenerate)的隨機變數，(see Karlin. and Taylor, p207)。 Y1(1) , Y2(1) , Y3(1) ,..... ~ F1 (⋅) iid. Y1( 2 ) , Y2( 2 ) , Y3( 2 ) ,..... ~ F2 (⋅) iid. M Y1( r ) , Y2( r ) , Y3( r ) ,..... ~ Fr (⋅) iid. X (t ) 在各個 Y 中有不同的 Qi ， i = 1,2,..., r ，其中 Qi 為微矩陣。我們假設 X (t ) 成功的以1,2,..., r ,1,2,..., r ,1,2,..... 階段通過系統且在不同階段的 X (t ) 可能有不一樣的參數但在其他方面在原來的鏈中仍保有他的性質。一個典型的例子:M/M/1 queue 關於 service. breakdown 描述於 Avi-Itzhak and Noar (1963) 或是一個更普遍的模型-a Markov modulated queue 由 Regterschot and de Smit (1986)提出。備註這篇論文所討論的模型屬於 the family of switching. processes 在 Anisimov (1977)可找到，或是最近有關的作品在 Anisimov(1995)中。. 在第二部份中，說明隨機過程的理論包含基本定義及性質。. 在第三部份中，我們研究整個過程的極限狀態，和嵌入式過程. (the embedded processes)在每個階段起始被觀察的極限狀態。討論 Y 服從三種分配分別是常數函數與時間是定值、指數(exponential)、. 韋柏(Weibull)，整個過程的極限機率分配 (limiting probability. distribution)可以以嵌入式過程的穩定狀態機率之形式推導出來。 2.

(9) 在第四部份中，我們會檢查馬可夫性質發現一個有趣的事，即使是指數分配仍不具有馬可夫性質和另外會導出一定理說明整個過程的漸近齊次性(asymptotic homogeneity)。. 在第五部份中，先舉一些實際的例子了解這些理論可運用在哪些方面，之後我們將前面所推導的理論加以應用，試著模擬幾種情況，將得到的結果進一步討論，以達成目標。. 3.

(10) 二、隨機過程理論一個隨機過程(Stochastic processes) X = {X (t ), t ∈ T }是收集一組隨機變數，一般解釋 t 為時間，稱 X (t ) 是在時間 t 的狀態。如果 T 是可數的集合則稱 X 是離散時間隨機過程; 若T 是連續的集合則稱 X 是連續時間隨機過程。. 如果是一個可數的過程 {N (t ), t ≥ 0}，此過程中區間時間. (interarrival times)是獨立且相同分配，則此可數過程稱為一個更新過程(Renewal processes)。. 若一個隨機過程 {X (t ), t ≥ 0}，狀態有 {0,1,2,.....}， X (t ) 有一個性質是存在某時間點會使它重新開始，此過程稱為再生過程. (Regenerative processes)。. {X. n. , n = 0,1,2,...} 呈現出有限的或是可數的可能值。若 X n = i 表. 示此過程在時間 n 的狀態是 i 。我們假設. P{X n +1 = j X n = i, X n −1 = in −1 ,....., X 1 = i1 , X 0 = i0 } = Pij ，所有的狀態為 i0 , i1 ,....., in −1 , i, j ， n ≥ 0 。 Pij 表示此過程在時間 n 時狀態為 i 則時間 n + 1 時會到狀態 j 的機率，此機率只與前一刻有關但跟過去、未來無關。. 4.

(11) ∞. Pij ≥ 0 ， i, j ≥ 0 ， ∑ Pij = 1 ， i = 0,1,2, L ， P 表示 one-step 轉制 j =0. 機率 Pij 的矩陣，所以我們可得. P00 P10 P= M Pi 0 M. P01 P11. P02 K P12 K. Pi1. P12. K M. 稱這個隨機過程 {X n , n = 0,1,2,...} 為離散時間馬可夫鏈(Discrete time. Markov chain)。. 離散時間馬可夫鏈中一個機率分配 {π j , j = 1,2,3, L}，如果 ∞. Pj = ∑ π i Pij , j ≥ 0 且 lim Pij i =0. n →∞. (n ). = π j ，稱 {π j , j = 1,2,3, L}為穩定狀態機. 率分配(stationary probability distribution)。. 連續時間馬可夫鏈之定義與離散時間馬可夫鏈很類似，只是時間的差別，此隨機過程 {X (t ), t ≥ 0}，如果 s, t ≥ 0 ， i = 0,1,2, L ，. j = 0,1,2, L ， x(u ) ， 0 ≤ u ≤ s ，目前在狀態 i 經過時間 t 到狀態 j 的機率為 Pij (t ) = P{X (t + s ) = j X (s ) = i, X (u ) = x(u ),0 ≤ u ≤ s}. = P{X (t + s ) = j X (s ) = i} ，給定目前的狀態與過去、未來皆獨立，稱 {X (t ), t ≥ 0}為連續時間馬可夫鏈(Continuous time Markov chain)。. 5.

(12) 如果我們將τ i 表示此過程在轉移到不同的狀態之前停留在狀態 i 的總時間，則 P(τ i > s + t τ i > s ) = P(τ i > t )， ∀s, t ≥ 0 ，因此這個隨機變數τ i 是無記憶性(memoryless)且是指數分配。此連續時間馬可夫鏈每次進入狀態 i 會有一些性質如下:. (a ) τ. i. 是此過程在轉移到不同的狀態之前停留在狀態 i 的總時間且. 為指數分配，具有一個比率(rate)為 vi 。. (b ). 當此過程離開狀態 i 到下一個狀態 j 的機率為 Pij ，滿足. ∑P i≠ j. ij. = 1。. 根據 (a ) 、 (b ) 可得 qij = vi Pij ， ∀i ≠ j ，其中 qij 稱從 i 到 j 的轉置率. (transition rate)。. 此連續時間馬可夫鏈的極限機率(Limiting probability):. πj Pj = lim Pij (t ) = t →∞. vj. ∑ i. πi. (c ). vi. ⎧⎪π j = ∑ π i Pij i 其中 π j 是 ⎨ πi =1 ⎪⎩ ∑ i. (d ) 的唯一解。. ⎧v j Pj = ∑ vi Pi Pij ⎪ i 從 (c ) 、 (d ) 中得到 Pj 是 ⎨ 的唯一非負解。 P ∑ j =1 ⎪⎩ j. 6.

(13) 相同地， qij = vi Pij 可得 v j Pj = ∑ Pi qij ， qij :從 i 到 j 的轉置率。 i. 其中 qi > 0 ， ∀i ， 0 ≤ qij < ∞ ， ∑ qij = qi ⇒ i≠ j. Q = ((qij )), qii = − qi ， ′ ′ 滿足 Q1 = 0 ，1 = (1,1,K) ， 0 = (0,0,K) ， ~. ~. ~. ~. Q :微矩陣(infinitesimal matrix)。. 在馬可夫鏈的應用: M/M/1 queue: 此模型中，客人以 Poisson 分配進入店裡，只有一個服務人員以指數分配來服務客人，如果已經有客人正在被服務，那不能再給其他的客人進入，他們只能離開。. 下一章節會利用這些基本理論及定義幫助解決問題。. 7.

(14) 三、 X(t)的極限機率分配考慮一個多階段的更新時間系統序列為. {Y ( ) , Y ( ) ,..., Y ( ) , Y ( ) , Y ( ) ,..., Y ( ) ,..., Y ( ) , Y ( ) ,..., Y ( ) , Y ( ) ,......}，在每一個 1. 1. r. 2. 1. 1. 1. r. 2. 2. 2. 1. n. 2. 2. 1 n +1. n. 2 n +1. 階段都有一個馬可夫鏈在運作，而 Qi 為 X (t ) 在 Y j(i ) 的轉置率，. i = 1,2,..., r ， j = 1,2,..., n,... ，假設 Pi (t ) = e Q t 表示為當這個系統在階 i. 段 i ， i = 1,2,..., r ，時間是 t 的時候， X (⋅) 的轉置機率矩陣(transition. probability matrices)。我們考慮嵌入式過程 X n(i ) 定義為. X n(i ) = X ⎛⎜ ∑ ∑ Yt ( k ) + ∑ Yn( k ) ⎞⎟ ，i = 1,2,..., r ， n = 1,2,3,...... 。因此 X n(i ) 是 ⎝ t =1 k =1 ⎠ k =1 n −1. i −1. r. X (t ) 在第 n 個周期(cycle)從階段 i 為起始之狀態。. X 1(1) , X 2(1) ,L形成嵌入式離散時間馬可夫鏈 X 1( 2 ) , X 2( 2 ) ,L形成嵌入式離散時間馬可夫鏈 M. X 1( r ) , X 2( r ) ,L形成嵌入式離散時間馬可夫鏈假設 X n(i ) 的極限機率向量存在， i = 1,2,..., r ，且列向量(row. vector)表示為 π (i ) 。然後在馬可夫鏈中一個標準結果提出如下，. π (i ) Ai Ai +1 ... Ar A1 ... Ai −1 = π (i ) ∞. ∞. 式子中的矩陣 Ai = ∫ Pi (t )dFi (t ) = ∫ e Q t f (t )dt ， i = 1,2,..., r 。 i. 0. 0. 8.

(15) 利用黎曼和(Riemann sum)來表示 Ai 的近似值: n. Ai ≅ ∑ M (t i ) f (t i )∆t i ， n : large ， i =1. m. 其中 e. Qi t. Qt⎞ ⎛ ≅ M (t ) = ⎜ I + i ⎟ ， m = 2 k ， m : large ，只需作 k 次。 m ⎠ ⎝. 轉置機率矩陣. 極限機率列向量. A1 A2 ⋅ ⋅ ⋅ Ar for X 1(1) , X 2(1) ,........ ⇒π. (1). ~. A2 A3 ⋅ ⋅ ⋅ Ar A1 for X 1( 2 ) , X 2( 2 ) ,....... ⇒ π. =π. (1). A1 A2 ⋅ ⋅ ⋅ Ar. =π. (2 ). A2 A3 ⋅ ⋅ ⋅ Ar A1. ~. (2 ). ~. (1). :π :π. ~. (2 ). ~. ~. M Ar A1 A2 ⋅ ⋅ ⋅ Ar −1 for X 1( r ) , X 2( r ) ,....... ⇒ π ~. j −1. π ( j ) = π (i ) Π Ak ，1 ≤ i ≤ j ≤ r ， k =i. r. j −1. k =i. k =1. π ( j ) = π (i ) Π Ak Π Ak ，1 ≤ j ≤ i ≤ r ，. 9. (r ). :π ~. (r ). =π ~. (r ). Ar A1 A2 ⋅ ⋅ ⋅ Ar −1.

(16) Lemma:. 如果所有嵌入式過程 X n(i ) ， i = 1,2,..., r 的極限機率皆存在，且列向量(row vector)表示為 π (i ) ，則. (1). π (i ) Ai Ai +1 ... Ar A1 ... Ai −1 = π (i ) j −1. π ( j ) = π (i ) Π Ak ，1 ≤ i ≤ j ≤ r ， k =i r. j −1. k =i. k =1. π ( j ) = π (i ) Π Ak Π Ak ，1 ≤ j ≤ i ≤ r 。 ∞. ∞. 其中矩陣 Ai = ∫ Pi (t )dFi (t ) = ∫ e Q t f (t )dt 。 i. 0. 0. Proof: 在公式 (1) 中 π (1) 存在保證 π ( j ) 會存在。此外，當 i = j 即證明了公式 (1) 。不失一般性，我們證明當1 ≤ i ≤ j ≤ r 的情形，列向量. π (i ) Ai ... A j −1 − π ( j ) 右乘 A j A j +1 ... Ar A1 ... A j −1 及應用公式 (1) 經由代數的方式可以得到 π (i ) Ai ... A j −1 − π ( j ) 是矩陣 A j A j +1 ... Ar A1 ... A j −1 的一個列特徵向量(row eigenvector)，而他的特徵值(eigenvalue)為 1。由於，從公式 (1) 得到 π ( j ) 也是一個列特徵向量而且特徵值也是 1，我們可以得到. π (i ) Ai ... A j −1 − π ( j ) = cπ ( j ). (2). 其中 c 為某常數。由於 π (i ) Ai ... A j −1 和 π ( j ) 都是機率分配向量，所以在公式 (2 ) 兩邊都右乘一個行向量(column vector). 1，經過代數運算左式 ~. (π ( ) A ... A i. i. j −1. − π ( j ) ) ×1 = 1 − 1 = 0 ，右式為 cπ ( j ) × 1 = c × 1 = c ，左式= ~. ~. 右式使得 c = 0 ，此 lemma 證明完成。 10.

(17) 3.1 Y 服從韋柏分配假設在系統中每個階段停留的時間 Yn(i ) 服從韋柏( α i , γ i )， ⎛1 i = 1,2,..., r ， n = 1,2,... ，期望值(mean)為 ⎜⎜ ⎝αi. 1 ri. ⎞ ⎛ 1⎞ ⎟⎟ Γ⎜⎜1 + ⎟⎟ 。在這個假 ⎠ ⎝ ri ⎠. 設之下，如果 i = 1,2,..., r ，轉置機率矩陣 Pi (t ) 有一個微矩陣 Qi ，然後我們可以計算出公式 (1) 的 Ai 為 ∞. Ai = ∫ e Q tα i γ i t γ −1 exp(− α i t r )dt i. i. (3). i. 0. 無法直接積分得到 Ai ，所以用下列方法表示出 Ai 的近似值。利用黎曼和(Riemann sum)來表示 Ai 的近似值: ∞. Ai = ∫ e Q tα i γ i t γ −1 exp(− α i t r )dt ≅ ∑ M (t j )α i γ i t j n. i. i. i. γ i −1. j =1. 0. (. ). exp − α i t j ∆t j ri. m. n : large，其中 e. Qi t. Qt⎞ ⎛ ≅ M (t ) = ⎜ I + i ⎟ ，m = 2 k，m : large，只需 k 次。 m ⎠ ⎝. 備註:這個假設的 Qi 所有特徵值保證公式 (3) 的無窮級數是收斂的。. 觀察得知，如果此過程開始的狀態服從穩定狀態機率分配，在系統中每個階段的起始的地方，此過程 X (t ) 自己重新開始。因此. X (t ) 是一個再生過程。假設此過程 X (t ) 有一個極限機率分配. π = (π 0 , π 1 ,..., π n ,...) 。然後，如果我們觀察此過程從第一期間的起始開始，在此再生過程得到標準結果(see for Theorem3.7.1, p141,. Ross[1996] ). π j ≡ lim P{X (t ) = j} t →∞ =. E [amount of time in state j during a cycle] E [time of a cycle] 11. (4).

(18) 公式 (4 ) 運用代數推導出下面的公式 (5). ⎡ r (k ) ∞ t ⎤ π ∫ ∫ Pk (s )dsα k γ k t γ −1 exp (− α k t r )dt ⎥ ⎢⎣ ∑ k =1 0 0 ⎦ π= 1 r ⎛ 1 ⎞r ⎛ 1⎞ ⎟⎟ ⎜ ⎟ ⎜ 1 Γ + ∑ ⎜ ⎟ ⎜ r k =1 ⎝ α k ⎠ k ⎠ ⎝ k. k. k. ⎡. =. ⎛ k −1 ∞ ⎣ k =1 ⎝ i =1 0. π (1) ⎢∑ ⎜ Π ∫ Pi (t )α k γ k t γ r. k. −1. ⎞⎛ ∞ t exp(− α k t r )dt ⎟⎜ ∫ ∫ Pk (s )dsα k γ k t γ ⎠⎝ 0 0 k. ⎛ 1 ⎜⎜ ∑ k =1 ⎝ α k r. (1) ⎡. =. ⎛ k −1 ∞ π ⎢∑ ⎜ Π ∫ Pi (t )α k γ k t γ ⎣ k =1 ⎝ i =1 0 r. k. −1. k. −1. ⎞⎤ exp(− α k t r )dt ⎟⎥ ⎠⎦. 1. ⎞r ⎛ 1⎞ ⎟⎟ Γ⎜⎜1 + ⎟⎟ ⎠ ⎝ rk ⎠ k. ⎞⎛ ∞ ⎞⎤ exp(− α k t )dt ⎟⎜ ∫ Pk (s ) exp(− α k s r )ds ⎟⎥ ⎠⎝ 0 ⎠⎦ rk. k. 1 rk. ⎛ 1 ⎞ ⎛ 1⎞ ⎟⎟ Γ⎜⎜1 + ⎟⎟ k =1 ⎝ k ⎠ ⎝ rk ⎠ r. ∑ ⎜⎜ α. k −1 ⎛∞ ⎞⎤ ⎞ ⎛ π ⎢∑ ⎜ Π Ai ⎟⎜ ∫ Pk (s ) exp(− α k s r )ds ⎟⎥ ⎠⎦ ⎣ k =1 ⎝ i =1 ⎠⎝ 0 =. (1) ⎡. r. k. ⎛ 1 ⎜⎜ ∑ k =1 α ⎝ k r. 1. ⎞r ⎛ 1⎞ ⎟⎟ Γ⎜⎜1 + ⎟⎟ ⎠ ⎝ rk ⎠ k. 其中 Ai 的定義在公式 (3) 備註:公式 (5) 的第一個等式意思是此過程在狀態 j 的平均時間也可以說此過程在這個系統每一個階段是狀態 j 所佔的比重的平均時間。第二個等式直接運用前面所提出 Lemma 導出的。第三個至第四個等式運用代數計算及用公式 (3) 定義 Ai 表示。公式 (5) 當此過程考慮從階段 1 起始點開始所推導出來的。. 12. k.

(19) 無法直接積分得到 π ，所以用下列方法表示出 π 的近似值。利用黎曼和(Riemann sum)來表示 π 的近似值: ⎡. π≅. ⎞⎛. ⎞⎤. π (1) ⎢∑ ⎜ Π Ai ⎟⎜⎜ ∑ M (s j )exp(− α k s rj )∆s j ⎟⎟⎥ ⎠ j =0 k =1 ⎝ i =1 ⎛ k −1. r. ⎣⎢. n. k. ⎠⎦⎥. ⎝. 1 rk. ⎛ 1 ⎞ ⎛ 1⎞ ⎟⎟ Γ⎜⎜1 + ⎟⎟ k =1 ⎝ k ⎠ ⎝ rk ⎠ r. ∑ ⎜⎜ α. m. Q s⎞ ⎛ n : large ，其中 Pk (s ) ≅ M ( s ) = ⎜ I + k ⎟ ， m = 2 k ， m : large ，只需 m ⎠ ⎝ 作 k 次。. 同理地，如果我們觀察此過程是從階段 i 起始點開始，. i = 1,2,..., r ，我們可以得到公式 (6) 如下: ⎡. π=. ⎛∞ ⎝0. ⎞⎤ ⎠⎦. π (i ) ⎢∑ ⎛⎜ Π A j ⎞⎟⎜ ∫ Pk (s ) exp(− α k s r )ds ⎟⎥ k = i ⎝ j =1 ⎠ r. k −1. ⎣. k. 1 rk. +. ⎛ 1 ⎞ ⎛ 1⎞ ⎟⎟ Γ⎜⎜1 + ⎟⎟ k =1 ⎝ k ⎠ ⎝ rk ⎠ r. ∑ ⎜⎜ α (i ) ⎡. ∞ ⎞⎤ ⎛ r ⎞⎛ k −1 ⎞⎛ π ⎢∑ ⎜ Π A j ⎟⎜ Π A j ⎟⎜ ∫ Pk (s ) exp(− α k s r )ds ⎟⎥ ⎠⎦ ⎣ k =1 ⎝ j =1 ⎠⎝ j =1 ⎠⎝ 0 i −1. k. 1 rk. ⎛ 1 ⎞ ⎛ 1⎞ ⎟⎟ Γ⎜⎜1 + ⎟⎟ k =1 ⎝ k ⎠ ⎝ rk ⎠ r. ∑ ⎜⎜ α =. ⎛∞ ⎝0. ⎞ ⎠. ∑ π (k ) ⎜ ∫ Pk (s ) exp(− α k s r )ds ⎟ r. k =i. k. 1 rk. ⎛ 1 ⎞ ⎛ 1⎞ ⎟⎟ Γ⎜⎜1 + ⎟⎟ k =1 ⎝ k ⎠ ⎝ rk ⎠ r. ∑ ⎜⎜ α. 其中 i = 1,2,..., r ，方便註釋 π ( r +1) = π (1) 。備註: X n(i )，i = 1,2,..., r 的極限機率存在表示此周期長度期望值是有限的，因此 X (t ) 的極限機率是存在的。 13.

(20) Remark 1:在 (6) 的情況之下，如果 P1 (t ) = P2 (t ) = ..... = Pr (t ) ，則. π = π (1) = π ( 2 ) = ... = π ( r ) ，這是直覺可知是正確的，因為這個情況下，此過程在這個系統中是獨立的。. 14.

(21) 3.2 Y 服從指數分配假設在系統中每個階段停留的時間 Yn(i ) 服從指數( α i )，. i = 1,2,..., r ， n = 1,2,... ，是韋柏的特例(當 γ k = 1 )，期望值為. 1. αi. 。在. 這個假設之下，如果 i = 1,2,..., r ，轉置機率矩陣 Pi (t ) 有一個微矩陣. Qi ，其中 Qi 所有特徵值的絕對值都會小於 α i ，然後我們可以計算出公式 (1) 的 Ai 為 ∞. Ai = ∫ e Q t α i exp(− α i t )dt i. (7 ). 0. 若e. Qi t. Qin t n = I +∑ ， n! n =1 ∞. 我們可以將公式 (7 ) 另外表示為 ∞ Qin t n ⎞ ⎛ Ai = ∫ ⎜⎜ I + ∑ ⎟α i exp(− α i t )dt n! ⎟⎠ n =1 0⎝ ∞. ∞. =∑ n =0. α i Qin n!. ⎛Q ≅ ∑ ⎜⎜ i n =0 α ⎝ i ∞. ∞. ∫t. n. exp(− α i t )dt. 0. ⎞ ⎟⎟ ⎠. n. 備註:這個假設的 Qi 所有特徵值保證公式 (7 ) 的無窮級數是收斂的。. 15.

(22) 公式 (4 ) 運用代數推導出 (8). π=. 1 r. ⎡ r (k ) ∞ t ⎤ −α t ( ) π P s ds α e dt ∑ k k ∫ ∫ ⎥⎦ 1 ⎢⎣ k =1 0 0 k. ∑α k =1. =. 1 r. ⎛ k −1 ∞ ⎞⎛ ∞ t ⎞⎤ −α t π ⎢∑ ⎜ Π ∫ Pi (t )α i e dt ⎟⎜ ∫ ∫ Pk (s )dsα k e −α t dt ⎟⎥ 1 ⎠⎝ 0 0 ⎠⎦ ⎣ k =1 ⎝ i =1 0. ∑α k =1. =. 1 r. k =1. =. r. ∑α. r. (1) ⎡. r. ⎡. r. k. i. k. k. i. k. k. 1. ∑α k =1. (1) ⎡. i. k. 1 r. r. ⎛ k −1 ∞ ⎞⎛ ∞ ⎞ 1⎤ −α t π ⎢∑ ⎜ Π ∫ Pi (t )α i e dt ⎟⎜ ∫ Pk (s )α k e −α s ds ⎟ × ⎥ 1 ⎠⎝ 0 ⎠ αk ⎦ ⎣ k =1 ⎝ i =1 0. k =1. =. (1) ⎡. ⎛ k −1 ∞ ⎞⎛ ∞ ⎞⎤ −α t π ⎢∑ ⎜ Π ∫ Pi (t )α i e dt ⎟⎜ ∫ Pk (s )e −α s ds ⎟⎥ 1 ⎠⎝ 0 ⎠⎦ ⎣ k =1 ⎝ i =1 0. ∑α 1. k. ⎞⎤ A Π i ⎟⎟⎥ k =1 ⎝ α k i =1 ⎠⎦ ⎣ ⎛ 1. π (1) ⎢∑ ⎜⎜. k. k. 其中 Ai 的定義在公式 (7 ) 備註:公式 (8) 的第一個等式意思是此過程在狀態 j 的平均時間也可以說此過程在這個系統每一個階段是狀態 j 所佔的比重的平均時間。第二個等式直接運用前面所提出的 lemma 導出的。第三個及第四個等式運用代數計算。第五個等式將公式 (7 ) 定義 Ai 表示。公式 (8) 當此過程考慮從階段 1 起始點開始所推導出來的。. 16.

(23) 同理地，如果我們觀察此過程是從階段 i ，i = 1,2,..., r 起始點開始，我們可以得. π=. 1 r. (i ) ⎡. ⎛ 1 π ⎢∑ ⎜⎜ 1 ⎣ k =i ⎝ α k. ∑α k =1. r. ⎞ i −1 1 ⎛ r ⎞⎤ ⎞⎛ k ⎟ A A A + ⎜ ⎟ ⎜ ∑ Π Π j Π j ⎟⎥ j ⎟ j =i ⎠ k =1 α k ⎝ j =1 ⎠⎝ j =1 ⎠⎦ k. (9). k. 從 (8) 、 (9 ) 及 Lemma，我們可以說明下面的定理. Theorem 1:. 我們考慮一個連續時間馬可夫鏈 X (t ) 在 r 個階段的一個交替更新過程的動態運轉狀態的系統中被觀察。如果此系統 Yn(i ) 服從指數. ( α i )， X (t ) 及嵌入式過程 X n(i ) ， i = 1,2,..., r ， n = 1,2,... 的極限機率存在，則. π=. ⎡. 1 1. r. ∑α k =1. =. 1. ∑α k =1. ⎛ 1. k. k. 1 r. ⎞ i −1 1 ⎛ r ⎞⎤ ⎞⎛ k ⎟ A A A + Π j ⎟ ∑ ⎜ Π j ⎟⎜ Π j ⎟⎥ ⎣ k =i ⎝ α k j =1 ⎠ k =1 α k ⎝ j =1 ⎠⎝ j =1 ⎠⎦ r. π (i ) ⎢∑ ⎜⎜. r. ⎛. k =1. ⎝. 1 ∑ ⎜⎜ α π ( k. k +1 ). ⎞ ⎟⎟ ⎠. k. 其中 i = 1,2,..., r ，方便註釋 π ( r +1) = π (1) 。備註: X n(i )，i = 1,2,..., r 的極限機率存在表示此周期長度期望值是有限的，因此 X (t ) 的極限機率是存在的。. Remark 1:在 Theorem 1 的情況之下，如果 P1 (t ) = P2 (t ) = ..... = Pr (t ) ，則 π = π (1) = π ( 2 ) = ... = π ( r ) ，此過程在這個系統中是獨立的。. 17.

(24) ⎧1 if t ≥ ci 3.3 Y 服從 Fi (t ) = ⎨ ， i = 1,2,..., r ⎩0 if t < ci. ⎧1 if t ≥ ci 假設在系統中每個階段停留的時間 Yn(i ) 服從 Fi (t ) = ⎨ ⎩0 if t < c i 是一個固定分配與時間無關，期望值為 ci ， i = 1,2,..., r ， n = 1,2,... 。在這個假設之下，如果 i = 1,2,..., r ，轉置機率矩陣 Pi (t ) 有一個微矩陣 Qi ，然後我們可以計算出公式 (1) 的 Ai 為 ∞. ∞. Ai = ∫ Pi (t )dF (t ) = ∫ e Q t dF (t ) =Pi (ci ) = e Q c i. 0. i i. (10). 0. 備註:這個假設的 Qi 所有特徵值保證公式 (10) 的無窮級數是收斂的。公式 (4 ) 運用代數推導出下面的公式 (11). 1 ⎡ r (k ) ∞ t ⎤ π = r ⎢∑ π ∫ ∫ Pk (s )dsdF (t )⎥ ⎦ ∑ c ⎣ k =1 0 0 i =1. =. i. 1 r. ∑c i =1. ⎡. r. (1) ⎡. r. (1) ⎡. r. ⎡. r. ⎞⎛ ∞ t ⎠⎝ 0 0. ⎛ k −1 ∞ ⎣ k =1 ⎝ i =1 0. i. k −1 ⎞⎤ ⎛∞ t Q s ⎞ ⎛ = r π ⎢∑ ⎜ Π Pi (ci )⎟⎜ ∫ ∫ e dsdF (t )⎟⎥ ⎠⎝ 0 0 ⎠⎦ ∑ ci ⎣ k =1 ⎝ i =1. 1. k. i =1. k −1 ⎛ c Q s ⎞⎤ ⎞ ⎛ = r π ⎢∑ ⎜ Π Pi (ci )⎟⎜ ∫ e ds ⎟⎥ ⎠⎝ 0 ⎠⎦ ∑ ci ⎣ k =1 ⎝ i =1. 1. k. k. i =1. =. r. i =1. ⎛c ⎠⎝ 0. ⎞⎤. π (1) ⎢∑ ⎛⎜ Π Ai ⎞⎟⎜ ∫ e Q s ds ⎟⎥. 1. ∑c. ⎞⎤ ⎠⎦. π (1) ⎢∑ ⎜ Π ∫ Pi (t )dF (t )⎟⎜ ∫ ∫ Pk (s )dsdF (t )⎟⎥. i. k −1. ⎣ k =1 ⎝ i =1. k. k. ⎠⎦. 其中 Ai 的定義在公式 (10). 18.

(25) ck. 假設 M (s ) = ∫ e Q s ds ， M (s ) satisfies I + Qk M (s ) = e Q c ， k. k k. 0. π=. π (1) ⎡⎢∑ M (s )⎛⎜ Π Ai ⎞⎟⎤⎥. 1 i =1. ⎝ i =1. ⎣ k =1. r. ∑c. k −1. r. ⎠⎦. i. 備註:公式 (11) 的第一個等式意思是此過程在狀態 j 的平均時間也可以說此過程在這個系統每一個階段是狀態 j 所佔的比重的平均時間。第二個等式直接運用前面所提出的 lemma 導出的。第三個至第四個等式運用代數計算。第五個等式將公式 (10) 定義 Ai 表示。最後一個等式用 M 來表示之。公式 (11) 當此過程考慮從階段 1 起始點開始所推導出來的。利用黎曼和(Riemann sum)來表示 π 的近似值:. π≅. π (1) ⎡⎢∑ ⎛⎜ Π Ai ⎞⎟⎛⎜ ∑ M (si )∆si ⎞⎟⎤⎥ ， n : large ，. 1. r. i =1. n. ⎣ k =1 ⎝ i =1. r. ∑c. k −1. ⎠⎝ i =1. ⎠⎦. i. m. 其中 e. Qi t. Qs⎞ ⎛ ≅ M ( s ) = ⎜ I + i ⎟ ， m = 2 k ， m : large ，只需作 k 次 m ⎠ ⎝. 同理地，如果我們觀察此過程是從階段 i ，i = 1,2,..., r 起始點開始，我們可以得到公式 (12) 如下: (i ) ⎡. c c ⎛ k −1 ⎞⎛ Q s ⎞ i −1 ⎛ r ⎞⎛ k −1 ⎞⎛ Q s ⎞⎤ π = r π ⎢∑ ⎜ Π A j ⎟⎜ ∫ e ds ⎟ + ∑ ⎜ Π A j ⎟⎜ Π A j ⎟⎜ ∫ e ds ⎟⎥ ⎠ k =1 ⎝ j =1 ⎠⎝ j =1 ⎠⎝ 0 ⎠⎦ ∑ ci ⎣ k =i ⎝ j =i ⎠⎝ 0. 1. r. k. k. k. k. i =1. 1 ⎡ r ( k ) ⎛ c Q s ⎞⎤ = r ⎢∑ π ⎜ ∫ e ds ⎟⎥ ⎠⎦ ∑ ci ⎣ k =1 ⎝ 0 k. k. i =1. 其中 i = 1,2,..., r ，方便註釋 π ( r +1) = π (1) 。 19.

(26) 備註: X n(i )，i = 1,2,..., r 的極限機率存在表示此周期長度期望值是有限的，因此 X (t ) 的極限機率是存在的。. Remark 1:在 (12) 的情況之下，如果 P1 (t ) = P2 (t ) = ..... = Pr (t ) ，則. π = π (1) = π ( 2 ) = ... = π ( r ) ，這是直覺可知是正確的，因為這個情況下，此過程在這個系統中是獨立的。. Remark 2:此分配是固定的與時間無關，所以. {Y ( ) , Y ( ) ,..., Y ( ) , Y ( ) , Y ( ) ,..., Y ( ) ,..., Y ( ) , Y ( ) ,..., Y ( ) , Y ( ) ,......}仍是馬可 1. 1. 2. 1. r. 1. 1. 2. 2. 2. r. 2. 1. n. 2. n. 1 n +1. 2 n +1. 夫鏈。不論從哪個時間去觀察此過程，都可以找出 Qi ，i = 1,2,..., r 。. 20.

(27) 四、此過程的特色(Characteristics of process) 這章節我們利用一個例子來說明觀察的 X (t ) 在一個交替更新過程中可能不會保有馬可夫的性質，即使此過程在任何給定的階段是馬可夫且每個階段停留的時間是服從指數分配。如果過程在每個階段是齊次性(homogenous)，我們可以證明 X (t ) 是漸近齊次性. (asymptotically homogenous)。. Example 1: 考慮一個連續時間馬可夫鏈，狀態為 {0,1}，所以此過程是在二個階段交換的更新開始系統中觀察，其中 α 1 = α 2 = α 。假設此馬可. 0 ⎡− K 夫鏈決定於微矩陣 Q1 = ⎢ 1⎣ K. 0 ⎡− δ K ⎤ 及 Q = 2 − K ⎥⎦ 1 ⎢⎣ δ. δ ⎤ ，Q1 ,Q2 依 − δ ⎥⎦. 據系統是在階段 1 還是在階段 2，其中 K 是一個很大的正數且 δ > 0 相對於 K 是很小的正數，所以 0 < δ < K ，表示在階段 1 的時候，狀態變動很快，而在階段 2 的時候，狀態幾乎維持原來的狀態沒什麼變動。. 如果 0 < ε <. 1. α. 則. Pr[X (t + ε ) = 1 X (t ) = 0, X (t − ε ) = 1, X (t − 2ε ) = 0]. > Pr[X (t + ε ) = 1 X (t ) = 0, X (t − ε ) = 0, X (t − 2ε ) = 0]. 上面兩個機率式子的條件機率意指在系統中的階段概似(likelihood. of stage)。. 21.

(28) 註釋:第一個式子表示給定時間 t (fixed)的狀態是 0，前一刻是 1，再前一刻是 0，可得到此情況是在階段 1，所以在時間 t 的下一刻會是. 1 的機率會很大;第二個式子表示給定時間 t 的狀態是 0，前一刻是 0，再前一刻是 0，可得到此情況是在階段 2，所以在時間 t 的下一刻會是 1 的機率會很小，所以前者機率會大於後者機率，但這樣的情況就不具有馬可夫的性質。. Theorem 2:. 假設 X (t ) 在系統中每個階段都是齊次性(homogenous)，令 Qi 是微矩陣在階段 i 與時間是獨立的。然後 X (t ) 的近似微矩陣. 1. αi. r. (asymptotically infinitesimal matrix)Q 會是 Q = ∑ i =1. r. 1. ∑α j =1. Qi ，因此整. j. 個過程是漸近齊次性(asymptotically homogenous)。. Proof: 令 s ij (t ) 是系統的轉置機率從階段 i 到階段 j ，其中 i = 1,2,..., r ， j = 1,2,..., r 。然後對於整理過程微矩陣在時間 t 為 Q(t ) = ∑ s1 j (t )Qi 。 r. j =1. 考慮此系統視為一個再生過程並且使用公式 (4 ) ，我們可以得到. 1 s (t ) = lim t →∞ 1 j. αi r. 1. ∑α j =1. ，Theorem 2 得證。. j. 22.

(29) 五、例子 0 壞了 ⎧ ⎪ 機器分成三個狀態為 ⎨1 中等仍可運作，工人分成三班制 r = 3 ⎪ 2 良好 ⎩ (早、午、晚)，通常早班精神最好，所以照顧較完善，修理速度快有效率。午班其次，晚班狀況較差，有時機器壞了也沒有即時處理等到隔天輪班的人才發現，既使發現修理效率也較不好，所以. Q1 , Q2 , Q3 有一些條件、規定。. Y1(1) , Y2(1) , Y3(1) ,....... ~ F1 (⋅) ⇒ iid. X (t ) 在此 Y 中得到 0 ⎡− a01 − a02 Q1 = 1 ⎢ a10 ⎢ 2 ⎢⎣ a20. a01 − a10 a21. ⎤ ⎥ 0 ⎥ − a20 − a21 ⎥⎦ a02. Y1( 2 ) , Y2( 2 ) , Y3( 2 ) ,....... ~ F2 (⋅) ⇒ iid. X (t ) 在此 Y 中得到 0 ⎡− b01 − b02 Q2 = 1 ⎢ b10 ⎢ 2 ⎢⎣ b20. b01 − b10 b21. ⎤ ⎥ 0 ⎥ − b20 − b21 ⎥⎦ b02. Y1(3 ) , Y2(3 ) , Y3(3 ) ,....... ~ F3 (⋅) ⇒ iid. X (t ) 在此 Y 中得到 0 ⎡− c01 − c02 Q3 = 1 ⎢ c10 ⎢ 2 ⎢⎣ c20. c01 − c10 c21. ⎤ ⎥ 0 ⎥ − c20 − c21 ⎥⎦ c02. 23.

(30) 條件:. Repair rate(修理的比率) a 01 > b01 > c01 ， a 02 > b02 > c 02 Break rate(機器壞掉的比率) a10 < b10 < c10 ， a 20 < b20 < c 20 ， a 21 < b21 < c 21 必成立的條件:. t 01 > t 02 , t 20 < t 21，其中t = a, b, c 利用上章節介紹的方法，及上述的條件，找出極限機率。. 這個過程隨著時間及其他因素使得機器的系統狀態產生變化，試著將此情況以流程圖來表示，能更方便、容易了解所有可能狀態的變化及發生原因:. 修理. 2. 1 自然損壞人為疏忽. 良好. 0 自然損壞人為疏忽. 中等. 自然損壞人為疏忽. 圖一電動平板貨架運作的狀況. 24. 壞掉.

(31) 模擬結果: 0 ⎡− 0.39 0.3 0.09 ⎤ 0 ⎡− 0.31 0.25 0.06 ⎤ ⎢ ⎥ Q1 = 1 ⎢ 0.16 − 0.16 0 ⎥ ， Q2 = 1 ⎢⎢ 0.2 − 0.2 0 ⎥⎥ 2 ⎢⎣ 0.15 0.2 − 0.35⎥⎦ 2 ⎢⎣ 0.12 0.19 − 0.31⎥⎦. 0 ⎡− 0.25 0.2 0 ⎡− 0.5 0.39 0.11 ⎤ 0.05 ⎤ − 0 .3 0 ⎥⎥ ， Q4 = 1 ⎢⎢ 0.3 − 0.3 0 ⎥⎥ Q3 = 1 ⎢⎢ 0.3 2 ⎢⎣ 0.2 2 ⎢⎣ 0.1 0.19 − 0.29⎥⎦ 0.25 − 0.45⎥⎦. 0 ⎡− 0.34 0.27 0.07 ⎤ 0 ⎡− 0.26 0.21 0.05 ⎤ ⎢ ⎥ Q5 = 1 ⎢ 0.4 − 0.4 0 ⎥ ， Q6 = 1 ⎢⎢ 0.41 − 0.41 0 ⎥⎥ 2 ⎢⎣ 0.29 0.21 − 0.5⎥⎦ 2 ⎢⎣ 0.21 0.2 − 0.41⎥⎦. 0 ⎡− 8 5 0 ⎡− 6 4 0 ⎡ − 5 3 .5 1 .5 ⎤ 3⎤ 2⎤ ⎢ ⎢ ⎥ ⎥ 0 ⎥⎥ Q7 = 1 ⎢ 2 − 2 0 ⎥ ， Q8 = 1 ⎢ 3 − 3 0 ⎥ ， Q9 = 1 ⎢⎢ 4 − 4 2 ⎢⎣ 1 2 ⎢⎣ 2 2 ⎢⎣ 3 3.5 − 6.5⎥⎦ 2 − 3⎥⎦ 3 − 5⎥⎦. (1) Y 服從指數( α i )， i = 1,2,..., r. Q. [α ,α 1. Q1 , Q2 , Q3 2. Q1 , Q2 , Q3. , α 3 ] [3, 21, 10]. [20, 8, 4]. π (1). v. [0.3542, 0.5681, 0.0777]. [0.4657, 0.4688, 0.0654]. v. [0.3458, 0.5749, 0.0793]. [0.4624, 0.4716, 0.0660]. π. 25.

(32) Q. [α ,α 1. Q1 , Q2 , Q3 2. , α 3 ] [0.8, 0.5, 0.2]. [0.1, 0.5, 0.7]. π (1). v. [0.4980, 0.4410, 0.0609]. [0.4289, 0.5079, 0.0632]. v. [0.4606, 0.4729, 0.0665]. [0.3259, 0.5948, 0.0793]. Q4 , Q5 , Q6. Q4 , Q5 , Q6. , α 3 ] [3, 21, 10]. [20, 8, 4]. π. Q. [α ,α 1. 2. π (1). v. [0.4197, 0.4731, 0.1073]. [0.5323, 0.3887, 0.0790]. v. [0.4079, 0.4816, 0.1104]. [0.5286, 0.3913, 0.0801]. Q4 , Q5 , Q6. Q4 , Q5 , Q6. π. Q. [α ,α 1. 2. , α 3 ] [0.8, 0.5, 0.2]. [0.1, 0.5, 0.7]. π (1). v. [0.5759, 0.3570, 0.0671]. [0.5239, 0.3943, 0.0818]. v. [0.5394, 0.3834, 0.0772]. [0.3944, 0.4895, 0.1161]. Q7 , Q8 , Q9. Q7 , Q8 , Q9. , α 3 ] [3, 21, 10]. [20, 8, 4]. π. Q. [α ,α 1. Q1 , Q2 , Q3. 2. v π (1) v π. [0.3340, 0.5400, 0.1260]. [0.3988, 0.4933, 0.1079]. [0.2448, 0.5943, 0.1609]. [0.3681, 0.5130, 0.1189]. 26.

(33) Q. [α ,α 1. 2. Q7 , Q8 , Q9. Q7 , Q8 , Q9. , α 3 ] [0.8, 0.5, 0.2]. v π (1) v π. [0.1, 0.5, 0.7]. [0.4307, 0.4690, 0.1003]. [0.4245, 0.4745, 0.1011]. [0.3672, 0.5133, 0.1195]. [0.2288, 0.6059, 0.1653]. (2) Y 服從韋柏( α i , γ i )， i = 1,2,..., r. Q. [α ,α 1. [γ. 1. Q1 , Q2 , Q3 2. , α 3 ] [1/3, 1, 1/2]. ,γ 2 ,γ 3 ] v π (1) v π. Q. [α ,α 1. [γ. 1. 2. Q1 , Q2 , Q3 [1, 1, 1/2]. [1, 4, 1]. [1, 19, 1]. [0.9746, 0.0209, 0.0044]. [0.9307, 0.0577, 0.0116]. [0.7936, 0.1648, 0.0418]. [0.7316, 0.2194, 0.0491]. Q4 , Q5 , Q6. Q4 , Q5 , Q6. , α 3 ] [1/3, 1, 1/2]. ,γ 2 ,γ 3 ] v π (1) v π. [1, 1, 1/2]. [1, 4, 1]. [1, 19, 1]. [0.9752, 0.0200, 0.0048]. [0.9341, 0.0534, 0.0125]. [0.7689, 0.1828, 0.0485]. [0.7243, 0.2206, 0.0553]. 27.

(34) Q. [α ,α 1. [γ. 1. Q7 , Q8 , Q9 2. Q7 , Q8 , Q9. , α 3 ] [1/3, 1, 1/2]. ,γ 2 ,γ 3 ]. [1, 1, 1/2]. [1, 4, 1]. [1, 19, 1]. π (1). v. [0.9581, 0.0346, 0.0073]. [0.8948, 0.0869, 0.0184]. v. [0.2793, 0.5356, 0.1853]. [0.3235, 0.5156, 0.1611]. π. ⎧1 if t ≥ ci (3) Y 服從 Fi (t ) = ⎨ ， i = 1,2,..., r 0 if t c < ⎩ i. Q. Q1 , Q2 , Q3. Q4 , Q5 , Q6. c. 8. 8. [0.5331, 0.4084, 0.0585]. [0.6006, 0.3391, 0.0603]. [0.3369, 0.5837, 0.0794]. [0.4154, 0.4730, 0.1116]. v π (1) v π. Q. Q7 , Q8 , Q9. Q1 , Q2 , Q3. c. 8. 1. π (1). v. [0.4333, 0.4667, 0.1000]. [0.4450, 0.4906, 0.0644]. v. [0.2286, 0.6077, 0.1637]. [0.3886, 0.5360, 0.0754]. Q. Q4 , Q5 , Q6. Q7 , Q8 , Q9. c. 1. 1. π (1). v. [0.5352, 0.3869, 0.0779]. [0.4333, 0.4667, 0.1000]. v. [0.4636, 0.4393, 0.0971]. [0.2360, 0.6008, 0.1631]. π. π. 28.

(35) 六、應用實例 Example: 某一家公司製造大量優質的產品，二十四小時不能停止生產線，一旦斷電損失慘重所有在線上正在製造的產品全部都報銷，所以必需要很了解每台機器的狀態，此公司可以利用上述的方法找出每台機器的壽命，老闆就可以決定需要多少台機器串聯起來在線上運作，需要幾條生產線並聯起來，希望發生斷電的機率是萬分之一要相當的小，當有一條發生問題還有其他的生產線可以繼續運作及生產中的產品轉移到其他生產線，這樣可以讓損失降到最低。. 圖二. 線路與機器位置分配. 29.

(36) Example: 園區的某大公司想要讓公司產品量產，目標想花最小的錢得到最高的產量，使公司獲益最大，所以貴公司可以試著採用此方法，每台機器服從同一個分配，分別在不同的時段但在同一個部門，算出每台的極限機率，決定要幾台串聯在一起，再看需要幾條生產線串聯起來，最後達到最想要的產量。. Example: 買一台新車狀態都是良好的，但經過一段時間可能是人為因素. (碰撞、過度使用…等等)或是自然磨損(零件老舊或是秏損完…等) 使得車的狀況變為中等，定期保養又可恢復到好一點的狀況，但有時損壞太嚴重就必需送修，最多也只能恢復到中等狀態，這也是可以經由此法來推算出車子的極限機率。. Example: 考慮一個 M/M/1 queue，這系統是機器運轉與修理期間在交替，每一個情況都服從指數分配。當機器在運轉期間，這個系統操作視為 M/M/1 queue，當壞掉的期間，沒有顧客使用且顧客上門發現壞了會很灰心失望而會以一個常數機率離開。此外，如果機器在時間 T 壞掉，則在系統中的時間 T + 顧客離開的人數假設服從一個二項分配(binomial distribution)。將這個例子算出極限機率分配 π 。. 我們考慮這個問題，將它看成三個階段的交替更新過程，分別命名為運轉期間，機器壞掉發生期間，修理期間。每個期間假設服. 30.

(37) 從指數分配，這三個階段的期望值分別為. 1. α1. Theorem 1，我們將解決這個問題，其中讓. ，. 1. α2. 1. α2. ，. 1. α3. 。利用. 收斂到 0。. α 2 為一個固定值，由 Theorem 1 推導出 π=. 1. α1. +. 1 1. α2. ⎛ 1 (1) ⎞ 1 1 ⎜⎜ π A1 + π ( 2 ) A1 A2 + π (3 ) A1 A2 A3 ⎟⎟ 1 ⎝ α1 α2 α3 ⎠ +. α3. 讓 α 2 → ∞ ，可得到 π =. ⎛ 1 (1) ⎞ 1 ⎜⎜ π A1 + π (3 ) A1 A2 A3 ⎟⎟ 1 1 ⎝ α1 α3 ⎠ + 1. α1. α3. 31.

(38) 七、結論. 在本篇論文中，我們考慮一個連續時間馬可夫鏈在 r 個階段為一個周期的交替更新過程之動態運轉狀態的系統中被觀察。討論此系統服從三種分配分別是常數函數與時間是定值、指數、韋柏，整個過程的極限機率分配可以以嵌入式過程的穩定狀態機率之形式推導出來。其中系統服從常數與韋柏分配的，不能直接積分求得，所以是以黎曼和方法來表示近似值。. 另外我們會檢查馬可夫性質發現一個有趣的事，即使是指數分配仍不具有馬可夫性質和另外會導出一定理說明整個過程的漸近齊次性(asymptotic homogeneity)。. 所以透過此篇想法在有限資源下用r=3的情況，求出每台機器在長期的時間「好」的機率，「中等」的機率，「壞」的機率，達到我們的目標。. 32.

(39) 參考資料 [1] ANISIMOV, V.(1977): Switching processes, Cybernetics, 13, 590-595. [2] ANISIMOV, V. (1995): Switching processes: Averaging principle, diffusion approximation and applications, Acta Applicandae Mathematicae, Kluwer, The Netherlands, 40, 95-141 [3] AVI-ITZHAK, B. and NAOR, P. (1963): Some queueing problems with service station subject to breakdowns, Oper. Res., 10, 303-320 [4] BAILEY, N. (1964): The elements of stochastic processes with applications to the natural sciences. Wiley, New York. [5] DURRETT, R. (1995): Probability: Theory and Examples. 2nd ed. Duxbury, New York. [6] KARLIN, S. and TAYLOR, H. M. (1975): A First Course in Stochastic Processes. Academic Press, New York. [7] REGTERSCHOT, G. J. K. and DE SMIT, J. H. A. (1986): The queue M/G/1 with Markov modulated arrivals and services, Math. Oper. Res.. 11 (1986), 465-483. [8] Ishwar Basawa and Prakasa Rao (1980) : Statistical Inference for Stochastic Processes. [9] Norman Bailey (1964):The elements of stochastic processes with applications to natural sciences. [10] Ross Sheldon M. (1983): Stochastic processes. [11] Ross Sheldon M. (1996): Stochastic processes. 2nd edition. New York. Wiley.. 33.

(40) 附錄程式碼:. (1) Y 服從指數( α ) Q(:,:,1)=[-0.39 0.3 0.09 ; 0.16 -0.16 0 ; 0.12 0.19 -0.31]; Q(:,:,2)=[-0.31 0.25 0.06 ; 0.2 -0.2 0. ; 0.15 0.2 -0.35];. Q(:,:,3)=[-0.25 0.2. ; 0.2 0.25 -0.45];. 0.05 ; 0.3 -0.3 0. %Q 按照上面的規則找出適當的，即可帶入替換。 alpha=[20 8 4];. %alpha 依情況及規定找出適當的帶入。. syms t x y z; for i=1:3, B(:,:,i)=int(expm(Q(:,:,i)*t)*alpha(i)*exp(-alpha(i)*t),t,0 , inf); end z=1-x-y; X=[x y z]; Ans=X*B(:,:,1)*B(:,:,2)*B(:,:,3)-X; S=solve(Ans(2),Ans(3)); p1=[S.x S.y 1-S.x-S.y]; %根據 Lemma 公式求得的 AA=eye(3); psum=zeros(3); for i=1:3, AA=AA*B(:,:,i); psum = psum + AA/alpha(i);. end. p=( p1/(1/alpha(1) + 1/alpha(2) + 1/alpha(3) ))*psum; sum(p). %進一步確認機率和是否為 1。 34. %p 即為所求.

(41) (2) Y 服從韋柏( α , γ ) alpha=[1 1 0.5]; r=[1 19 1]; n=30; %alpha 及 gamma 依情況及規定找出適當的帶入。 Q(:,:,1)=[-0.39 0.3 0.09 ; 0.16 -0.16 0 ; 0.12 0.19 -0.31]; Q(:,:,2)=[-0.31 0.25 0.06 ; 0.2 -0.2 0. ; 0.15 0.2 -0.35];. Q(:,:,3)=[-0.25 0.2. ; 0.2 0.25 -0.45];. 0.05 ; 0.3 -0.3 0. %Q 按照上面的規則找出適當的，即可帶入替換。 syms x y z t; for j=1:3, p(:,:,j)=zeros(3); for i=1:n,. t=i/n;. bata(j)=1/alpha(j);. g= expm(Q(:,:,j)*t)*r(j)*t^(r(j)-1)*exp(-t^r(j)/bata(j))/bata(j)/n; p(:,:,j)=p(:,:,j)+g end end z=1-x-y; X=[x y z];. Ans=X*p(:,:,1)*p(:,:,2)*p(:,:,3)-X;. S=solve(Ans(2),Ans(3)); p1=[S.x S.y 1-S.x-S.y];. %根據 Lemma 公式求得的. AA=eye(3); psum=zeros(3); for i=1:3, AA=AA*p(:,:,i); psum = psum + AA*gamma( (n+1)/r(i) )/gamma( n/r(i)+1 ) *bata(i)^(1/r(i))/r(i); end w=p1*psum; %w 即為所求 if (abs(sum(w)-1)<0.0005); %進一步確認近似的機率和是否非常接近 1。 35.

(42) (3) Y 服從 Constant(與時間為定值) c=8;n=10000; Q(:,:,1)=[-8 5 3 ; 2 -2 0 ; 1 2 -3]; Q(:,:,2)=[-6 4 2 ; 3 -3 0 ; 2 3 -5]; Q(:,:,3)=[-5 3.5 1.5 ; 4 -4 0 ; 3 3.5 -6.5]; %Q 按照上面的規則找出適當的，即可帶入替換。 for i=1:3; A(:,:,i)=expm(Q(:,:,i)*c);. end. syms x y z; z=1-x-y; X=[x y z]; Ans=X*A(:,:,1)*A(:,:,2)*A(:,:,3)-X; S=solve(Ans(2),Ans(3)); p1=[S.x S.y 1-S.x-S.y];. %根據 Lemma 公式求得的. AA=eye(3); p=zeros(3); for j=1:3, if (j>1) AA=AA*expm(Q(:,:,j-1)*c);. end. psum=zeros(3); for i=1:n, psum=psum+expm(Q(:,:,j)*c*i/n)*c/n; p=p+psum*AA;. end. end. w=p1*p/(c*3); %w 即為所求 sum(w);. %進一步確認機率和是否為 1。 36.

(43)