Y 服從常數分配

假設M( )s =^c

_∫

^ke^Qksds

備註: X_n^{( )i}，i =1,2,...,r的極限機率存在表示此周期長度期望值是有 限的，因此X( )t 的極限機率是存在的。

Remark 1:在( )12 的情況之下，如果P₁( )t = P₂( )t =...= P_r( )t ，則

( )

π

( )

π

( )^r

π

π

= ¹ = ² =...= ，這是直覺可知是正確的，因為這個情況 下，此過程在這個系統中是獨立的。

Remark 2:此分配是固定的與時間無關，所以

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

{

^{, ,..., , , ,..., ,..., , ,..., , 2}1^,...

}

1 1 2

1 2

2 2 1 2 1 2 1 1

1 n n n+ n+

r

r Y Y Y Y Y Y Y

Y Y

Y 仍是馬可

夫鏈。不論從哪個時間去觀察此過程，都可以找出Q_i，i =1,2,...,r。

四、 此過程的特色(Characteristics of process)

這章節我們利用一個例子來說明觀察的X( )t 在一個交替更新 過程中可能不會保有馬可夫的性質，即使此過程在任何給定的階段 是馬可夫且每個階段停留的時間是服從指數分配。如果過程在每個 階段是齊次性(homogenous)，我們可以證明X( )t 是漸近齊次性 (asymptotically homogenous)。

Example 1:

上面兩個機率式子的條件機率意指在系統中的階段概似(likelihood of stage)。

註釋:第一個式子表示給定時間t (fixed)的狀態是0，前一刻是1，再 前一刻是0，可得到此情況是在階段 1，所以在時間t的下一刻會是 1的機率會很大;第二個式子表示給定時間t的狀態是0，前一刻是 0，再前一刻是0，可得到此情況是在階段 2，所以在時間t的下一 刻會是1的機率會很小，所以前者機率會大於後者機率，但這樣的 情況就不具有馬可夫的性質。

Theorem 2:

假設X( )t 在系統中每個階段都是齊次性(homogenous)，令Q_i是 微矩陣在階段i 與時間是獨立的。然後X( )t 的近似微矩陣

(asymptotically infinitesimal matrix) Q會是

∑

∑

=

=

= ^r

i r i

j j

i Q

Q

1

1

1 1

α

α

，因此整

個過程是漸近齊次性(asymptotically homogenous)。

Proof:

令s_ij( )t 是系統的轉置機率從階段i 到階段 j ，其中i=1,2,...,r， r

j=1,2,..., 。然後對於整理過程微矩陣在時間t 為 ( ) ∑ ( )

=

= ^r

j

i

j t Q

s t

Q

1

1 。

考慮此系統視為一個再生過程並且使用公式( )4 ，我們可以得到

( )

∑

=

∞

→ = _r

j j

i

t s j t

1

1 1

1 lim

α

α

，Theorem 2 得證。

五、 例子

條件:

Repair rate(修理的比率)

01 01

01 b c

a > > ，a₀₂ >b₀₂ >c₀₂ Break rate(機器壞掉的比率)

10 10

10 b c

a < < ，a₂₀ <b₂₀ <c₂₀，a₂₁ <b₂₁ <c₂₁ 必成立的條件:

c b a t t

t t

t₀₁ > ₀₂, ₂₀ < ₂₁，其中 = , ,

利用上章節介紹的方法，及上述的條件，找出極限機率。

這個過程隨著時間及其他因素使得機器的系統狀態產生變 化，試著將此情況以流程圖來表示，能更方便、容易了解所有可能 狀態的變化及發生原因:

修理

良好 中等 壞掉

自然損壞

人為疏忽 自然損壞 人為疏忽

人為疏忽 自然損壞

2 1 0

圖一 電動平板貨架運作的狀況

模擬結果:

π

^v [0.3542, 0.5681, 0.0777] [0.4657, 0.4688, 0.0654]

π

^v [0.3458, 0.5749, 0.0793] [0.4624, 0.4716, 0.0660]

Q

3 2 1,Q ,Q

Q Q₁,Q₂,Q₃

[ α

1,

α

2,

α

3

]

[0.8, 0.5, 0.2] [0.1, 0.5, 0.7]

( )¹

π

^v [0.4980, 0.4410, 0.0609] [0.4289, 0.5079, 0.0632]

π

^v [0.4606, 0.4729, 0.0665] [0.3259, 0.5948, 0.0793]

Q

6 5 4,Q ,Q

Q Q₄,Q₅,Q₆

[ α

1,

α

2,

α

3

]

[3, 21, 10] [20, 8, 4]

( )1

π

^v [0.4197, 0.4731, 0.1073] [0.5323, 0.3887, 0.0790]

π

^v [0.4079, 0.4816, 0.1104] [0.5286, 0.3913, 0.0801]

Q

6 5 4,Q ,Q

Q Q₄,Q₅,Q₆

[ α

1,

α

2,

α

3

]

[0.8, 0.5, 0.2] [0.1, 0.5, 0.7]

( )1

π

^v [0.5759, 0.3570, 0.0671] [0.5239, 0.3943, 0.0818]

π

^v [0.5394, 0.3834, 0.0772] [0.3944, 0.4895, 0.1161]

Q

9 8 7,Q ,Q

Q Q₇,Q₈,Q₉

[ α

1,

α

2,

α

3

]

[3, 21, 10] [20, 8, 4]

( )¹

π

^v [0.3340, 0.5400, 0.1260] [0.3988, 0.4933, 0.1079]

π

^v

Q

9 8 7,Q ,Q

Q Q₇,Q₈,Q₉

[ α

1,

α

2,

α

3

]

[0.8, 0.5, 0.2] [0.1, 0.5, 0.7]

( )¹

π

^v [0.4307, 0.4690, 0.1003] [0.4245, 0.4745, 0.1011]

π

^v [0.3672, 0.5133, 0.1195] [0.2288, 0.6059, 0.1653]

(2)Y 服從韋柏(

α

_i,

γ

_i)，i =1,2,...,r

Q

3 2 1,Q ,Q

Q Q₁,Q₂,Q₃

[ α

1,

α

2,

α

3

]

[1/3, 1, 1/2] [1, 1, 1/2]

[ γ

1,

γ

2,

γ

3

]

[1, 4, 1] [1, 19, 1]

( )1

π

^v [0.9746, 0.0209, 0.0044] [0.9307, 0.0577, 0.0116]

π

^v [0.7936, 0.1648, 0.0418] [0.7316, 0.2194, 0.0491]

Q

6 5 4,Q ,Q

Q Q₄,Q₅,Q₆

[ α

1,

α

2,

α

3

]

[1/3, 1, 1/2] [1, 1, 1/2]

[ γ

1,

γ

2,

γ

3

]

[1, 4, 1] [1, 19, 1]

( )¹

π

^v [0.9752, 0.0200, 0.0048] [0.9341, 0.0534, 0.0125]

π

^v [0.7689, 0.1828, 0.0485] [0.7243, 0.2206, 0.0553]

Q

9 8 7,Q ,Q

Q Q₇,Q₈,Q₉

[ α

1,

α

2,

α

3

]

[1/3, 1, 1/2] [1, 1, 1/2]

[ γ

1,

γ

2,

γ

3

]

[1, 4, 1] [1, 19, 1]

( )1

π

^v [0.9581, 0.0346, 0.0073] [0.8948, 0.0869, 0.0184]

π

^v [0.2793, 0.5356, 0.1853] [0.3235, 0.5156, 0.1611]

(3) Y 服從 ( )

⎩⎨

⎧

<

= ≥

i i

i if t c

c t if t

F 0

1 ，i =1,2,...,r

Q

3 2 1,Q ,Q

Q Q₄,Q₅,Q₆

c 8 8

( )¹

π

^v [0.5331, 0.4084, 0.0585] [0.6006, 0.3391, 0.0603]

π

^v [0.3369, 0.5837, 0.0794] [0.4154, 0.4730, 0.1116]

Q

9 8 7,Q ,Q

Q Q₁,Q₂,Q₃

c 8 1

( )1

π

^v [0.4333, 0.4667, 0.1000] [0.4450, 0.4906, 0.0644]

π

^v [0.2286, 0.6077, 0.1637] [0.3886, 0.5360, 0.0754]

Q

6 5 4,Q ,Q

Q Q₇,Q₈,Q₉

c 1 1

( )1

π

^v [0.5352, 0.3869, 0.0779] [0.4333, 0.4667, 0.1000]

六、 應用實例

Example:

某一家公司製造大量優質的產品，二十四小時不能停止生產 線，一旦斷電損失慘重所有在線上正在製造的產品全部都報銷，所 以必需要很了解每台機器的狀態，此公司可以利用上述的方法找出 每台機器的壽命，老闆就可以決定需要多少台機器串聯起來在線上 運作，需要幾條生產線並聯起來，希望發生斷電的機率是萬分之一 要相當的小，當有一條發生問題還有其他的生產線可以繼續運作及 生產中的產品轉移到其他生產線，這樣可以讓損失降到最低。

圖二 線路與機器位置分配

Example:

園區的某大公司想要讓公司產品量產，目標想花最小的錢得到 最高的產量，使公司獲益最大，所以貴公司可以試著採用此方法，

每台機器服從同一個分配，分別在不同的時段但在同一個部門，算 出每台的極限機率，決定要幾台串聯在一起，再看需要幾條生產線 串聯起來，最後達到最想要的產量。

Example:

買一台新車狀態都是良好的，但經過一段時間可能是人為因素 (碰撞、過度使用…等等)或是自然磨損(零件老舊或是秏損完…等) 使得車的狀況變為中等，定期保養又可恢復到好一點的狀況，但有 時損壞太嚴重就必需送修，最多也只能恢復到中等狀態，這也是可 以經由此法來推算出車子的極限機率。

Example:

考慮一個 M/M/1 queue，這系統是機器運轉與修理期間在交 替，每一個情況都服從指數分配。當機器在運轉期間，這個系統操 作視為 M/M/1 queue，當壞掉的期間，沒有顧客使用且顧客上門發 現壞了會很灰心失望而會以一個常數機率離開。此外，如果機器在 時間T 壞掉，則在系統中的時間T⁺顧客離開的人數假設服從一個二 項分配(binomial distribution)。將這個例子算出極限機率分配

π

。

我們考慮這個問題，將它看成三個階段的交替更新過程，分別 命名為運轉期間，機器壞掉發生期間，修理期間。每個期間假設服

從指數分配，這三個階段的期望值分別為

1

1

α

^， ₂ 1

α

^， ₃ 1

α

^。利用

Theorem 1，我們將解決這個問題，其中讓

2

1

α

^{收斂到 0。}

α

2為一個固定值，由 Theorem 1 推導出

( ) ( ) ( )

⎟⎟⎠

⎜⎜ ⎞

⎝

⎛ + +

+ +

= ³ _{1 2 3}

3 2 1 2

2 1 1

1

3 2 1

1 1

1 1 1 1

1 A A A

π

AA A

π α π α

α α α α π

讓

α

₂ →∞，可得到 ^{( ) ( )} ⎟⎟⎠

⎜⎜ ⎞

⎝

⎛ +

+

= ³ _{1 2 3}

3 1 1

1

3 1

1 1

1 1

1 A

π

AA A

π α

α

α

α

π

七、 結論

在本篇論文中，我們考慮一個連續時間馬可夫鏈在 r 個階段為 一個周期的交替更新過程之動態運轉狀態的系統中被觀察。討論此 系統服從三種分配分別是常數函數與時間是定值、指數、 韋柏，

整個過程的極限機率分配可以以嵌入式過程的穩定狀態機率之形 式推導出來。其中系統服從常數與韋柏分配的，不能直接積分求 得，所以是以黎曼和方法來表示近似值。

另外我們會檢查馬可夫性質發現一個有趣的事，即使是指數分 配仍不具有馬可夫性質和另外會導出一定理說明整個過程的漸近 齊次性(asymptotic homogeneity)。

所以透過此篇想法在有限資源下用r=3的情況，求出每台機器 在長期的時間「好」的機率，「中等」的機率，「壞」的機率，達到 我們的目標。

參考資料

[1] ANISIMOV, V.(1977): Switching processes, Cybernetics, 13, 590-595.

[2] ANISIMOV, V. (1995): Switching processes: Averaging principle, diffusion approximation and applications, Acta Applicandae

Mathematicae, Kluwer, The Netherlands, 40, 95-141

[3] AVI-ITZHAK, B. and NAOR, P. (1963): Some queueing problems with service station subject to breakdowns, Oper. Res., 10, 303-320 [4] BAILEY, N. (1964): The elements of stochastic processes with applications to the natural sciences. Wiley, New York.

[5] DURRETT, R. (1995): Probability: Theory and Examples. 2^nd ed.

Duxbury, New York.

[6] KARLIN, S. and TAYLOR, H. M. (1975): A First Course in Stochastic Processes. Academic Press, New York.

[7] REGTERSCHOT, G. J. K. and DE SMIT, J. H. A. (1986): The queue M/G/1 with Markov modulated arrivals and services, Math.

Oper. Res.. 11 (1986), 465-483.

[8] Ishwar Basawa and Prakasa Rao (1980) : Statistical Inference for Stochastic Processes.

[9] Norman Bailey (1964):The elements of stochastic processes with applications to natural sciences.

[10] Ross Sheldon M. (1983): Stochastic processes.

[11] Ross Sheldon M. (1996): Stochastic processes. 2^nd edition. New York. Wiley.

附錄

程式碼:

(1) Y服從指數(

α

)

Q(:,:,1)=[-0.39 0.3 0.09 ; 0.16 -0.16 0 ; 0.12 0.19 -0.31];

Q(:,:,2)=[-0.31 0.25 0.06 ; 0.2 -0.2 0 ; 0.15 0.2 -0.35];

Q(:,:,3)=[-0.25 0.2 0.05 ; 0.3 -0.3 0 ; 0.2 0.25 -0.45];

%Q 按照上面的規則找出適當的，即可帶入替換。

alpha=[20 8 4]; %alpha 依情況及規定找出適當的帶入。

syms t x y z;

for i=1:3,

B(:,:,i)=int(expm(Q(:,:,i)*t)*alpha(i)*exp(-alpha(i)*t),t,0 , inf);

end z=1-x-y;

X=[x y z];

Ans=X*B(:,:,1)*B(:,:,2)*B(:,:,3)-X;

S=solve(Ans(2),Ans(3));

p1=[S.x S.y 1-S.x-S.y]; %根據 Lemma 公式求得的 AA=eye(3); psum=zeros(3);

for i=1:3,

AA=AA*B(:,:,i);

psum = psum + AA/alpha(i); end

p=( p1/(1/alpha(1) + 1/alpha(2) + 1/alpha(3) ))*psum; %p 即為所求

(2) Y服從韋柏(

α

, )

γ

alpha=[1 1 0.5]; r=[1 19 1]; n=30;

%alpha 及 gamma 依情況及規定找出適當的帶入。

Q(:,:,1)=[-0.39 0.3 0.09 ; 0.16 -0.16 0 ; 0.12 0.19 -0.31];

Q(:,:,2)=[-0.31 0.25 0.06 ; 0.2 -0.2 0 ; 0.15 0.2 -0.35];

Q(:,:,3)=[-0.25 0.2 0.05 ; 0.3 -0.3 0 ; 0.2 0.25 -0.45];

%Q 按照上面的規則找出適當的，即可帶入替換。

syms x y z t;

for j=1:3,

p(:,:,j)=zeros(3);

for i=1:n, t=i/n; bata(j)=1/alpha(j);

g= expm(Q(:,:,j)*t)*r(j)*t^(r(j)-1)*exp(-t^r(j)/bata(j))/bata(j)/n;

p(:,:,j)=p(:,:,j)+g end end

z=1-x-y; X=[x y z]; Ans=X*p(:,:,1)*p(:,:,2)*p(:,:,3)-X;

S=solve(Ans(2),Ans(3));

p1=[S.x S.y 1-S.x-S.y]; %根據 Lemma 公式求得的 AA=eye(3); psum=zeros(3);

for i=1:3,

AA=AA*p(:,:,i);

psum = psum + AA*gamma( (n+1)/r(i) )/gamma( n/r(i)+1 )

*bata(i)^(1/r(i))/r(i); end w=p1*psum; %w 即為所求 if (abs(sum(w)-1)<0.0005);

(3) Y服從 Constant(與時間為定值) c=8;n=10000;

Q(:,:,1)=[-8 5 3 ; 2 -2 0 ; 1 2 -3];

Q(:,:,2)=[-6 4 2 ; 3 -3 0 ; 2 3 -5];

Q(:,:,3)=[-5 3.5 1.5 ; 4 -4 0 ; 3 3.5 -6.5];

%Q 按照上面的規則找出適當的，即可帶入替換。

for i=1:3;

A(:,:,i)=expm(Q(:,:,i)*c); end syms x y z;

z=1-x-y;

X=[x y z];

Ans=X*A(:,:,1)*A(:,:,2)*A(:,:,3)-X;

S=solve(Ans(2),Ans(3));

p1=[S.x S.y 1-S.x-S.y]; %根據 Lemma 公式求得的 AA=eye(3); p=zeros(3);

for j=1:3, if (j>1)

AA=AA*expm(Q(:,:,j-1)*c); end psum=zeros(3);

for i=1:n,

psum=psum+expm(Q(:,:,j)*c*i/n)*c/n; end p=p+psum*AA; end

w=p1*p/(c*3); %w 即為所求

在文檔中 在一個交替更新過程上的連續時間馬可夫鏈 (頁 24-0)