機率性動態規劃相關研究

動態規劃模式之觀念最早由 Richard Bellman 於 1955 年提出，為考量在一定 時間長度下，因考量所做決策之決策成本隨時間變動而影響決策後之系統總成本 並找出最佳決策，因此動態規劃為處理特定問題在特定時段上，於時點上具有先 後順序之決策問題，又可稱多階段決策(multistage decision)問題。其作法是將原 始問題分割為數個子問題或階段，將原本一個複雜的多決策變數問題劃分為多個 不同階段的單一決策問題，將決策過程分散至各個子問題或階段，並在每個子問 題或階段做成決策，經由系統性之逐步求解過程求得一組決策過程並達成原始問 題之成本最小或效益最大化之目標，此方法特別適用於有求解順序相關之決策問 題，並可節省大量計算時間。動態規劃可分為確定性動態規劃(deterministic dynamic programming)與機率性動態規劃(probabilistic dynamic programming)，確 定性動態規劃為下一階段狀態是完全決定於目前階段的狀態與決策，而機率性動 態規劃則不完全由現階段的狀態與決策決定下一階段狀態，而是存在一組機率分 配以決定下個階段最可能發生之狀態及相對成本。

圖 2.1 機率性動態規劃問題基本結構圖

圖 2.1 為機率性動態規劃問題之處理流程，以階段流程方式處理原決策問題 之後，方塊圖代表各個階段的系統狀態，其中的 即為階段 n 起始時之系統狀 態，菱形圖代表在各階段所做的決策集合，其中的 即為在階段 n 時所選擇的 決策組合， 表示在階段 n 且起始狀態為 時，選擇 決策集合之後，

在此階段結束時可獲得的最小期望成本或最大期望利益，而 即為選擇每 種決策組合 所分別對應之最小或最大之期望值。

Sn

dn

) , ( _{n n}

n S d

f S_n d_n

)

*

(

n

n

S

f

dn

將階段(n+1)所可能發生的起始狀態數目表示為 N，則 、 、……… 為 已知階段 n 之狀態為 且決策為 時，下一階段各種起始狀態 之出現機率 分配， 、 、……… 則為分別對應當階段 n+1 時為第 1、2、………N 種 狀態下，階段 n 所產生之對目標函數的貢獻值

p1 p₂ p_N

Sn d_n S_n+1

C1 C₂ C_N

Hartman(2001)之研究即以機率性動態規劃模式為基礎構建設備汰換決策模 式，以動態規劃觀念將設備利用情況與營運狀況及顧客需求以一定的機率方式相 關聯，並同時考量設備年資及累積使用情況，以最小化各時區決策期望成本為目 標，而過去之資產設備汰換分析研究中，多假設在操作、維修、殘值等設備利用 情形為固定或預先設定之情況以簡化問題，然而營運過程中如顧客需求量等等不 確定因素皆對設備使用量產生影響，而使得實際設備使用量與預期排定之設備使

用情況不相符合，而使按照預期情況求解之資產設備汰換時程或購買或賣出決策

圖 2.2 資產設備於機率性動態規劃問題之狀況示意圖

由圖 2.2 可說明資產設備在機率性動態規劃模式中之保留或淘汰決策可能 狀態示意圖。圖中方塊點表示該時區之起始狀態(i,j)，i 為資產設備的使用年 資，j 代表資產設備累積的使用程度，此點也為該時區之決策時點，隨時間進行 而需做出資產設備保留(K)或汰換(R)之決策，接著再產生在該時區的資產設備使 用率，圓形點即代表此資產設備利用程度，其決策結果並影響下一時區之起始狀 態。在該時區之決策結果若為保留，則進入下一時區須將原資產設備使用年資加 一個單位，並累加此時段中所產生之資產設備累積利用程度﹔若決策為汰換該資 產設備，則新資產設備之使用年資與累積利用程度皆由零開始，並在進入下一時 區時加計一個單位年資及該時段中之資產設備使用率。

本研究所應用為機率性動態規劃模式，將最佳化決策問題分為各個階段，並 依據各個景氣階段為時區劃分依據，各階段之起始狀態即為取決於上一時區之狀 態及上一時區所做的決策而形成。