Programming II Dynamic

Programming II

Michael Tsai 2013/10/10

連串矩陣相乘問題

 Matrix multiplication is associative.

 (( A₁𝐴₂ 𝐴₃)𝐴₄)

 ( A₁ 𝐴₂𝐴₃ )𝐴₄

 A₁𝐴₂ 𝐴₃𝐴₄

 𝐴₁( 𝐴₂𝐴₃ 𝐴₄)

 𝐴₁ 𝐴₂ 𝐴₃𝐴₄

 以上算出來答案都一樣

𝐴₁ 𝐴₂ 𝐴₃ 𝐴₄ …… 𝐴_𝑛

題目: 求𝐴₁𝐴₂ … 𝐴_𝑛矩陣相乘之解.

𝐴₁.cols=𝐴₂.rows

𝐴₁and 𝐴₂are compatible.

連串矩陣相乘問題

Matrix-Multiply(A,B) if A.columns != B.rows

error “incompatible dimensions”

else let C be a new A.rows x B.cols matrix for i=1 to A.rows

for j=1 to B.cols 𝑐_𝑖𝑗=0

for k=1 to A.cols 𝑐_𝑖𝑗 = 𝑐_𝑖𝑗 + 𝑎_𝑖𝑘 ∙ 𝑏_𝑘𝑗 return C

主要花費時間在這邊!

𝐴 𝐵

p

q

q

r

共花費pqr次乘法的時間 p

r

q

看一個例子

 𝐴₁𝐴₂ 𝐴₃ 花費之乘法數目=10 × 100 × 5 + 10 × 5 × 50 = 7500

 𝐴₁ 𝐴₂𝐴₃ 花費之乘法數目=100 × 5 × 50 + 10 × 100 × 50 = 75000

 差十倍!!

10

100 100 5

5

50

連串矩陣相乘問題-正式版

 給一連串的矩陣 𝐴₁, 𝐴₂, … , 𝐴_𝑛 , 其中矩陣𝐴_𝑖的大 小為𝑝_𝑖−1 × 𝑝_𝑖 (𝑖 = 1, 2, … , 𝑛), 找出一種乘法可 以使計算時的乘法數目最少

 沒有真的要算結果, 而只是找出能最快算出結果 的方法.

 因為算”怎麼算比較快”多花的時間, 比”用爛方 法直接算”多花的時間少很多

𝐴₁ 𝐴₂ 𝐴₃ 𝐴₄ …… 𝐴_𝑛

𝑝₀

𝑝₁

𝑝₂

𝑝₁ 𝑝₂

𝑝₃

𝑝₃

𝑝₄

𝑝_𝑛−1

𝑝_𝑛

暴力法有多暴力

 全部到底有幾種算法呢?

 P(n): 代表n個矩陣相乘共有幾種算法

 用遞迴定義:

 P(n)之解為Catalan numbers, Ω ^4𝑛

𝑛

3 2

, or is also Ω 2^𝑛

𝑃 𝑛 =

1

𝑘=1 𝑛−1

𝑃 𝑘 𝑃(𝑛 − 𝑘)

if 𝑛 = 1,

if 𝑛 ≥ 2.

假設先這樣分: 𝐴₁𝐴₂ … 𝐴_𝑘 𝐴_𝑘+1𝐴_𝑘+2 … 𝐴_𝑛

所以不耍暴力了.

 使用dynamic programming

 正規步驟:

1. 找出最佳解的”結構”

2. 使用遞迴來定義最佳解的花費

3. 計算最佳解的花費

4. 使用已經計算的資訊來構築最佳解

找出最佳解的”結構”

 總花費=𝐴_𝑖. . 𝐴_𝑘的花費+𝐴_𝑘+1. . 𝐴_𝑗的花費+把𝐴_𝑖. . 𝐴_𝑘和𝐴_𝑘+1. . 𝐴_𝑗 乘起來的花費

 最佳解的結構: 假設有𝐴_𝑖. . 𝐴_𝑗的最佳解, 此一方法為在k切一刀.

則在此𝐴_𝑖. . 𝐴_𝑗最佳解中, 𝐴_𝑖. . 𝐴_𝑘的相乘方法一定是𝐴_𝑖. . 𝐴_𝑘的最 佳相乘方法

 假設𝐴_𝑖. . 𝐴_𝑘不是最佳解, 則我們可以在𝐴_𝑖. . 𝐴_𝑗中把𝐴_𝑖. . 𝐴_𝑘換成 更好的方法, 則可以找到一個更好的𝐴_𝑖. . 𝐴_𝑗的相乘方法矛盾.

 子問題的最佳解可以導出大問題的最佳解!

 最後結論: 分成兩個子問題, 並嘗試所有可以切分的地方(k值)

𝐴_𝑖𝐴_𝑖+1… 𝐴_𝑘 𝐴_𝑘+1𝐴_𝑘+2… 𝐴_𝑗 𝑖 ≤ 𝑗

𝑖 ≤ 𝑘 < 𝑗 在k切一刀

使用遞迴來定義最佳解的花費

 遞迴定義:使用子問題最佳解的cost來定義大問 題最佳解的cost

 定義: 𝑚[𝑖, 𝑗]為𝐴_𝑖. . 𝐴_𝑗所需花的最少乘法數

 𝐴_𝑖..𝑘𝐴_𝑘+1..𝑗所花乘法數=𝑝_𝑖−1𝑝_𝑘𝑝_𝑗

𝐴_𝑖..𝑘 𝐴_𝑘+1..𝑗

𝐴_𝑖.rows=𝑝_𝑖−1

𝐴_𝑘.cols=𝑝_𝑘

𝐴_𝑘+1.rows=𝑝_𝑘

𝐴_𝑗.cols=𝑝_𝑗

使用遞迴來定義最佳解的花費

 𝑚 𝑖, 𝑗 = 𝑚 𝑖, 𝑘 + 𝑚 𝑘 + 1, 𝑗 + 𝑝_𝑖−1𝑝_𝑘𝑝_𝑗

 但是我們不知道最佳解中的k的值

 因此我們必須找所有𝑘 = 𝑖, 𝑖 + 1, … , 𝑗 − 1

 最後版本:

𝑚 𝑖, 𝑗 = 0

𝑖≤𝑘<𝑗min {𝑚 𝑖, 𝑘 + 𝑚 𝑘 + 1, 𝑗 + 𝑝_𝑖−1𝑝_𝑘𝑝_𝑗}

if 𝑖 = 𝑗, if 𝑖 < 𝑗.

計算最佳解的花費

 純recursive解法: exponential time

 使用前面教的Bottom-up填表方法: 每個不同的 subprogram僅需解1次

 有幾個不同的問題?

 1 ≤ 𝑖 ≤ 𝑗 ≤ 𝑛, 幾個i和j的組合?

 答案: 𝑛

2 + n = Θ 𝑛²

𝑖 ≠ 𝑗 𝑖 = 𝑗

計算最佳解的花費

 如何決定填表的順序呢? (這次有i,j兩個變數)

𝑚 𝑖, 𝑗 = 0

𝑖≤𝑘<𝑗min{𝑚 𝑖, 𝑘 + 𝑚 𝑘 + 1, 𝑗 + 𝑝_𝑖−1𝑝_𝑘𝑝_𝑗}

if 𝑖 = 𝑗, if 𝑖 < 𝑗.

𝑘 − 𝑖 + 1個矩陣相乘 𝑗 − 𝑘個矩陣相乘

都小於𝑗 − 𝑖 + 1個

我們可以把j-i+1(也就是要相乘的matrix個數) 當作problem size的定義

計算最佳解的花費

n=p.length-1

let m[1..n,1..n] and s[1..n-1,2..n] be new tables

for i=1 to n m[i,i]=0 for l=2 to n

for i=1 to n-l+1 j=i+l-1

m[i,j]=∞

for k=i to j-1

q=m[i,k]+m[k+1,j]+p_i−1𝑝_𝑘𝑝_𝑗 if q<m[i,j]

m[i,j]=q s[i,j]=k return m and s

大problem的解只會用到小problem的解.因此慢慢往上長.

邊界條件先設好.

把同樣problem size的所有i,j組合都依序做過

使用遞迴式找出最佳切點k

Θ(𝑛³)

計算最佳解的花費

 用一個例子來trace code比較快

Matrix

Dimension 30 x 35 35 x 15 15 x 5 5 x 10 10 x 20 20 x 25

使用已經計算的資訊來構築最佳 解

 前面只印出了花費, 不是真正的解

 怎麼乘才是最後的解

 使用s陣列的資訊

使用已經計算的資訊來構築最佳 解

Print-Optimal-Parens(s,i,j) if i==j

print 𝐴_𝑖 else

print “(“

Print-Optimal-Parens(s,i,s[i,j]) Print-Optimal-Parens(s,s[i,j]+1,j)

print “)”

使用已經計算的資訊來構築最佳 解

 所以該怎麼括?

看了兩個例子以後…

 問: 一個問題要有什麼要件才能使用dynamic programming?

 答:

1. Optimal substructure

2. Overlapping Subproblems

什麼是Optimal substructure?

 Definition: A problem exhibits optimal substructure if an

optimal solution to the problem contains within it optimal

solutions to subproblems.

 怎麼尋找optimal substructure呢?

怎麼尋找optimal substructure呢?

1. 要得到問題的解答有許多選擇(砍在哪邊, 切在哪 邊), 而做這個選擇之後, 我們有一些subproblem要 解決.

2. 我們假設對於一個問題, 我們可以找到那個選擇

3. 知道這個選擇以後, 我們找出哪個subproblem可以 被拿來應用, 及剩下的問題(沒有對應到subproblem 的)怎麼解決

4. 證明大問題的最佳解中可以直接應用(剪下貼上)子 問題的最佳解.

Optimal substructure越簡單越好

𝑟_𝑖=? 𝑟_𝑛−𝑖=?

𝑝_𝑖 𝑟_𝑖=?

這一段砍下來就不再砍

成更小的了(拿去賣) 這一段是subproblem, 找遞迴朋友去解 versus

Optimal substructure越簡單越好

𝐴₁𝐴_𝑖+1… 𝐴_𝑘 𝐴_𝑘+1𝐴_𝑘+2 … 𝐴_𝑗 1 ≤ 𝑗

1 ≤ 𝑘 < 𝑗

在k切一刀 假設把問題定義成𝐴₁ … 𝐴_𝑗就好 (少一個變數)

此為一個子問題 此不為一個子問題!

除非k一直都是j-1, 否則…

Optimal substructure的變化

1. 原始問題的最佳解用了多少個子問題

2. 大問題有多少選擇(選擇用不同的子問題們來 獲得最佳解)

大略來說, 以上兩者決定dynamic programming algorithm的執行時間.

(之前說的Subproblem graphs是另外一種算法)

多少個子問題 有多少選擇 執行時間

鐵條資源回收 Θ(𝑛) n 𝑂 𝑛²

連串矩陣相乘 Θ(𝑛²) n-1 𝑂 𝑛³

複習: Overlapping Subproblems

 舉個例子: 連串矩陣問題的遞迴樹

1..3

1..1 2..3 1..2 3..3

2..2 3..3 1..1 2..2

橘色的是overlap的部分!

例子: 有沒有optimal substructure

 給一個graph 𝐺 = 𝑉, 𝐸 . 𝑢, 𝑣 ∈ 𝑉. Edge沒有weight.

 問題1:找出𝑢 → 𝑣沒有loop最短路徑.

 問題2:找出𝑢 → 𝑣沒有loop最長路徑.

 問題1有沒有optimal substructure?

 假設找到𝑢到𝑣的最短路徑p, 則我們可以將其分解為 𝑢 →^𝑝1 𝑤 →^𝑝2 𝑣 (𝑤可以是𝑢或𝑣). 則其中𝑝₁一定是𝑢到𝑤的最 短路徑.

 不然的話, 我們可以找到一個𝑝₁′比𝑝₁還短的𝑢到𝑤路徑, 那麼𝑝₁′和𝑝₂組合起來就變成一條比p更短的𝑢到𝑣路徑 (矛盾)

例子: 有沒有optimal substructure

 問題2有沒有optimal substructure?

 沒有! 來舉一個反例.

 𝑞到𝑡的最長路徑: 𝑞 → 𝑟 → 𝑡

 但是𝑞到𝑟的最長路徑為𝑞 → 𝑠 → 𝑡 → 𝑟

 並不是𝑞到𝑡的最長路徑中間的一部分!

 𝑟到𝑡的最長路徑為𝑟 → 𝑞 → 𝑠 → 𝑡

 也不是q到𝑡的最長路徑中間的一部分!

q r

s t

例子: 有沒有optimal substructure

 為什麼問題1和問題2相差這麼多?

 問題2缺乏”獨立性”(subproblem的解互相之間不會影響)

 𝑢 →^𝑝1 𝑤 →^𝑝2 𝑣出現在𝑝₁的vertex就不能出現在𝑝₂ (否則就會有 loop了) subproblem的解互相影響!

 問題1有”獨立性”

 在最短路徑𝑢 →^𝑝1 𝑤 →^𝑝2 𝑣中, 出現在𝑝₁的vertex本來就不可能出 現在𝑝₂

 假設𝑝₁, 𝑝₂中除了w以外出現了一個一樣的vertex x. 則可以將 最短路徑拆解成𝑢 ^𝑝𝑢𝑥 𝑥 ^𝑝𝑥𝑤 𝑤 ^𝑝𝑤𝑥 𝑥 ^𝑝𝑥𝑣 𝑣.

 因為x和w不同, 所以|𝑝_𝑥𝑤 ≥ 1, |𝑝_𝑤𝑥 ≥ 1. 則𝑝_𝑢𝑥和𝑝_𝑥𝑣變成比 原本更短的u到v的路徑 (矛盾)

DNA比對問題

 DNA序列可表示為以{A,C,G,T}組合而成的 一字串

 𝑆₁

= 𝐴𝐶𝐶𝐺𝐺𝑇𝐶𝐺𝐴𝐺𝑇𝐺𝐶𝐺𝐶𝐺𝐺𝐴𝐴𝐺𝐶𝐶𝐺𝐺𝐶𝐶𝐺𝐴𝐴 𝑆₂

= 𝐺𝑇𝐶𝐺𝑇𝑇𝐶𝐺𝐺𝐴𝐴𝑇𝐺𝐶𝐶𝐺𝑇𝑇𝐺𝐶𝑇𝐶𝑇𝐺𝑇𝐴𝐴𝐴

 比較兩者有多相像??

 親屬關係?

你是我爸?!

DNA比對問題

 多相像找出兩者中都出現的最長子序列看最長子序 列有多長, 越長越相像

 子序列:

 順序相同

 但不一定要連續.

 簡單的例子:

 X=ABCBDAB, Y=BDCABA

 子序列之一: BCA

 最長共同子序列: BCBA

 𝑆₁ = 𝐴𝐶𝐶𝐺𝐺𝑇𝐶𝐺𝐴𝐺𝑇𝐺𝐶𝐺𝐶𝐺𝐺𝐴𝐴𝐺𝐶𝐶𝐺𝐺𝐶𝐶𝐺𝐴𝐴

 𝑆₂ = 𝐺𝑇𝐶𝐺𝑇𝑇𝐶𝐺𝐺𝐴𝐴𝑇𝐺𝐶𝐶𝐺𝑇𝑇𝐺𝐶𝑇𝐶𝑇𝐺𝑇𝐴𝐴𝐴

 最長共同子序列=? _{答案在課本p.391}

DNA比對問題最長共同子序列

 問題: 給兩字串𝑋 = 𝑥₁, 𝑥₂, … , 𝑥_𝑚 , 𝑌 = 𝑦₁, 𝑦₂, … , 𝑦_𝑛 , 找出最長共同子序列.

 最長共同子序列=Longest Common Subsequence=LCS

 問: 暴力法有多暴力?

暴力法有多暴力?

 找出所有X之子序列, 與Y比較檢驗看看是不是Y 的子序列.

 X有幾個子序列?

 2^𝑚個

 Running time: Ω(2^𝑚)

Dynamic Programming出招

 先來個小定義, 對𝑋 = 𝑥₁, 𝑥₂, … , 𝑥_𝑚 , 𝑋_𝑖 = 𝑥₁, 𝑥₂, … , 𝑥_𝑖 , 0 ≤ 𝑖 ≤ 𝑚

 先證明以下三個小定理. 給定兩字串𝑋 =

𝑥₁, 𝑥₂, … , 𝑥_𝑚 , 𝑌 = 𝑦₁, 𝑦₂, … , 𝑦_𝑛 , 及𝑍 = 𝑧₁, 𝑧₂, … , 𝑧_𝑘 為X 和Y的LCS(之一)

1. If 𝑥_𝑚 = 𝑦_𝑚, then 𝑧_𝑘 = 𝑥_𝑚 = 𝑦_𝑛 and 𝑍_𝑘−1 是𝑋_𝑚−1及𝑌_𝑛−1 的LCS之一

2. If 𝑥_𝑚 ≠ 𝑦_𝑛, then 𝑧_𝑘 ≠ 𝑥_𝑚表示𝑍是𝑋_𝑚−1及𝑌_𝑛的LCS之一

3. If 𝑥_𝑚 ≠ 𝑦_𝑛, then 𝑧_𝑘 ≠ 𝑦_𝑛表示𝑍是𝑋_𝑚及𝑌_𝑛−1的LCS之一

1. 找出Optimal Substructure

1. If 𝑥_𝑚 = 𝑦_𝑛, then (1) 𝑧_𝑘 = 𝑥_𝑚 = 𝑦_𝑛 and (2) 𝑍_𝑘−1 是 𝑋_𝑚−1及𝑌_𝑛−1的LCS之一

(1) Z最後一個字元一定是𝑥_𝑚(= 𝑦_𝑛), 否則可以把 𝑥_𝑚加到Z的最後面成為比LCS更長的CS (矛盾)

(2)𝑍_𝑘−1一定是𝑋_𝑚−1和𝑌_𝑛−1的LCS. 假設不是, 則 可以找到一個長度>k-1的LCS, 但是加上𝑥_𝑚 = 𝑦_𝑛這一個 字元, 表示可以找到一個𝑋_𝑚和𝑌_𝑛的LCS長度>k (矛盾)

𝑋_𝑚−1 𝑌_𝑛−1

𝑥_𝑚

𝑦_𝑛

𝑍_𝑘−1 𝑍_𝑘

2. If 𝑥_𝑚 ≠ 𝑦_𝑛, then 𝑧_𝑘 ≠ 𝑥_𝑚表示𝑍是𝑋_𝑚−1及𝑌_𝑛的LCS之 一

假設Z不是𝑋_𝑚−1和𝑌_𝑛的LCS, 則有W為𝑋_𝑚−1和𝑌_𝑛 的LCS, 長度>k, 則W亦為𝑋_𝑚和𝑌_𝑛的LCS, 長度>k (矛盾)

3. If 𝑥_𝑚 ≠ 𝑦_𝑛, then 𝑧_𝑘 ≠ 𝑦_𝑛表示𝑍是𝑋_𝑚及𝑌_𝑛−1的LCS之 一

證明類似上面2.的證明.

𝑋_𝑚−1 𝑌_𝑛

𝑥_𝑚

𝑍_𝑘−1 𝑍_𝑘

Optimal Substructure

 給定兩字串𝑋 = 𝑥₁, 𝑥₂, … , 𝑥_𝑚 , 𝑌 = 𝑦₁, 𝑦₂, … , 𝑦_𝑛 , 及𝑍 = 𝑧₁, 𝑧₂, … , 𝑧_𝑚 為X和Y的LCS(之一)

1. If 𝑥_𝑚 = 𝑦_𝑚, then 𝑧_𝑘 = 𝑥_𝑚 = 𝑦_𝑛 and 𝑍_𝑘−1 是𝑋_𝑚−1及𝑌_𝑛−1的LCS之一

2. If 𝑥_𝑚 ≠ 𝑦_𝑛, then 𝑧_𝑘 ≠ 𝑥_𝑚表示𝑍是𝑋_𝑚−1及𝑌_𝑛的LCS之一

3. If 𝑥_𝑚 ≠ 𝑦_𝑛, then 𝑧_𝑘 ≠ 𝑦_𝑛表示𝑍是𝑋_𝑚及𝑌_𝑛−1的LCS之一

大問題的解裡面有小問題的解!

Overlapping subproblem

 給定兩字串𝑋 = 𝑥₁, 𝑥₂, … , 𝑥_𝑚 , 𝑌 = 𝑦₁, 𝑦₂, … , 𝑦_𝑛 , 及𝑍 = 𝑧₁, 𝑧₂, … , 𝑧_𝑚 為X和Y的LCS(之一)

1. If 𝑥_𝑚 = 𝑦_𝑛, then 𝑧_𝑘 = 𝑥_𝑚 = 𝑦_𝑛 and 𝑍_𝑘−1 是𝑋_𝑚−1及𝑌_𝑛−1的LCS之一

2. If 𝑥_𝑚 ≠ 𝑦_𝑛, then 𝑧_𝑘 ≠ 𝑥_𝑚表示𝑍是𝑋_𝑚−1及𝑌_𝑛的LCS之一

3. If 𝑥_𝑚 ≠ 𝑦_𝑛, then 𝑧_𝑘 ≠ 𝑦_𝑛表示𝑍是𝑋_𝑚及𝑌_𝑛−1的LCS之一

𝑋_𝑚和𝑌_𝑛的𝐿𝐶𝑆 𝑋_𝑚−1和𝑌_𝑛的𝐿𝐶𝑆

𝑋_𝑚和𝑌_𝑛−1的𝐿𝐶𝑆 𝑋_𝑚−1和𝑌_𝑛−1的𝐿𝐶𝑆 不同問題需要同樣子問題的解!

Dynamic Programming出招

 𝑐 𝑖, 𝑗 =

0

𝑐 𝑖 − 1, 𝑗 − 1 + 1

max(𝑐 𝑖, 𝑗 − 1 , 𝑐 𝑖 − 1, 𝑗 )

2. 列出遞迴式子 (表示花費)

if i=0 or j=0

if 𝑖, 𝑗 > 0 and 𝑥_𝑖 = 𝑦_𝑗 if 𝑖, 𝑗 > 0 and 𝑥_𝑖 ≠ 𝑦_𝑗

𝑋_𝑖 and Y_j 𝐿𝐶𝑆的長度 兩種選擇

條件不同, 使用的subproblem不同

Dynamic Programming出招

 使用dynamic programming填表

 共有多少個entry? Θ(𝑚𝑛)

3. 計算花費

0 1 2 3

0 1 2 3 i j

每一格只用到左、

左上、上三格的資訊

使用bottom-up方法 兩層迴圈依序填入即可

0 1 2 3 4 5 6

0 0 0 0 0 0 0 0

1 0 0 0 0 1 1 1

2 0 1 1 1 1 2 2

3 0 1 1 2 2 2 2

4 0 1 1 2 2 3 3

5 0 1 2 2 2 3 3

6 0 1 2 2 3 3 4

7 0 1 2 2 3 4 4

例題

0 1 2 3 4 5 6

0 1 2 3 4 5 6 7

B D C A B A

A B C B D A B

LCS_Length(X,Y) m=X.length

n=Y.length

let b[1..m,1..n] and c[0..m,0..n] be new tables for i=1 to m

c[i,0]=0 for j=0 to n

c[0,j]=0 for i=1 to m

for j=1 to n

if 𝑥_𝑖 == 𝑦_𝑗

c[i,j]=c[i-1,j-1]+1 b[i,j]=左上

elseif c[i-1,j]≥c[i,j-1]

c[i,j]=c[i-1,j]

b[i,j]=上 else

c[i,j]=c[i,j-1]

b[i,j]=左 return c and b

邊界起始值

填表: 兩層迴圈

c紀錄LCS長度, b紀錄選擇結果

Θ(𝑚𝑛)

Dynamic Programming出招

Print_LCS(b,X,i,j) if i==0 or j==0

return if b[i,j]==左上

Print_LCS(b,X,i-1,j-1) print 𝑥_𝑖

elseif b[i,j]==上

Print_LCS(b,X,i-1,j) else

Print_LCS(b,X,i,j-1) 4. 印出LCS結果

O(𝑚 + 𝑛)