Searching the Performance Surface

4.4 Searching the Performance Surface

杉杮 杯杲杤来杲 杴杯 朜杮杤 杴杨来 杯杰杴杩杭条杬 杰条杲条杭来杴来杲 杶来杣杴杯杲本 杤杩杲来杣杴杬杹 杳杯杬杶杩杮杧 杴杨来 杗杩来杮来杲札杈杯杰杦 来東杵条杴杩杯杮

杰杯杩杮杴朮

朳朮 杕杰杤条杴来 杴杨来 杰条杲条杭来杴来杲杳 杢杹 杴条杫杩杮杧 条 杳杴来杰 杩杮 杴杨来 杯杰杰杯杳杩杴来 杤杩杲来杣杴杩杯杮 杯杦 杴杨来 杧杲条杤杩来杮杴 杶来杣杴杯杲 杯杢杴条杩杮来杤 杩杮 杳杴来杰 朲朮

朴朮 杒来杰来条杴 杳杴来杰 朲 条杮杤 朳 杵杮杴杩杬 杮杯 杦杵杲杴杨来杲 杳杩杧杮杩朜杣条杮杴 杣杨条杮杧来 杩杳 杯杢杳来杲杶来杤 杩杮 杴杨来 杰条杲条杭札 来杴来杲杳朮

杔杨来 杳杴来来杰来杳杴 杤来杳杣来杮杴 杭来杴杨杯杤 杩杳 来杸杰杲来杳杳来杤 杢杹 木朴朮朱朳朩 杩杮 杷杨杩杣杨 µ 杲来杰杲来杳来杮杴杳 杴杨来 杳杴来杰 杳杩杺来 条杮杤 p(k) 杤来杮杯杴来杳 杴杨来 杰条杲条杭来杴来杲 杶来杣杴杯杲 条杴 杴杨来 k札杴杨 杩杴来杲条杴杩杯杮朮

p(k + 1) = p(k) − µ∇ξ 木朴朮朱朳朩

杁杮 来杸条杭杰杬来 杯杦 杧杲条杤杩来杮杴 杳来条杲杣杨 杯杦 杵杮杩杶条杲杩条杢杬来 杰来杲杦杯杲杭条杮杣来 杳杵杲杦条杣来 杩杳 杩杬杬杵杳杴杲条杴来杤 杩杮 杆杩杧朮

initial guess

p_opt

MSE

. . . optimal setting

parameter p(0)

p(1)

杆杩杧杵杲来 朴朮朶机 杇杲条杤杩来杮杴 杳来条杲杣杨 杯杦 杵杮杩杶条杲杩条杢杬来 杰来杲杦杯杲杭条杮杣来 杳杵杲杦条杣来朮

朴朮朶朮 杁杣杴杵条杬杬杹本 杆杩杧朮 朴朮朶 杣条杮 杢来 杲来杧条杲杤来杤 条杳 杯杮来 杯杦 杴杨来 杰条杲条杢杯杬条 杩杮 杆杩杧朮 朴朮朵 杴杨条杴 杧杯 杴杨杲杯杵杧杨 杴杨来 杢杯杴杴杯杭 杯杦 杴杨来 杢杯杷杬朮 杔杨杩杳 杩杳 条 杨来杬杰杦杵杬 来杸条杭杰杬来 杴杯 杵杮杤来杲杳杴条杮杤 杴杨来 杳杴来来杰来杳杴 杤来杳杣来杮杴 条杬杧杯杲杩杴杨杭 杤来杳杣杲杩杢来杤 杢杹 木朴朮朱朳朩朮 杌来杴朧杳 杳杴条杲杴 杷杩杴杨 杴杨来 杩杮杩杴杩条杬 杧杵来杳杳 杯杦 杴杨来 杰杯杩杮杴 p(0) 杯杮 杴杨来 朜杧杵杲来本 杴杨来 杧杲条杤杩来杮杴 条杴 杴杨杩杳 杰杯杩杮杴 杩杳 条 杰杯杳杩杴杩杶来 杶条杬杵来 杴杯杷条杲杤 杴杨来 杤杩杲来杣杴杩杯杮 杯杦 杴杨来 杯杰杴杩杭条杬 杰条杲条杭来杴来杲朮 杁杳 条 杲来杳杵杬杴本 杴杨来 杮来杸杴 杵杰杤条杴来 杯杦 杴杨来 杰条杲条杭来杴来杲 杷杩杬杬 杢来 杭杯杲来 杣杬杯杳来 杴杯 杴杨来 杯杰杴杩杭杵杭朮 杒来杰来条杴 杴杨来 杰杲杯杣来杤杵杲来本 朜杮条杬杬杹 杴杨来 杵杰杤条杴来杤 杰条杲条杭来杴来杲 杲来条杣杨来杳 杴杨来 杢杯杴杴杯杭 杯杦 杴杨来 杰条杲条杢杯杬条 条杮杤 杴杨来 杧杲条杤杩来杮杴 杢来杣杯杭来杳 杺来杲杯朮 杉杴 杭来条杮杳 杴杨来 杰条杲条杭来杴来杲 杣条杮 杢来 杳来杴 杴杯 杴杨来 杯杰杴杩杭条杬 杶条杬杵来 条杦杴来杲 杳来杶来杲条杬 杩杴来杲条杴杩杯杮杳朮

朳朵

杆杲杯杭 木朴朮朱朰朩 条杮杤 木朴朮朱朲朩本 来東杵条杴杩杯杮 木朴朮朱朳朩 杣条杮 杢来 杦杵杲杴杨来杲 来杸杰杲来杳杳来杤 条杳

p(k + 1) = p(k) − 2µCp(k) + 2µCp_opt

⇒ p(k + 1) − p_opt = p(k) − 2µCp(k) + 2µCp_opt− p_opt

⇒ p(k + 1) − p_opt = (I − 2µC)(p(k) − p_opt), 木朴朮朱朴朩

杷杨来杲来 I 杩杳 条杮 杩杤来杮杴杩杴杹 杭条杴杲杩杸 木杵杮杩杴 杭条杴杲杩杸朩朮 李杯杷本 杬来杴朧杳 杤来朜杮来 杴杨来 杰条杲条杭来杴来杲札来杲杲杯杲 杶来杣杴杯杲 杢杹 v(k) ≡ p(k) − p_opt朮 杅東杵条杴杩杯杮 木朴朮朱朴朩 杣条杮 杢来 杲来杷杲杩杴杴来杮 条杳

v(k + 1) = (I − 2µC)v(k). 木朴朮朱朵朩

杓杩杮杣来 C 杩杳 条 杳杹杭杭来杴杲杩杣 杭条杴杲杩杸本 杩杴 杩杳 杯杲杴杨杯杧杯杮条杬杬杹 杤杩条杧杯杮条杬杩杺条杢杬来

C = QΛQ^T, 木朴朮朱朶朩

杷杨来杲来 Λ 杩杳 条 杤杩条杧杯杮条杬 杭条杴杲杩杸 杣杯杮杳杩杳杴杩杮杧 杯杦 杴杨来 来杩杧来杮杶条杬杵来杳 λ₀, λ₁, . . . , λ_{N −1} 杯杦 C本 条杮杤 杴杨来 杣杯杬杵杭杮杳 杯杦 Q 杣杯杮杴条杩杮 杴杨来 杣杯杲杲来杳杰杯杮杤杩杮杧 杯杲杴杨杯杮杯杲杭条杬 来杩杧来杮杶来杣杴杯杲杳朮 权杯杭杢杩杮杧 木朴朮朱朵朩 条杮杤 木朴朮朱朶朩 杧杩杶来杳

v(k + 1) = (QQ^T − 2µQΛQ^T)v(k), 木朴朮朱朷朩 杷杨来杲来 I = QQ^T朮 杄来朜杮来 v⁰(k) ≡ Q^Tv(k) 杷杨杩杣杨 杴杲条杮杳杦杯杲杭杳 v(k) 杴杯 v⁰(k)朮 杍杵杬杴杩杰杬杹杩杮杧 Q^T 杯杮 杢杯杴杨 杳杩杤来杳 杯杦 木朴朮朱朷朩本 杷来 杨条杶来

v⁰(k) = (I − 2µΛ)v⁰(k). 木朴朮朱朸朩

4.4.1 Stability and Convergence

杅東杵条杴杩杯杮 木朴朮朱朸朩 杣条杮 杢来 杳来杰条杲条杴来杤 杩杮杴杯 杳杣条杬条杲 杲来杣杵杲杳杩杶来杬杹本

v_i⁰(k + 1) = (1 − 2µλ_i)v_i⁰(k), 杦杯杲 i = 0, 1, · · · , N − 1. 木朴朮朱朹朩

朳朶

杓杴条杲杴杩杮杧 杷杩杴杨 条 杳来杴 杯杦 杩杮杩杴杩条杬 杶条杬杵来杳 v₀⁰(0), v⁰₁(0), · · · , v_{N −1}⁰ (0) 条杮杤 杩杴来杲条杴杩杮杧 木朴朮朱朹朩 k 杴杩杭来杳本

p

iteration

overdamped

underdamped critically damped

p(0)

parameter

杆杩杧杵杲来 朴朮朷机 材条杲条杭来杴来杲 条杤杪杵杳杴杭来杮杴 杦杯杲 杤杩望来杲来杮杴 杶条杬杵来杳 杯杦 µ朮

4.4.2 Time Constant

杒来杣条杬杬 木朴朮朲朰朩本 杴杨来 杴杩杭来 杣杯杮杳杴条杮杴 杯杦 杴杨来 杍杓杅 杣杯杮杶来杲杧来杮杣来 杩杳 杤来朜杮来杤 条杳 朐 the time (it-erations) at which the initial condition of vector v has decayed to a value of 1/e times initial value.朑

v(0)e⁻¹ = v(0)(1 − 2µλ)^τ

⇒ −1 = τ ln(1 − 2µλ). 木朴朮朲朴朩

杓杩杮杣来 2µλ  1本 ln(1 − 2µλ) ∼= −2µλ朮 杔杨杵杳本 杴杨来 杴杩杭来 杣杯杮杳杴条杮杴 杣条杮 杢来 来杸杰杲来杳杳来杤 条杳

τ ∼= 1

2µλ. 木朴朮朲朵朩