行政院國家科學委員會補助專題研究計畫成果報告
使用遞迴式模糊類神經網路於非線性動態系統之辨識與控制
Identification and Contr ol of Nonlinear Dynamic Systsems Using
Recur r ent Fuzzy Neur al Networ ks
計畫類別：■個別型計畫
□整合型計畫
計畫編號：NSC89－2213－E009－219－
執行期間：89 年 8 月 01 日至 90 年 7 月 31 日
計畫主持人：鄧清政 教授
本成果報告包括以下應繳交之附件：
□赴國外出差或研習心得報告一份
□赴大陸地區出差或研習心得報告一份
□出席國際學術會議心得報告及發表之論文各一份
□國際合作研究計畫國外研究報告書一份
執行單位：國立交通大學電機與控制工程學系
中
華
民
國
90 年 10 月 15 日
使用遞迴式模糊類神經網路於非線性動態系統之辨識與控制
Identification and Contr ol of Nonlinear Dynamic Systsems Using
Recur r ent Fuzzy Neur al Networ ks
計畫編號：NSC 89-2213-E-009-219
執行期限：89 年 8 月 1 日至 90 年 7 月 31 日
主持人：鄧清政 國立交通大學電機與控制工程學系
E-mail: ccteng@cn.nctu.edu.tw
計畫參與人員：李慶鴻 元智大學電機工程學系
E-mail: chlee@saturn.yzu.edu.tw
一、中文摘要 本計畫提出一遞迴式的模糊類神經網 路 (Recurrent Fuzzy Neural Network, RFNN)，來解決非線性動態系統的辨識與 控制問題。計畫所提出之 RFNN 是一個實 現模糊推論的多層連結的網路，在網路中 隱藏有迴授神經元，此乃針對過去所使用 的模糊類神經網路（Fuzzy Neural Network, FNN）做局部修正，如此簡化網路的結構。 本計畫中探討 RFNN 所具有的優點、特性 與應用；在其特性上，我們延續了過去探 討 FNN 特性來分析 RFNN，其中包含模糊 推論系統(fuzzy inference system)、廣泛近 似器(universal approximation)與高精確度 近似能力(high accuracy mapping ability)。除 此之外，亦探討 RFNN 的動態近似能力 (dynamic mapping)。如此，我們發現 RFNN 可以包含 FNN（FNN 為 RFNN 之一特例）， 且 RFNN 額外具有動態記憶能力。最後， 在應用方面上，我們建構非線性動態系統 辨識機構來辨識非線性系統，接著適應性 控制機制也會提出以解決非線性系統控制 的問題。在過去的文獻中，大都使用靜態 (static)的神經網路來解決此一問題，本計畫 提出的方法可簡化類神經網路的結構。 關鍵詞：模糊類神經網路、非線性動態系 統辨識、適應性控制 Abstr actThis project has proposed a recurrent fuzzy neural network (RFNN) for identifying and controlling nonlinear dynamic system. The RFNN is inherently a recurrent multi-layered connectionist network for realizing the fuzzy inference and constructing the dynamic fuzzy rules. The temporal
relations embedded in the network are developed by adding feedback connections in the 2nd layer of the fuzzy neural network (FNN). This modification results a smaller network structure in applications. The RFNN expands the basic ability of the FNN to cope with temporal problems. In addition, results for the FNN-fuzzy inference engine, universal approximation, and convergence analysis are extended to the RFNN. For the control problem, we also presented the direct and indirect adaptive control approaches using the RFNN. Based on the Lyapunov stability approach, rigorous proofs were presented to guarantee the convergence of the RFNN by choosing appropriate learning rates.
Keywor ds: Fuzzy neural network, Nonlinear system identification, Control 二、緣由與目的
近 年 來 整 合 模 糊 推 論 系 統 (Fuzzy inference system) 與 人 工 類 神 經 網 路 (Artificial neural network)在工程問題上的 應用引起了廣泛的注意，例如林進燈與李 春盛教授利用一個以類神經網路為基礎的 模糊邏輯系統，將之應用在控制與判定系 統上[1]，在個人過去的研究中[2,3]，又將 之做修改而得到一個簡易的四階層的模糊 類神經網路(4-layer fuzzy neural network, FNN)，雖然簡易卻可成功地建立一模型參 考 控 制 架 構 (model reference control structure)。另外又利用 FNN 的高度近似能 力來求得以增益餘量與相位餘量為規格之 PID 控制器參數[5,6]、Hammerstein 連結系 統的辨識與控制[9]。在信號源方位估計方 面，我們也利用所提出的 FNN 來作信號源
的定位與追蹤 [7,8]。因此 FNN 的能力式 備受肯定的。但是 FNN 卻有一個主要的限 制：只能應用在靜態映射問題，主要因為 FNN 為一靜態網路。因此，本計畫提出一 動態網路來解決動態映射之問題。 針對系統辨識與控制問題，在過去的 文 獻 與 計 畫 中 均 採 用 靜 態 網 路 (Neural Network, NN; FNN) [2,10,11]，而這些網路 也被證明具有近似任何函數的能力（即廣 泛近似：universal approximation）；但是如 何使用一個靜態網路來近似動態系統，因 此使用串並聯架構來訓練網路，其中包含 時間延遲的狀態迴授；當系統狀態變數過 多時，使用網路架構將非常龐大。因此在 本計畫中，我們探討如何將現有的 FNN 做 修正以提出一動態網路 Recurrent Fuzzy Neural Network (RFNN)來解決上述問題。 建構 RFNN 後必須探討其特性，在過 去我們已經分析 FNN 的特性與應用，本計 畫中我們依循此道，探討 RFNN 除了動態 映射之外，是否還擁有 FNN 的特性：廣泛 近 似 能 力 （ universal approximation ability） 、 模 糊 推 論 系 統 (fuzzy inference system) 、 演 算 法 收 斂 定 理 (convergence theorem of algorithm)、高精確度映射能力 (high accuracy mapping ability)等。
對類神經網路，在應用上廣泛近似是 一個極為重要的特性。所謂廣泛近似能力 係指一個網路的近似能力；從狀態表示式 來看，類神經網路即是一個以激化函數 (activation function)為基底的非線性函數加 權組合，而廣泛近似即是探討在此架構 下，給定任一連續函數是否能找到一組參 數使得網路的輸入輸出函數與既定函數相 近。在 RFNN 中，其基底函數即是高斯 (Gaussian)函數，我們採用 Stone-Weierstrass 定理來探討 RFNN 的廣泛近似能力。 如上述，模糊類神經網路即是一個以 類神經網路為基礎的模糊邏輯系統，如此 模糊類神經網路可利用訓練以取得模糊推 論法則，來解決模糊邏輯控制法模糊法則 選擇不易的缺點的。因此本計畫分析 RFNN 是否仍有模糊推論系統之特性。 除 此 之 外 ， 訓 練 演 算 法 亦 是 主 要 目 的 ， 本 計 畫 使 用 李 亞 譜 諾 夫 穩 定 定 理 (Lyapunov Stability Theorem)來驗證網路參
數 的 收 斂 性 ， 以 便 取 得 最 佳 的 學 習 率 （learning rate）與收斂速度。 在分析特性後，計畫依序建構 RFNN 應 用在非線性動態系統的辨識、控制等機 制。在適應控制機制上使用兩個 RFNN， 其中一個是辨識器(identifier)，另一為控制 器(controller)。首先，RFNN 辨識器利用輸 入訊號與輸出狀態單一迴授來產生相對的 輸出以辨識系統。而 RFNN 控制器使用系 統輸出與欲追蹤軌跡之誤差為輸入，產生 相對控制訊號以驅動系統達到追蹤或穩定 之目的。整體而言，本計畫的目的為探討 如何利用遞迴式模糊類神經網路 RFNN 來 實現非線性系統的辨識，與解決非線性系 統的追蹤控制問題。 三、研究方法及進行步驟： 首先我們先介紹遞迴式模糊類神經網 路(recurrent fuzzy neural network, RFNN)， 如圖示（圖一）。如圖示 RFNN 為一四層 網路（從 FNN 網路做局部修正而來），以 下簡單介紹 RFNN 的各層網路運算（其中 以 k i u 表在第 k 層的第 i 個神經元輸入；Oik 表在第 k 層的第 i 個神經元輸出）。 第一層：輸入層(input layer ) 其輸出與輸入關係表示為 Oi1 =u1i 也就是說，第一層是將輸入不變並分送至 第二層的歸屬函數層(membership function layer)。
第二層：歸屬函數層(member ship function layer ) 其輸出與輸入關係表示為 − − = 2 2 2 2 ) ( ) ( exp ij ij ij ij m u O σ 其中 2( ) 1( ) ( ) k O k O k u f ij i ij = + ， ij f ij f ij k O k O ( )= ( −1)⋅θ ； ij m 與σ 表高斯歸屬函數之均值(mean)與ij 變異數(variance)，θ 則是迴授迴路中的加ij 權值。由此很清楚可以見到在迴授迴路中 隱含著網路中過去的資訊，這便是 RFNN 與 FNN 的主要差異。在此，每一個神經元 有三個可調變數m 、ij σ 與ij θ 。ij 第三層：模糊法則層(r ule layer ) 其輸出與輸入關係表示為
[
] [
]
{
}
∏
= − − − = i i i u O D(u m ) D(u mi) 2 i i T i 2 i i exp 3 3 其 中 Di =diag[
1σ1i,1σ2i,L,1σni]
、[
u1i,u2i,L,uni]
= i u 與mi =[
m1i,m2i,L,mni]
。 第四層：輸出層(output layer ) 其輸出與輸入關係表示為 = =∑
m i ij ij j j O u w y 4 4 4 其中 4 3 i iO
u
=
， 4 ijw
為輸出加權值。 因此 RFNN 的輸入輸出關係表示為[
]
∑ ∏
= = + − ⋅ − − = = m j n i ij ij ij ij i mj m m m k O k x w k O k y 1 1 2 2 2 4 ) ( ) 1 ( ) ( exp ) ( ) ( σ θ 。 接著計畫中使用 Stone-Weierstrass 定 理來證明 RFNN 具有廣泛近似的能力。首 先我們簡單說明如下： [Stone-Weiestr ass 定理]令 A 為在緻 密集合(compact set) K 中的實數連續函數 集合，倘若 A 滿足以下條件，則 A 的邊界 (closure)為在緻密集合 K 中的實數連續函 數所建構。(i)A 是一個代數(algebra)，(ii)A separates points on K，(iii) A 在 K 中不為 零。 我們已知 FNN 可表示一模糊推論系 統，接著我們要探討 RFNN 是否仍為一模 糊推論系統。令x 表第 i 個輸入語言變數i (linguistic variable)，α 是第 j 條法則的激j 化強度(由前件部歸屬函數得到)，如果wj 表示後件部第 j 個連結加權值，則模糊推論 值為∑
j j j wα （即解模糊化）。而 RFNN 的 法則敘述如下： Rj: IF u1j is A1j, … , u is nj A , THEN nj j w y= 。 圖二表示 RFN 第 j 條法則的連結圖。 關於學習演算法，在本計畫採用逆傳遞 演算法(Back-Propagation Algorithm; BP)來 訓練 RFNN，以下簡述 BP 演算法： 令y(k)與r(k)分別表示 RFNN 輸出與既 定輸出(desired output)，則誤差函數定為[
]
2 ) ( ) ( 2 1 ) (k r k y k E = − 。 逆傳遞演算法更新網路變數的法則為 ) ) ( ( ) ( ) ( ) ( ) 1 ( W k E k W k W k W k W ∂ ∂ − + = ∆ + = + η 其中 W 表示 RFNN 中的可調變數 m、σ
、 θ 與 w；η 是學習率(learning rate)。 在變數的更新上必須注意到學習率的 選取，倘若選擇不慎將導致網路參數無法 收斂。因此在此利用李亞譜諾夫穩定定理 (Lyapunov stability theorem)來選取適當的 學習率以保證網路收斂。首先定義[
]
2 ) ( ) ( 2 1 ) (k r k y k V = − 根據定理，為了系統保證收斂，我們必須 求得條件使得以下不等式成立 ∆V(k)=V(k+1)−V(k)≤0。 詳細之穩定定理請查閱文獻[4]第五章。 四、計劃結果 本計畫應用 RFNN 建立系統辨識(system identification)機制，與適應性控制機制來解 決非線性系統辨識與控制的問題。其辨識 機制可利用串並聯訓練法，如圖示（圖 三），所建立相同的適應性控制機制見圖 四。礙於篇幅，以下就控制部分—適應控 制說明。考慮非線性系統為 ). ( 2 . 1 ))] 1 ( ) ( ( 5 . 0 cos[ ))] 1 ( ) ( ( 5 . 0 sin[ 4 . 0 ) 1 ( 2 . 0 ) ( 2 . 0 ) 1 ( 2 k u k y k y k y k y k y k y k y + − + ⋅ − + + − + = + 其中參考模型為 100 2 sin 2 . 0 ) ( 6 . 0 ) 1 (k y k k yr + = r + π . 圖五為使用適應性控制機制之模擬結果， 我們發現控制器能及時產生最佳訊號驅使 系統之輸出追蹤參考模型之輸出軌跡。由 此可驗證本計畫提出之理論、機制與之推 論，另外亦展現 RFNN 之成果。詳細內容 請查閱文獻[4]第五章。 五、參考文獻[1] C. T. Lin and C. S. G. Lee, “Neural-network-based Fuzzy Logic Control and Decision System,” IEEE Trans. on Computers, Vol. 40, No. 12, pp. 1320-1336, 1991.
[2] Y. C. Chen and C. C. Teng, “A Model Reference Control Structure Using a Fuzzy Neural Network,”
Fuzzy Sets and Systems, Vol. 73, pp. 291-312, 1995.
controllers based on gain and phase margin specifications using fuzzy neural network,” Fuzzy Sets and Systems, Vol. 101, pp. 21-30, 1999. [4] Ching-Hung Lee and Ching-Cheng Teng, Analysis
of Fuzzy neural Networks and Its Applications, Ph.D. Dissertation, National Chiao-Tung University, 2000.
[5] S. Y. Chu and C. C. Teng, “Tuning of PID controllers based on gain and phase margin specifications using fuzzy neural network,” Fuzzy Sets and Systems, Vol. 101, pp. 21-30, 1999. [6] C. H. Lee and C. C. Teng, “Tuning of PID
Controller for Stable and Unstable Processes with Specifications on Gain and Phase Margins,” International J ournal of F uzzy Systems, Vol. 3, No.1, pp.346-355, 2001.
[7] C. W. Ma and C. C. Teng, “A Fuzzy Neural Network Approach for 2-D Direction Finding in Multipath Environments,” IEE Proceeding Radar, Sonar and Navigation, 1999.
[8] C. W. Ma and C. C. Teng, “Tracking a Near-field Moving Target Using Fuzzy Neural Networks,”
Fuzzy Sets and Systems, 1998.
[9] C. H. Lee and C. C. Teng, “Identification and Control of Hammerstein Systems Using a Fuzzy Neural Network,” Journal of Signal Processing, Vol. 4, No. 2, pp. 149-157, 2000.
[10] K. Funahashi and Y. Nakamura, “Approximation of Dynamical Systems by Continuous-time Recurrent Neural Network,” Neural Networks, Vol. 6, pp. 801-806, 1993.
[11] K. S. Narendra and K. Parthasarathy, “Identification and Control of Dynamical System Using Neural Networks,” IEEE Trans. on Neural Networks, Vol. 1, No. 1, pp. 4-27, 1990.
圖一：RFNN 架構圖
圖二: RFNN 第j條法則的連結圖
圖三：使用 RFNN 之系統辨識機制
圖四：RFNN 之適應控制機制
