• 沒有找到結果。

地下水位預測之研究

3-1 前言

類神經網路(artificial neural network)為晚近崛起之控制理論,他是一 種模仿生物大腦與神經網路系統所建構出來之資訊處理系統,能夠對於外界 輸入之訊號有儲存、學習及回想等一系列動作。由於類神經網路只是針對人 腦作簡化之模擬,利用數學的方式建立模式,達到儲存、學習及回想之作用,

其行為與統計之方式相當類似,因此可將其視為一種特殊之統計模式。當一 個系統之機制複雜或是模式不易建置時,如何掌握此系統之轉換機制便相當 重要。而類神經網路的最大優點即是不需事先了解系統之轉換機制,只要經 過類神經元之學習訓練即可,且其脫離了依賴統計模型,具有理論簡明、結 構單純,並具有快速計算、學習能力及容錯能力等優點。因此,近年來,類 神經網路逐漸被應用於時間序列之預測上,多個應用例也皆已說明其為一種 實用之時間序列預測工具。理論上,類神經網路為一種能精確地模擬任一種 非線性方程之模擬器(Cybenko, 1989; Hornik et al. 1989; Hornik, 1991)。也因 為此優點使得類神經網路可以解決真實世界中許多非線性之問題(Granger, 1993)。此外,許多實驗亦證明類神經網路於非線性時間序列上之適用性及 優勢(Kuan and Liu, 1995; Saxen, 1996; Kohzadi et al., 1996; Zhang et al., 1998)。

關於類神經網路之架構及學習法則,至今已有許多模式及方法被提出。

其中,又以倒傳遞類神經網路(back-propagation neural network)最廣為被 熟 知 及 應 用 。 然 而 , 倒 傳 遞 類 神 經 網 路 於 訓 練 過 程 中 會 有 許 多 問 題 (Wasserman, 1993)。首先,它容易收斂到區域最小值。再者,它即使使用相 同之訓練資料,亦會產生出不同之結果。此外,網路學習速度緩慢以及隱藏 層結構不易訂定也是其主要缺點。輻狀基底函數網路(radial basis function network; 簡稱 RBFN)因為具有網路建構容易、學習速度快速及對外在環境 具有快速之適應性等優點,目前此方法已經被廣泛應用於影像處理、語音辨 識、圖形分類以及通訊系統傳輸等各種領域上,均有相當不錯之成果。而水 文上之時間序列可視為一極複雜之非線系系統,因此本研究嘗試以 RBFN 建立時間序列預測模式。

RBFN 之概念最早是由 Hardy (1971)所提出,後來 Powell (1987)建立其 網路架構,Moody and Darken (1989)則利用 RBFN 解決數學函數對應之問 題,Broomhead and Lowe (1988)將其應用於數值逼近或內插之問題上。而後 相繼有各種類似之網路結構之 RBFN 相繼被提出。隨著輻狀基底函數網路 之快速發展,已有不同之訓練法則用以架構更有效率之輻狀基底函數網路,

並利用於具有時間序列相關性之問題上。Mikko et al. (1996)曾以輻狀基底函

數網路為基礎,結合自我迴歸(autogressive)之觀念架構網路,並將之應用於 時間序列模式之預測上,證實 RBFN 之準確性遠勝過 autogressive model、

threshold Autogressive model 及 倒 傳 遞 多 層 感 知 機 ( back-propagating multiplayer perceptron)。

整體而言,RBFN 之建構過程有兩個重要步驟。一個為設定隱藏層神經 元之個數及其中心點,另一個為計算隱藏層至輸出層間之權重。在現有之學 習法則中,最主要之差別即是在於第一個步驟,神經元中心點之決定為建構 RBFN 之一個極為重要之問題。最簡單的解決方式就是將每個訓練資料都當 作神經元中心。然而,這是不切實際的做法,尤其是當訓練資料很多時。因 此,過去群集分析(cluster analysis)常被用來決定 RBFN 之神經元中心點 (Moody and Darken, 1989)。

群集分析是一種能根據資料之相似性與相異性,進行分群的邏輯程序。

其針對某種指定之特性,將欲進行分類之資料依此特性劃分為多個群集,使 同一群集中具有高度之均一性(homogeneity),不同群集彼此具有明顯的 異質性(heterogeneity)。傳統的群集分析大致可分為階層式(hierarchical)

的群集分析法如單一鏈結法(single linkage method)、華德法(Ward’s method)

及非階層式(non-hierarchical)的群集分析法如 K 均值法(K-means method)。 然而,階層式的群集分析法進行分群之依據乃是根據分析後所得的樹狀圖,

其幫助了瞭解資料間的相對距離,然並無客觀決定群集組數的方法,端視研 究者的需要及經驗決定。非階層群集分析法通常需在進行分析之前決定群集 的組數,然而不同的群集組數常會導致差異極大的分析結果。對於 RBFN 之建構來說,判定資料是否確實存在群集關係及如何決定適當的神經元數目 乃 是 一 重 要 的 課 題 。 有 鑑 於 此 , 本 研 究 嘗 試 利 用 自 組 織 映 射 圖 網 路

(self-organizing map; 簡稱 SOM)來解決這些問題。

SOM 網路是由 Kohonen (1990)所提出,屬於非監督式及競爭式學習的 網路模型。其功能是將高維度的資料映射至低維度的圖形中,並保存資料原 本的拓樸結構及顯現資料內在的統計特徵,近來廣泛被應用於各種領域上 (Orwig et al., 1997; Tokutaka et al., 1999; Michaelides et al., 2001, Tennant and Hewitson, 2002)。Zhang and Li (1993)提出了利用 SOM 網路找出資料的群集 關係及群集邊界的方法,稱之為自組織映射圖網路分析。Mangiameli et al.

(1996)曾經比較 SOM 網路與傳統之群集分析法,結果均顯示 SOM 網路有較 佳之群集分析結果。Vesanto and Alhoniemi (2000)利用 SOM 網路進行了二 步驟之群集分析。首先應用 SOM 網路分析原始資料,待原始資料被映射至 低維度之圖形時,再以其他群集分析方法分析前一步驟所得的特徵圖

(feature map),利用此二步驟分析所得之分群效果較傳統方法更佳,且可 大幅減低群集分析所需之計算時間。Michaelides et al. (2001)運用 SOM 網路 分析降雨之變異性,並用以提供氣候模型使用,其結果亦顯示 SOM 網路較 階層式群集分析法更能顯示出降雨變異性的細節。

綜合上面所述,本研究將建立一個結合 RBFN 及 SOM 之時間序列預測 模式,稱之為 SOM-RBFN 模式。首先,本研究先針對 RBFN 及 SOM 之網 路架構及學習法則作一一介紹。再以三組模擬之時間序列測試此模式之預測 能力。最後,將此模式應用於實際地下水位時間序列之預測上,並與傳統之 ARIMA 模式作比較。

3-2 研究方法

3-2-1 輻狀基底函數網路

輻狀基底函數網路(RBFN)屬於多層前饋式類神經網路,其輸入層與 隱藏層間之神經元完全相互聯結,其網路架構如圖 3-1 所示。RBFN 具有三 個特性:(1)僅有輸入、隱藏及輸出等三層結構;(2)輸出層完全由線性處理 單元所組成;(3)隱藏層轉換函數之激發是由輸入資料與隱藏層神經元中心 之距離決定。RBFN 之主要優點為能將訓練樣本之資訊有系統性的儲存於隱 藏層中,只要使用簡單之矩陣運算即可求得網路中之加權值,不需要於訓練 階段時設定許多網路參數值。此外,只要適當設定訓練停止條件即可,所以 RBFN 為相當有效率之非線性系統鑑別工具。

Output Layer

Input Layer Hidden Layer

Bias

圖 3-1RBFN 架構圖

假設 RBFN 之結構中,輸入層為具有 P 個輸入變數之資料 Z,將其以向

其中, 為歐基里德範數(Euclidean norm); 為隱藏層神經元之中心點 (center);

cj

( )

φ 為反應函數(activation function);M 為隱藏層神經元數目。

在作空間內插估計時,cj可以視為第 j 個觀測點位置,而 xicj 則可視為 第 j 個觀測點與第 i 個預估計點之距離。

在網路架構中,隱藏層之維度與輸入層相同。至於反應函數之型態包含 許多種類,如高斯函數(Gaussian function)、邏輯函數、multiquadric function (MQF)、thin-spline function (TSP)及指數函數(exponential function)等。本 研究則使用最為普遍之高斯函數為隱藏層神經元之轉移函數,其型式如下所

神經元之輻狀基底函數輸出結果,並利用最小平方法(least squares method)

求出隱藏層與輸出層間之權重值,進而將隱藏層輸出值乘以各個權重值,即

於 RBFN 之架構中,若隱藏層神經元之中心點與寬度值被決定後,方 程式(3-4)中之權重值可利用最小平方法求得。於本研究中,將使用 SOM 網 路決定隱藏層神經元之數目及中心點,而此模式稱之為 SOM-RBFN 模式。

關於 SOM 網路之架構及學習方法則敘述於下節。

3-2-2 自組織映射圖網路

自組織映射圖(SOM)網路在類神經網路領域中是一種知名的網路模 型,其網路架構如圖 3-2 所示。SOM 網路屬於非監督式學習(unsupervised learning)網路,其網路可經由競爭式學習法架構。競爭式學習法之原理是 輸出單元彼此競爭,唯一贏得勝利者則稱為優勝單元,成為唯一權重向量受 刺激調整之單元,此過程稱之為贏者全拿(winner-take-all)。然而,SOM 網路與傳統之競爭式學習法則並不相同,它加入了鄰近區域之概念,使得每 次優勝單元之鄰近區域輸出單元亦會隨同優勝單元而被激發。

Output Layer

Input Layer

圖 3-2 SOM 網路架構圖

SOM 網路可將任意維度之輸入向量映射至特徵圖(feature map)上,

如圖 3-2 所示。所以 SOM 網路可視為將輸入樣本以非線性法轉換至特徵圖 上。其神經元會依輸入向量之特性,以具有意義之拓樸結構展現在輸出空 間,而此拓樸結構可反應輸入樣本之特性。因此若原本輸入向量間存在著相 關性,反映於特徵圖上之輸出單元也會表現出相似之關係。近年來,SOM 網路常被應用於辨識分類處理,而在許多領域也都使用它來做歸納分析,如 影像圖樣處理、語言學家分析語言、商業管理對市場反應作分類處理等。

SOM 網路的學習過程包含競爭程序(competitive process)、合作程序

(cooperative process)以及調整程序(adaptive process)等三個重要的程序,

其演算過程敘述如下:

1. 若原始資料空間有 p 個樣本輸入向量,而每個輸入向量維 m 維度,因此

函數;η(n)為學習速率。 模式(Box and Jenkins, 1976)模擬三組時間序列資料。三組測試之時間序列模 式之型式如下所示:

其中,t為時間 t 之預測值;yt為時間 t 之觀測值;T 為預測之數目。

2. Median absolute percentage error (MdAPE)

⎟⎟ (Clements and Hendry, 1993)。Gardner (1983)曾針對以上兩種指標評鑑預測 模式之原因加以說明。MdAPE 比 MSE 優越已經被討論證實(Armstrong and

⎟⎟ (Clements and Hendry, 1993)。Gardner (1983)曾針對以上兩種指標評鑑預測 模式之原因加以說明。MdAPE 比 MSE 優越已經被討論證實(Armstrong and

相關文件