1
國
立
交
通
大
學
運 輸 科 技 與 管 理 學 系 碩 士 班
碩 士 論 文
利用灰色理論於偵測器遺失資料插補之研究
Using Grey Theory in the interpolation for
missing value of detector study
研 究 生：許程詠
指導教授：王晉元
2
利用灰色理論於偵測器遺失資料插補之研究
Using Grey Theory in the interpolation for missing value of detector
study
研 究 生：許程詠 Student：Cheng-Yung Hsu
指導教授：王晉元 Advisor：Jin-Yuan Wang
國 立 交 通 大 學
運輸科技與管理學系
碩 士 論 文
A ThesisSubmitted to Department of Transportation Technology and Management
College of Management
National Chiao Tung University
in partial Fulfillment of the Requirements
for the Degree of
Master
in
Transportation Technology and Management
June 2011
Hsinchu, Taiwan, Republic of China
I
利用灰色理論於偵測器遺失資料插補之研究
學生：許程詠 Cheng-Yung Hsu 指導教授：王晉元 Jin-Yuan Wang
摘要
摘要
摘要
摘要
本研究目的為了告知用路人準確的旅行時間預估資訊，最直接的資料蒐集來 源為車輛偵測器(Vehicle Detector, VD)，其所回傳的資訊為流量(volume)、速 度(speed)與佔有率(occupancy)等。但在實務上常會發生收集的資訊不完全的情 況，若忽略偵測器遺漏的情況則會造成旅行時間預估模式發生問題。為了確保其 模式預估的正確性，需針對資料遺失值作處理，本研究利用灰色理論不需要符合 統計分配的優點，發展出有效的資料遺失值插補方法。在實證分析上以國道三號 車輛偵測器為對象，利用灰預測法 GM(1,1)和最小循環式殘差修正法（Minimum Recursive Residual GM(1,1), MRRGM(1,1)）在不同資料遺失比例和不同遺漏情境 （任意時間段、尖峰時間段、離峰時間段）下，比較兩種演算法的插補結果。 研究結果證實當遺失比例高和多重插補次數多時，以 MGGRM(1,1)其插補績 效優於 GM(1,1)法。在建立插補模式時亦較其他插補理論簡單，且插補績效相當 良好。 關鍵字：灰色理論、資料遺失值插補、MRRGM(1,1)
II
Using Grey Theory in the interpolation for missing value of
detector study
Student：Cheng-Yung Hsu Advisor：Dr. Jin-Yuan Wang
Department of Transportation Technology and Management
National Chiao Tung University
ABSTRACT
Purpose of this study to inform road users accurate estimates of travel time information, the most direct source of data collection for vehicle detectors (Vehicle Detector, VD), it returns the information to flow, speed and occupancy and so on. But often occurs in practice the information collected is not entirely the case, if the detector ignores the case of missing travel time prediction model will result in problems. In order to ensure the accuracy of their model estimates, the value of data loss need to be targeted for treatment, this study do not meet the statistical distribution of gray theory, the advantages of
developing an effective value of the loss of data interpolation methods. In the empirical analysis on the National Highway No. 3 vehicle detectors for the object, using gray prediction method GM (1,1) and minimum cyclic residual correction method (Minimum Recursive Residual GM(1,1), MRRGM (1,1)) in different proportions and different missing data loss situations (arbitrarytime, peak time, off-peak time), the result of comparing the two interpolation algorithms.
The results confirmed that a high proportion of loss when the number of long and multiple interpolation to MGGRM (1,1) the interpolation performance is better than GM (1,1) method.Interpolation mode than in the establishment of other interpolation theory is simple and very good interpolation performance.
III
誌謝
首先，在這我要先感謝交通大學運管系的全體老師，因為有你們的教導，使 我在短短這兩年的碩士生涯更添加了許多的知識。感謝指導教授王晉元老師在這 兩年的期間諄諄教誨，不辭辛勞，也知道老師在背後總是為我們著想，在課業上， 老師都會義不容辭的開導我們，老師就像黑夜裡的一盞明燈，指向我朝往正確的 道路，這本論文的完成，除了自己的努力之外，還有老師在背後所無法衡量的奉 獻，在此，再跟老師說一聲謝謝。 再來，還要感謝兩位口試委員黃寬丞老師與蘇昭銘老師，有了他們的寶貴評 論與建議之下，使我的論文能夠更佳的完善且充實，在此也向兩位老師致上十二 萬分的感謝。 另外，感謝一起進入研究所、一起成長、一起生活的夥伴們，小豬、阿胖、 NoNo、馬代、凱開、QQ、鱷魚和所有碩二的同學們，雖然只有短短的兩年，但 因為有了你們，使我的碩士生涯充滿了歡樂與色彩，我永遠不會忘記這兩年的點 點滴滴，還有碩一的學弟妹們，阿幹、呂璇、老頭、佩慈，我們的感情，就好比 家人一樣，雖然只有一年的相處時間，但以後卻可以成為一輩子的朋友。還有感 謝每次都被我煩的彥佑、一姐、hoho、黛西、小惠、阿尼吉，在研究所期間對我 的教導，讓我變的更強壯，去面對未來的困境。畢業，不是結束，而是另一段路 的開始。 我要感謝我的家人 28 年來的照顧，給予我無限的關懷與愛，讓我有今天的 成就，在求學過程中，每次到外地念書，都會讓你們擔心，但因為你們的擔心， 使我更能警剔自己用功唸書。在這裡，我要大聲的跟全部的人說，我很得意，我 出生在我的家庭，另外感謝我的女友，徐莎，雖然常常因為論文的事情而冷落了 你，但因為有你的體諒，讓我更能加倍認真，當我遇到挫折時，你會適時的鼓勵 我，當我徬徨無助的時候，你會偷偷在背後幫助我。 最後，我要感謝我認識的所有人，因為有你們，才會有今天的我。 許程詠謹誌 2011 年 6 月於新竹交大IV
目錄
中文摘要 ... i 英文摘要 ... ii 誌謝 ... iii 目錄 ... iv 表目錄 ... vi 圖目錄 ... vii 第一章、緒論 ... 1 1.1 研究動機... 1 1.2 研究目的... 2 1.3 研究流程... 2 第二章、文獻回顧 ... 5 第三章、模式建立 ... 9 3.1 灰色理論介紹... 9 3.2 模式建立... 11 3.2.1 蒐集交通資料... 13 3.2.2 異常資料過濾模式 ... 13 3.2.3 歷史資料庫的建立 ... 143.2.4 灰關聯分析(GREY RELATION ANALYSIS; GRA) ... 15
3.2.5 灰預測 GM(1,1) ... 16
3.2.6 最小循環式殘差修正(MINIMUM RECURSIVE RESIDUAL GM(1,1); MRRGM(1,1)) ... 19 3.3 範例說明... 23 3.4 誤差分析... 27 第四章實證分析 ... 28 4.1.1 資料蒐集... 28 4.1.2 異常資料過濾... 29 4.2 建立資料庫... 29 4.3 實證方法... 29 4.3.1 隨機時間段遺漏 ... 30 4.3.1.1 任意時段遺漏... 30 4.3.1.2 尖峰時段遺漏... 31 4.3.3.3 離峰時間段遺漏... 33
V 4.3.2 比對方式 ... 34 4.3.3 插補次數 ... 34 4.4 測試方式... 36 4.5 測試範例... 36 4.5.1 測試對象... 36 4.6 測試結果... 36 4.6.1 以 N3-47.98 為測試對象 ... 38 4.6.2 以 N3-50.38 為測試對象 ... 43 4.6.3 以 N3-51.55 為測試對象 ... 49 4.6.4 以 N3-54 為測試對象 ... 55 4.6.5 以 N3-55.34 為測試對象... 61 第五章 結論與建議 ... 69 5.1 結論... 69 5.2 建議... 69 參考文獻 ... 71 簡歷 ... 74
VI
圖目錄
圖 1. 1 速度資料遺漏(VD-N3-N-47.980-M) ... 1 圖 1. 2 研究流程圖 ... 4 圖 3. 1 灰色理論示意圖 ... 9 圖 3. 2 插補模式流程圖 ... 12 圖 3. 3 速率異常分佈圖(VD-N3-N-47.980-M) ... 14 圖 3. 4 計算流程圖 ... 22 圖 3. 5 車輛偵測器(VD)資料遺失示意圖 ... 23 圖 4. 1 均勻分配機率密度函數………30 圖 4. 2 任意時段遺漏起始點未超過最大遺失比例 50%示意圖 ... 31 圖 4. 3 任意時段遺漏起始點超過最大遺失比例 50%示意圖 ... 31 圖 4. 4 尖峰時間段遺漏起始點未超過最大遺失比例 50%示意圖 ... 32 圖 4. 5 尖峰時間段遺漏起始點超過最大遺失比例 50%示意圖 ... 32 圖 4. 6 離峰時間段遺漏起始點未超過最大遺失比例 50%示意圖 ... 33 圖 4. 7 離峰時間段遺漏起始點超過最大遺失比例 50%示意圖 ... 33 圖 4. 8 實證分析流程圖 ... 35 圖 4. 9 不同遺失比例下插補誤差(N3-47.98 任意時段) ... 38 圖 4. 10 不同遺失比例下插補誤差(N3-47.98 尖峰) ... 39 圖 4. 11 不同遺失比例下插補誤差(N3-47.98 離峰) ... 40 圖 4. 12 不同插補次數下插補誤差（N3-47.98 任意時段） ... 41 圖 4. 13 不同插補次數下插補誤差(N3-47.98 尖峰) ... 42 圖 4. 14 不同插補次數下插補誤差(N3-47.98 離峰) ... 43 圖 4. 15 不同遺失比例下插補誤差(N3-50.38 任意時段) ... 44 圖 4. 16 不同遺失比例下插補誤差(N3-50.38 尖峰) ... 45 圖 4. 17 不同遺失比例下插補誤差(N3-50.38 離峰) ... 46 圖 4. 18 不同插補次數下插補誤差(N3-50.38 整日) ... 47 圖 4. 19 不同插補次數下插補誤差(N3-50.38 尖峰) ... 48 圖 4. 20 不同插補次數下插補誤差(N3-50.38 離峰) ... 49 圖 4. 21 不同遺失比例下插補誤差(N3-51.55 任意時段) ... 50 圖 4. 22 不同遺失比例下插補誤差(N3-51.55 尖峰) ... 51VII 圖 4. 23 不同遺失比例下插補誤差(51.55 離峰) ... 52 圖 4. 24 不同插補次數下插補誤差(N3-51.55 任意時段) ... 53 圖 4. 25 不同插補次數下插補誤差(N3-51.55 尖峰) ... 54 圖 4. 26 不同插補次數下插補誤差(N3-51.55 離峰) ... 55 圖 4. 27 不同遺失比例下插補誤差（N3-54 任意時段） ... 56 圖 4. 28 不同遺失比例下插補誤差(N3-54 尖峰) ... 57 圖 4. 29 不同遺失比例下插補誤差(N3-54 離峰) ... 58 圖 4. 30 不同插補次數下插補誤差(N3-54 任意時段) ... 59 圖 4. 31 不同插補次數下插補誤差(N3-54 尖峰) ... 60 圖 4. 32 不同插補次數下插補誤差(N3-54 離峰) ... 61 圖 4. 33 不同遺失比例下插補誤差（N3-55.34 任意時段） ... 62 圖 4. 34 不同遺失比例下插補誤差(N3-55.34 尖峰) ... 63 圖 4. 35 不同遺失比例下插補誤差(N3-55.34 離峰) ... 64 圖 4. 36 不同插補次數下插補誤差（N3-55.34 任意時段） ... 65 圖 4. 37 不同插補次數下插補誤差(N3-55.34 尖峰) ... 66 圖 4. 38 不同插補次數下插補誤差(N3-54.33 離峰) ... 67
表目錄
表 2. 1 插補遺失值文獻整理 ... 7 表 2. 2 車輛偵測器(VD)資料表 ... 13 表 2. 3 歷史資料庫欄位表 ... 14 表 2. 4 GM(1,1)計算值 ... 25 表 2. 5 MRRGM(1,1)計算值 ... 26 表 2. 6 MAPE 之評估標準 ... 27 表 2. 7 龍潭到樹林收費站北上路段間偵測器之資料缺漏率 ... 28 表 2. 8 歷史資料庫欄位表 ... 29 表 2. 9 車輛偵測器(VD)任意時段最佳插補次數 ... 68 表 2. 10 車輛偵測器(VD)尖峰時段最佳插補次數 ... 68 表 2. 11 車輛偵測器(VD)離峰時段最佳插補次數 ... 681
第一章
第一章
第一章
第一章、
、
、
、緒論
緒論
緒論
緒論
1.1 研究動機
研究動機
研究動機
研究動機
先進旅行者資訊系統(Advance Traveler Information System, ATIS)是智慧型運輸 系統（Intelligent Transportation System, ITS）的子系統之一。近年來政府投資了許 多經費和資源於 ATIS 中的發展，其功能除了彙整所有交通訊息之外，尚包含道 路交通資訊的提供和行車路徑導引。其目的為提供民眾在「行」方面所需的道路 資訊，並透過道路相關設施所回傳的路況，提供用路人即時或預測的道路資訊， 包括何時出發、行駛哪條路徑、到達時間為何，以協助用路人於資訊充足的狀況 下做決策。而在 ATIS 所提供的功能中，以旅行時間預測是大家所關心的，正確 的預測可減少用路人的旅行時間，並間接促進經濟發展。 為了告知用路人準確的旅行時間預估資訊，首要作業是先收集正確的交通資 料，最直接來源為車輛偵測器(Vehicle Detector, VD)，其所回傳的資訊分別為流 量(volume)、速率(speed)與佔有率(occupancy)等。但在實務上常會發生收集的資 訊不完全的情況，如面臨天候因素、偵測器故障、通訊傳輸斷線、資料蒐集系統 異常或斷電等，而造成偵測器每日所傳回資料在不同時間段或是連續時間段的遺 失(missing)。經由實際蒐集 2009/04/05~2010/04/05 期間國道三號北上龍潭收費站 到樹林收費站間某一偵測器所回傳的歷史資料，其回傳的頻率為每 5 分鐘/次， 其中各偵測器遺漏值情況不盡相同，經由資料分析結果如圖 1.1 所示，在偵測器 (VD-N3-N-47.980-M)於時間點 16:00~18:40 顯示所回傳的資訊的確有遺漏的情 形。 圖 1. 1 速度資料遺漏(VD-N3-N-47.980-M) 0 20 40 60 80 100 120 140 0 :0 0 1 :2 0 2 :4 0 4 :0 0 5 :2 0 6 :4 0 1
第一章
第一章
第一章
第一章、
、
、
、緒論
緒論
緒論
緒論
1.1 研究動機
研究動機
研究動機
研究動機
先進旅行者資訊系統(Advance Traveler Information System, ATIS)是智慧型運輸 系統（Intelligent Transportation System, ITS）的子系統之一。近年來政府投資了許 多經費和資源於 ATIS 中的發展，其功能除了彙整所有交通訊息之外，尚包含道 路交通資訊的提供和行車路徑導引。其目的為提供民眾在「行」方面所需的道路 資訊，並透過道路相關設施所回傳的路況，提供用路人即時或預測的道路資訊， 包括何時出發、行駛哪條路徑、到達時間為何，以協助用路人於資訊充足的狀況 下做決策。而在 ATIS 所提供的功能中，以旅行時間預測是大家所關心的，正確 的預測可減少用路人的旅行時間，並間接促進經濟發展。 為了告知用路人準確的旅行時間預估資訊，首要作業是先收集正確的交通資 料，最直接來源為車輛偵測器(Vehicle Detector, VD)，其所回傳的資訊分別為流 量(volume)、速率(speed)與佔有率(occupancy)等。但在實務上常會發生收集的資 訊不完全的情況，如面臨天候因素、偵測器故障、通訊傳輸斷線、資料蒐集系統 異常或斷電等，而造成偵測器每日所傳回資料在不同時間段或是連續時間段的遺 失(missing)。經由實際蒐集 2009/04/05~2010/04/05 期間國道三號北上龍潭收費站 到樹林收費站間某一偵測器所回傳的歷史資料，其回傳的頻率為每 5 分鐘/次， 其中各偵測器遺漏值情況不盡相同，經由資料分析結果如圖 1.1 所示，在偵測器 (VD-N3-N-47.980-M)於時間點 16:00~18:40 顯示所回傳的資訊的確有遺漏的情 形。 圖 1. 1 速度資料遺漏(VD-N3-N-47.980-M) 6 :4 0 8 :0 0 9 :2 0 1 0 :4 0 1 2 :0 0 1 3 :2 0 1 4 :4 0 1 6 :0 0 1 7 :2 0 1 8 :4 0 2 0 :0 0 2 1 :2 0 2 2 :4 0 VD VD VD VD---N3-N3N3-N3--N-NN-N-47.980--47.98047.980-47.980--M -M M 速度資料M 速度資料速度資料速度資料 2010/1/6( 1
第一章
第一章
第一章
第一章、
、
、
、緒論
緒論
緒論
緒論
1.1 研究動機
研究動機
研究動機
研究動機
先進旅行者資訊系統(Advance Traveler Information System, ATIS)是智慧型運輸 系統（Intelligent Transportation System, ITS）的子系統之一。近年來政府投資了許 多經費和資源於 ATIS 中的發展，其功能除了彙整所有交通訊息之外，尚包含道 路交通資訊的提供和行車路徑導引。其目的為提供民眾在「行」方面所需的道路 資訊，並透過道路相關設施所回傳的路況，提供用路人即時或預測的道路資訊， 包括何時出發、行駛哪條路徑、到達時間為何，以協助用路人於資訊充足的狀況 下做決策。而在 ATIS 所提供的功能中，以旅行時間預測是大家所關心的，正確 的預測可減少用路人的旅行時間，並間接促進經濟發展。 為了告知用路人準確的旅行時間預估資訊，首要作業是先收集正確的交通資 料，最直接來源為車輛偵測器(Vehicle Detector, VD)，其所回傳的資訊分別為流 量(volume)、速率(speed)與佔有率(occupancy)等。但在實務上常會發生收集的資 訊不完全的情況，如面臨天候因素、偵測器故障、通訊傳輸斷線、資料蒐集系統 異常或斷電等，而造成偵測器每日所傳回資料在不同時間段或是連續時間段的遺 失(missing)。經由實際蒐集 2009/04/05~2010/04/05 期間國道三號北上龍潭收費站 到樹林收費站間某一偵測器所回傳的歷史資料，其回傳的頻率為每 5 分鐘/次， 其中各偵測器遺漏值情況不盡相同，經由資料分析結果如圖 1.1 所示，在偵測器 (VD-N3-N-47.980-M)於時間點 16:00~18:40 顯示所回傳的資訊的確有遺漏的情 形。 圖 1. 1 速度資料遺漏(VD-N3-N-47.980-M) 2010/1/6(三)
2
若忽略偵測器遺漏的情況則會造成旅行時間預估模式發生問題，為確保其模 式預估的正確性，當務之急必先解決資料遺失的問題，因此針對遺失資料發展插 補演算法是相當重要的課題。
而在遺失資料的處理上，最早是由 Little and Rubin[1987]提出將含有遺失值 的資料項目(欄位或紀錄)直接刪除，僅利用剩餘的完整資料(complete data)進行分 析。若所蒐集的資料量很大時，僅遺失一、兩筆資料則對後續推估沒有影響；倘 若遺失比例過多的情況下，則所推估出來的結果會發生問題。 目前已有多位學者提出遺失值插補的相關研究，如 Gold[2001]事先假設所有 資料必先滿足某一統計分配下才可插補，因此需事先檢定大量歷史資料後，再依 最大值(EM)法、最大概似法(MLE)等方法針對遺失值做插補。在資料探勘方面， 有許多插補方法被提出，如 Shen and Chen[2003]關聯性法則(association rules)、 Lee and Mong[1976]叢集分析與 Pedreira and Parente[1995]機械式學習等，其概念 皆是應用資料探勘的工具用於大量歷史資料中，期許能找出有利於遺失值的插補 方式，進而正確的推估其遺失值。 但在實際應用上並非所蒐集的歷史資料都是大量的，有時僅能取得少數的歷 史資料，若遇到歷史資料量少的情況下，其資料無法滿足統計分配而導致其方法 失效。因此，本研究利用灰色理論中灰預測可用於少量資料預測的優點，發展出 更有效的遺失資料插補模式。
1.2 研究目的
研究目的
研究目的
研究目的
本文研究目的主要為利用車輛偵測器(VD)之資料，發展出一套演算法，針 對資料遺失值部份進行插補，並就其插補績效與其它演算法相比較。1.3 研
研
研
研究流程
究流程
究流程
究流程
本研究之研究流程如圖 1. 2 研究流程圖所示，其詳細步驟說明如下：(1)確認研究問題
決定實際研究對象以及欲進行插補的資料，並根據研究背景與目的將問題清 楚描述與界定。(2)相關文獻回顧
3 針對遺失資料插補演算法之相關研究進行文獻蒐集與回顧，以插補類型不同 區分，如速度、流量、佔有率等。並分析灰色理論於資料遺失插補之適用性，將 其優缺點加以歸納，進而整理出本研究之研究方向。
(3)建立插補模式
利用灰色理論等方法建立遺失資料插補模式。(4)資料處理
蒐集車輛偵測器資料，經由資料過濾處理後，將非交通狀況所造成的異常值 (suspicious data)刪除，如速率異常、流量異常等；並建立歷史資料庫。(5)實證分析
本研究為了驗證插補後資料精確度與可用性，利用車輛偵測器(VD)歷史資 料發展出遺失資料插補模式，並在不同之資料遺漏比例下測試其模式的精確度。 如先尋找一組沒有遺失的原始資料，並隨機刪除不同比例之資料，再利用本模式 進行遺失資料插補。 藉 由 計 算 插 補 後 的 遺 失 值 與 原 本 資 料 之 平 均 絕 對 誤 差 (Mean Absolute Percentage Error, MAPE)，來驗證此模式是否適用於現實狀況，並分析結果以作 為修正模式之依據。(6)結論與建議
將本研究之過程與結果提出結論與建議，並提出後續可以進行研究的方向。 以下為本論文研究流程：
4
5
第二章
第二章
第二章
第二章、
、
、
、文獻回顧
文獻回顧
文獻回顧
文獻回顧
一般在處理資料遺漏值的方式有很多種，可分為資料探堪和統計方法兩大類。 在資料探勘方面如關聯法則(Association Rules)、叢集分析(ClusteringAnalysis)、機械式學習(Machine Learning)與分類迴歸樹(Classification and Regression Tree)等方法，找出有關資料遺失值的資訊。然而，統計插補法最早由 Rubin[1987]所提出，如平均值插補法(Mean Imputation)、迴歸插補法
（Regression Imputation）等，後續的學者常搭配其他演算法和統計法來插補 遺失資料值，其文獻說明如下所示：
Gold[2001]利用期望最大值演算法(Expectation Maximization Algorithm, EM) 和 Kernel 迴歸方法插補遺失值。EM 插補法是針對有母數中遺失值的處理方法， 主要分為「E(Expection)」和「M(Maximization)」兩個步驟，計算方式和最大概 似法(MLE)方法相同，只差別在求解概似函數的不同，計算方式是透過迭代的方 法求取其參數估計量。但在實際應用上以常態分配(Normal Distribution)來描述該 偵測器資料屬於那一群集的機率密度，而此機率函數用來取代群集的距離函數。 在 計 算 資 料 分 群 後 ， 再 利 用 因 子 分 析 (Factor up) 和 直 線 式插 補 (Straight-line interpolation)兩種插補方式，結合多項式迴歸與 Kernel 迴歸兩種迴歸法針對 VD 五分鐘、十分鐘的流量和占有率進行填補。結果發現多項式迴歸和因子分析的插 補績效優於核迴歸法和直線式插補法。 Chen[2001]使用兩步驟插補遺漏值。先以自組織映射圖(Self-Organising Map, SOM)輸入車輛偵測器(以 15 分鐘為單位)之資料(速率、流量與佔有率)作為交通 型態的判別，然後再使用 ARIMA 和另兩種類神經網路 MLP 和 RBFN 來插補遺 漏值，其方式為取遺漏值發生時段前的 4 筆歷史資料(一小時資料)進行流量的插 補。結果顯示 SOM/ARIMA 插補績效優於 SOM/MLP 與 SOM/RBFN。
Hung and Zhu[2002]以擬最鄰近法(pseudo nearest neighbor)進行資料插補，先 以擬相似(pseudo-similarity)法找出各完整數列和不完整數列的相同元素值和遺 失值(Null)，並以權重法比較兩兩數列的比值大小，然後再以最鄰近參考數列之 對應數值進行不完整資料之插補。實驗假定資料都符合常態分配並用 k-mean 將 資料分群，接著再和其他三種方法做比較，結果顯示擬最鄰近法之插補績效較 好。 不過在實際應用上並非所有的交通資料都符合常態分配，因此 Hung and Lee[2004]提出改善以灰關聯擬最鄰近法來插補遺漏值，並先利用灰關聯分析找 出與遺失的屬性值關聯大的附近屬性值，然後再以 k-最鄰近(k nearest neighbors, k-NN)法進行插補。實驗結果證明，灰關聯擬最鄰近法插補績效優於多值插補法 (Multiple Value Imputation)與平均值替代法(Mean Substitution)。
6
Wen et al.[2005]沿用 Hung and Lee[2004]和 Hung and Zhu[2002]的概念使用 灰關聯擬最鄰近法(grey-based pseudo nearest neighbor approach)和灰色時間序列 法(grey time-series model)，針對車輛偵測器在時間上所產生之遺漏值進行資料的 填補。其次使用遞迴式類神經網路(Recurrent Neural Network, RNN)進行高速公路 旅行時間的預測。結果顯示，當遺漏值產生率介於 50% ~ 80% 時，誤差約為 20%， 顯示填補完後的資料用於建立旅行時間預測模式亦有不錯的績效。
Chen et al.[2006]以五種插補遺失值的方法進行比較分析，包括歷史平均法 (HIST)係取同樣資料的前一天(time of day)和前一週(time of week)資料插補；時間 差補法(TPI)係取遺失值發生的前一時段與後一時段的平均值做插補；空間差補 法(SPI)係利用發生遺漏值之偵測器的上下游偵測器插補；混合插補法(Hybrid)係 將歷史資料經過指數平滑法處理後，再以時間序列插補遺失值；類神經網路(ANN) 模仿人類神經運作方式，藉由不斷學習過程插補遺失值的預測模式。結果顯示以 混合模式的績效最好。
Zang and Liu[2009]使用最小二乘支持向量機(Least Squares Support Vector Machines, LS-SVMs)，在時間和空間的架構下預測市區道路遺漏的車流量資料， 此方法為非線性迴歸模式，具有快速收斂、高精準度和運算過程簡單等特性。以 皮爾森積差相關係數分群(Pearson Product Moment correlation coefficient)對 VD 歷史資料分群，再利用期望最大值法(expectation maximization, EM)與資料擴增法 (data augmentation, DA)法做比較，結果發現 LS-SVMs 在單筆或是連續遺漏資料 插補績效優於 EM 和 DA 法。
Li Qu et al.[2009]針對市區道路車流量，提出以機率主成份分析(Probabilistic Principal Component Analysis, PPCA)進行插補，先以主成份分析法(PCA)分析歷 史資料，再以最大概似法(MLE)進行遺漏插補。並利用最鄰近歷史資料(Nearest Historical)和歷史平均值(Mean Historical)，再以迴歸分析進行預測比較，結果發 現 PPCA/MLE 插補績效比歷史資料和迴歸、歷史平均值和迴歸插補績效來得 好。 張堂賢與黃宏仁[2008]建立即時資料插補技術，並利用傅立葉轉換和中央極 限定理來平滑車輛偵測器的時間曲線，以降低交通號誌的躁動。然後利用卡爾曼 濾波器和基因演算法發展車輛偵測器漏失資料插補技術。因卡爾曼濾波器可考量 資料遺漏前期資料走勢，可提高插補準確度，結果可獲得良好之插補績效。 吳健生與廖梓淋[2009]於資料填補分析時，採用華德法與 k-mean 法將資料 進行兩階段分群，再以倒傳遞類神經網路加以填補，最後以雪山隧道車輛偵測器 所得流量、速度及佔有率三項資料進行實證分析，以速率填補績效最佳。其作法 為先分群而後再填補偵測器遺漏資料之兩步驟方式，因此能將同質性高之車流狀 態資料匯集在一起分別處理，而能獲得良好的插補績效。
7
汪進財與邱孟佑 [2009]使用兩步驟來插補資料遺漏值，先以群集分析法對 車輛偵測器歷史資料做交通狀態分類處理，並參考 Wong and Chiu[2009]基本車 流理論之服務水準來分類；再根據某偵測器所代表之次路段結合整體路段 ETC 之旅行時間來建立整體迴歸關係，並依照不同遺漏時窗多寡來選用不同插補方法， 如歷史均值法、移動平均法(MA)、分類迴歸樹(CART)。實驗結果顯示當連續遺 漏時窗數超過 10 筆時採用 CART 法可獲得插補最佳績效。 本研究將插補遺失值之文獻相關整理如下表 2.1： 表 2. 1 插補遺失值文獻整理 作者 研究方法 Gold[2001] EM 演算法、多項式迴歸、Kernel 迴歸 Chen[2001] SOM、MLP、RBFNN
Hung and Zhu[2002] 擬最鄰近法、權重法 Hung and Lee[2004] 灰關聯分析、KNN
Wen et al.[2005] 灰關聯擬最鄰近法、RNN
Chen et al.[2006] 歷史平均法(HIST)、時間差補法(TPI)、空間差補法 (SPI)、混合插補法(Hybrid)、類神經網路(ANN) Zang and Liu[2009] 皮爾森積差相關係數、LS-SVMs、EM、DA Li Qu et al.[2009] PPCA、MLE 張堂賢與黃宏仁[2008] 傅立葉轉換、卡爾曼濾波器和基因演算法 吳健生與廖梓淋[2009] 華德法與 k-mean 法、倒傳遞類神經網路(BPANN) 汪進財與邱孟佑 [2009] 群集分析、分類迴歸樹(CART) 資料來源：【本研究整理】 綜合上述相關文獻回顧得知，插補方式是採用車輛偵測器所回傳的歷史資料， 並針對時間段的遺漏值做插補。其方法主要分為兩步驟處理： 首先利用 EM、SOM、群集分析與 k-mean 等方法找出同質性高的資料；再 依照資料型態的不同插補資料遺漏值，如迴歸方法、MLE、KNN、類神經網路 (ANN)與基因(GA)演算法等。 然而在利用 MLE、EM、多項式迴歸、Kernel 迴歸與 LS-SVMs 插補時，前 提條件為歷史資料要先符合統計分配與不偏性的要求，才可獲得良好的插補績效。 但文獻上並未提及歷史資料不符合統計分配的情況下應該如何處理，且在實務上 常存在著資料不符合統計分配的情況。而 KNN 和 ANN 的使用上則需要設定門 檻值，並以多次試誤的方式才能得到適當的解。
綜合上述缺點，Hung and Lee[2004]和 Wen[2005]提出灰關聯方法比對其歷史 資料，其優點為基於灰色理論，並可引入灰關聯度作為相鄰資料的相似度衡量的 概念，與歐氏距離所延伸 Minkowski distance 相似度衡量方法雷同，其限制為當
8
資料型態不同時則需採用不同維度的距離尺度來衡量，因此在大量歷史資料比對 下會增加計算的複雜度。而Zhang[2007]提出灰關聯法在比對距離尺度時其計算方 式簡單，可先將不同資料型態做正規化動作後再做運算，則可簡化計算的複雜 度。
本研究採取 Hung and Lee[2004]和 Wen[2005]所提出灰關聯的優點來做歷史 資料比對的方式，所比對為車輛偵測器的歷史速度資料，其資料型態為相同的， 因此可省略正規化步驟直接運算。 Wen[2005]將含有遺失值之資料採用灰關聯擬最鄰近方法來尋找歷史資料， 當灰關聯度越大時表示可比對的歷史資料有較少的不完整數列，並以關聯度最大 之數列資料取代其含有遺失值之數列資料，其缺點為歷史資料不一定吻合於原資 料，且在歷史資料量少的情況下，可能會比對到重複的歷史資料值。 Hung[2004]先利用灰關聯分析找出與遺失屬性值關聯大的附近屬性值，接著 利用 KNN 法進行遺失值插補，找出 k 筆相似紀錄以推估遺失值，其缺點為 k 值 選取會影響到遺失值的誤差，因此需要測試多筆 k 值才能選出誤差最小的 k 值。 有鑑於此，本研究採用灰色理論中不需符合統計分配之優點，採用灰關聯法 來比對歷史資料，並利用灰預測少量數據預測的優點，可在歷史資料不足的情況 下，針對現有遺失值進行插補。但其缺點為在長時間預測下，當歷史數據資料呈 現不規律時，其預測結果較易產生波動，因此預測誤差也會變大，本研究提出改 善方法以提昇灰預測的準確度。 綜言之，本文將利用灰色理論發展插補法，針對車輛偵測器(VD)的速度作 插補資料之遺失值。第三章將說明灰色理論原理並建立灰色理論資料插補模式； 第四章說明如何處理原始資料與實證分析；第五章結論與建議。
9
第三章
第三章
第三章
第三章、
、
、
、模式建立
模式建立
模式建立
模式建立
本研究以灰色理論為基礎，針對資料遺失值部份進行插補，並利用灰關聯分 析法(GRA, Grey Relation Analysis)簡化資料複雜性之缺點，從原本的歷史資料中 找出相似的歷史數列並計算其灰關聯度，找出含有遺失值數列與歷史數列間相似 性的特徵。然後再利用灰預測方式有效處理遺失資料插補問題。 此外，本研究提出之修改型的灰預測方法，能有效解決灰色理論的缺點。
3.1 灰色理論
灰色理論
灰色理論
灰色理論介紹
介紹
介紹
介紹
灰色理論係由鄧聚龍[1982]所提出之訊息區間分析概念，該理論將訊息分為 白色、黑色、灰色等，白色為系統內資料完全且為大樣本，可用統計方法分析， 例如迴歸分析或時間序列等方法加以預測；黑色則為系統內資料不知且無法蒐集 到任何樣本，必須利用偏好性理論進行分析，例如透過問卷調查建立模式來預測； 若系統內可知某部份特性且可蒐集到少量樣本，則該訊息稱為灰色，可用灰色理 論中灰色模型來預測。其理論係結合數學、系統與力學等觀點所發展出的灰色模 型。主要是針對在系統模式不明確、資訊不完整之情況下，進行模式的關聯性分 析(Relation Analysis)與模式建構(Construct Mosel)，並藉由預測(Prediction)及決策 (Decision)之方法來探討並了解其系統。灰色理論的應用極為廣泛，能對多變量 資料輸入、離散資料與不完整數據做有效的處理，而其理論主要由灰關聯分析、 灰生成、灰建模與灰預測等方法所組成，其方法如下：10 (1)灰關聯分析(Grey Relational Analysis)
灰關聯分析法(GRA)是一種相對性的排序觀念，用來衡量離散數列間的相關程 度，並根據數列間曲線幾何形狀的相似程度來判斷其關聯性，越相近者其關聯度 越大，反之則小。由於灰關聯分析具備不需要大量數據即可進行「多因素、同時 比較」的優點，其具體作法可區分為局部性關聯分析和整體性關聯分析兩類，前 者適用於有參考數列時之關聯性比較，反之當參考數列不存在時則可利用後者來 進行數列間比較，而本研究因有不完整資料（含有遺失值的資料）作為參考數列， 因此可採用局部性灰關聯分析。 (2)灰生成(grey generating) 灰生成為補充訊息的數據處理技巧，常透過數據整理來尋找其數據變化的規 律性，其方法將原始數據依序做累加(累減)的動作，以降低原始數據雜亂程度， 讓數據呈現有規律的分佈型態，得以尋找其被掩蓋的潛在規則和特徵。
(3)灰建模(Grey Model Construction)
利用灰生成數據可建立一組灰色差分方程(Grey difference equation)與灰色 擬微分方程(Pseudo differential equation)之模式，稱之為灰色模式 GM(h,n)，其中 G 為 grey、M 為 model、h 為微分方程式階數、n 為所輸入的變數；其中又以一 階和單變數 GM(1,1)模型最常使用，本研究採用 GM(1,1)為建模的基礎。 (4)灰預測(Grey Prediction) 灰預測以 GM(1,1)模型為基礎並對已知數據的變化進行預測，不同於統計迴 歸分析需大量數據與典型分配之限制，其優點在於少量數據(n>4)即可預測未來 數據的變化。此模型可應用於數列預測、異常值預測、拓撲預測等。 在現實世界裡原始資料蒐集和傳輸過程中會發生資料缺漏或異常問題，為確 保資料可靠度，一般方式為將原始資料過濾後含有遺失值的紀錄和屬性刪除，利 用剩餘完整資料來做分析，此種方式容易造成分析上的偏誤，導致其結果不佳。 因此為了尋求資料的完整性，有必要插補資料中的遺失值。 而為彌補上述問題，本研究採取灰色理論中灰關聯分析(GRA)的優點建立遺 失資料插補模式，並針對灰色理論不足之處提出有效的解決方案。由鄧聚龍[1982] 研究中提出灰預測的缺點，當原始數據呈現劇烈變化時，利用灰預測 GM(1,1) 模型所預測出來的精確度誤差較大，因此已超出合理的預測範圍。 而最早的改善法由劉思峰[1991]利用殘差數列建立 GM(1,1)模型，對原來的 模型進行修正，以提高預測精確度。之後有多位學者提出改善方法如灰色馬可夫 (Grey Markov)殘差修正法、灰色基因(Grey GA)殘差修正法、灰色類神經法(Grey BP)等，其目的主要改善灰預測的缺點。
11 因此本研究所插補方法利用灰預測模型 GM(1,1)為基礎，並針對其缺點提出 改善。
3.2 模式建立
模式建立
模式建立
模式建立
本研究演算流程分為兩部份，分為歷史資料庫的建立和遺失資料插補模式。 在歷史資料庫的建立上，需先蒐集一段時間車輛偵測器(VD)的原始資料，而 所蒐集到的資料通常無法直接使用，大部分所取得資料是非常雜亂且不完整的， 如受到通訊斷線、收集設備異常等問題。因此需將原始資料透過異常資料過濾模 式的處理，才能建立歷史資料庫。若是直接使用原始資料，將會影響到後續插補 的績效。 而在含有遺失值的資料處理上，本研究透過灰色理論所發展的插補模式作插 補，其說明如下： 1. 先透過灰關聯分析(GRA)法去尋找歷史資料庫，並找出與含有遺失值 的樣本，有相同特性的歷史資料。 2. 將尋找出的歷史資料透過灰預測 GM(1,1)方法插補出資料遺失值。 此外為了改善灰預測 GM(1,1)模式之缺點，本研究將改良灰預測 GM(1,1)模式 以提昇插補準確度，其計算內容於 3.3 節中會詳述。 以下為插補模式流程說明：12
13
3.2.1 蒐集交通資料
蒐集交通資料
蒐集交通資料
蒐集交通資料
本研究資料來源為車輛偵測器(VD)所回傳的資料，蒐集頻率為 5 分鐘/次。 資料欄位說明如下： 表 2. 2 車輛偵測器(VD)資料表 編號 欄位 型態 長 度 欄位說明 1 ID nvarchar 50 偵測器編號 2 Detectiondatetime datetime 50 日期 3 LineType nvarchar 50 車道種類 4 LineNumber nvarchar 50 車道數 5 Direction nvarchar 50 方向 6 Line1_smallcar_flow nvarchar 50 車道 1 小客車流量 7 Line1_smallcar_avg_speed nvarchar 50 車道 1 小客車速度 ... ... … ... … 48 Total_flow nvarchar 50 總流量 49 avg_speed nvarchar 50 平均速度 50 avg_occ nvarchar 50 平均佔有率3.2.2 異常資料過濾模式
異常資料過濾模式
異常資料過濾模式
異常資料過濾模式
本研究採用蒐集一段時間內的速度資料，經研究整理後，發現有異常資料 發生的情形，如速度突然的增加和降低。由圖 3.3 可知車輛偵測器(VD)於 09:10 所蒐集到的速度為 20 公里，而從原始資料知 09:00 到 10:00 所蒐集到的 速度資料介於 80 公里到 100 公里左右，因此不可能會有一筆突然降低的速度 資料。此外在 20:00 到 21:00 的速度資料介於 90 公里到 100 公里左右，而 20:15 的速度為 40 公里，由常理判斷不可能會有一筆突然降低的速度資料。此外， 有一筆速度資料在 17:00 於 5 分鐘內突然增加到 130 公里，之後在 17：05 時 馬上回到正常速限範圍 110 公里內，因此可視為此筆資料為異常的情形。 倘若忽略上述問題，而直接採用所蒐集的速度資料則會影響後續插補遺失 資料的準確率。因此本研究有必要發展資料過濾模式，其評判準則如下：14
圖 3. 3 速率異常分佈圖(VD-N3-N-47.980-M) 過濾條件：
本研究以資料逐筆過濾方式，將資料前後間的差值有劇烈變化者作為異常資 料過濾的條件，依序拿三筆資料出來，分別為資料編號 i-1, i ,i+1，假定第 i-1 筆 資料是比較基準點，而第 i 筆資料需與第 i-1 筆資料及第 i+1 筆資料比較，若資 料變化均超過 15%時，將第 i 筆資料視為異常資料，則刪除此筆資料。 然後在刪除第 i 筆資料後，只剩第 i-1 筆和第 i+1 筆資料，因此可在納入第 i+2 筆資料，則此時有三筆資料比較，可比較是否第 i+1 筆資料資料變化均超過 其他兩筆資料，若有則刪除此筆資料。倘若均無超過 15%，則此時將此筆資料視 為比較基準點，可在納入後續一筆資料逐一判斷。 本研究所蒐集的資料屬於大樣本性質，依照統計學原理當樣本數大於 30 時， 參數估計值的抽樣分配趨近於常態。而常態分配中大部份的觀測值，會落在距離 正負三倍標準差的範圍內，因此落在三倍標準差外的值視為離群值(Outlier)。
3.2.3 歷史資料庫的建立
歷史資料庫的建立
歷史資料庫的建立
歷史資料庫的建立
由所蒐集到交通資料透過 3.2.2節異常資料過濾模式，將過濾後的交通資料 建立歷史資料庫，其資料欄位說明如下： 表 2. 3 歷史資料庫欄位表 編號 欄位 型態 長度 欄位說明 1 ID nvarchar 50 VD 編號 2 detectdatetime datetime 8 收集日期 3 weekday int 4 星期別 4 Hour int 4 小時 0 20 40 60 80 100 120 140 0 :0 0 1 :1 0 2 :2 0 3 :3 0 4 :4 0 5 :5 0 14 圖 3. 3 速率異常分佈圖(VD-N3-N-47.980-M) 過濾條件： 本研究以資料逐筆過濾方式，將資料前後間的差值有劇烈變化者作為異常資 料過濾的條件，依序拿三筆資料出來，分別為資料編號 i-1, i ,i+1，假定第 i-1 筆 資料是比較基準點，而第 i 筆資料需與第 i-1 筆資料及第 i+1 筆資料比較，若資 料變化均超過 15%時，將第 i 筆資料視為異常資料，則刪除此筆資料。 然後在刪除第 i 筆資料後，只剩第 i-1 筆和第 i+1 筆資料，因此可在納入第 i+2 筆資料，則此時有三筆資料比較，可比較是否第 i+1 筆資料資料變化均超過 其他兩筆資料，若有則刪除此筆資料。倘若均無超過 15%，則此時將此筆資料視 為比較基準點，可在納入後續一筆資料逐一判斷。 本研究所蒐集的資料屬於大樣本性質，依照統計學原理當樣本數大於 30 時， 參數估計值的抽樣分配趨近於常態。而常態分配中大部份的觀測值，會落在距離 正負三倍標準差的範圍內，因此落在三倍標準差外的值視為離群值(Outlier)。3.2.3 歷史資料庫的建立
歷史資料庫的建立
歷史資料庫的建立
歷史資料庫的建立
由所蒐集到交通資料透過 3.2.2節異常資料過濾模式，將過濾後的交通資料 建立歷史資料庫，其資料欄位說明如下： 表 2. 3 歷史資料庫欄位表 編號 欄位 型態 長度 欄位說明 1 ID nvarchar 50 VD 編號 2 detectdatetime datetime 8 收集日期 3 weekday int 4 星期別 4 Hour int 4 小時 5 :5 0 7 :0 0 8 :1 0 9 :2 0 1 0 :3 0 1 1 :4 0 1 2 :5 0 1 4 :0 0 1 5 :1 0 1 6 :2 0 1 7 :3 0 1 8 :4 0 1 9 :5 0 2 1 :0 0 2 2 :1 0 2 3 :2 0 14 圖 3. 3 速率異常分佈圖(VD-N3-N-47.980-M) 過濾條件： 本研究以資料逐筆過濾方式，將資料前後間的差值有劇烈變化者作為異常資 料過濾的條件，依序拿三筆資料出來，分別為資料編號 i-1, i ,i+1，假定第 i-1 筆 資料是比較基準點，而第 i 筆資料需與第 i-1 筆資料及第 i+1 筆資料比較，若資 料變化均超過 15%時，將第 i 筆資料視為異常資料，則刪除此筆資料。 然後在刪除第 i 筆資料後，只剩第 i-1 筆和第 i+1 筆資料，因此可在納入第 i+2 筆資料，則此時有三筆資料比較，可比較是否第 i+1 筆資料資料變化均超過 其他兩筆資料，若有則刪除此筆資料。倘若均無超過 15%，則此時將此筆資料視 為比較基準點，可在納入後續一筆資料逐一判斷。 本研究所蒐集的資料屬於大樣本性質，依照統計學原理當樣本數大於 30 時， 參數估計值的抽樣分配趨近於常態。而常態分配中大部份的觀測值，會落在距離 正負三倍標準差的範圍內，因此落在三倍標準差外的值視為離群值(Outlier)。3.2.3 歷史資料庫的建立
歷史資料庫的建立
歷史資料庫的建立
歷史資料庫的建立
由所蒐集到交通資料透過 3.2.2節異常資料過濾模式，將過濾後的交通資料 建立歷史資料庫，其資料欄位說明如下： 表 2. 3 歷史資料庫欄位表 編號 欄位 型態 長度 欄位說明 1 ID nvarchar 50 VD 編號 2 detectdatetime datetime 8 收集日期 3 weekday int 4 星期別 4 Hour int 4 小時 2010/1/8(五) 2010/1/9(六) 2010/1/10(日)15 編號 欄位 型態 長度 欄位說明 5 min int 4 分鐘 6 Avg_speed int 4 平均速度 7 Total_flow int 4 平均流量 8 Avg_occ int 4 平均佔有率
3.2.4 灰關聯分析
灰關聯分析
灰關聯分析(Grey Relation Analysis; GRA)
灰關聯分析
本研究將單筆含有遺失值的資料稱為參考數列，而此參考數列內含有多個參 考數值，因此可利用灰關聯分析法從歷史交通資料庫裡，比對相同時段歷史數列 內的數值資料，並計算各參考數值與歷史數值的灰關聯係數值。 將灰關聯係數值加總後取平均可得到各歷史數列的灰關聯度值，則灰關聯度 值越高者，表示該筆歷史資料與含有遺失值的資料最相近。 因此可考慮含有遺失值的資料為參考數列： 1, 2, … , , 1, … , ， (1.1) 以 為遺失值，且 1, 2, 3, … , 。 而歷史數列資料為： 1, 2, … , , … , ，j=1,2,…,m 且 (1.2) 因此可先從歷史資料庫取相同時段之歷史數列，並取各歷史數列前 S 個數 值 ，以式(1.1)為單筆參考數列，以式(1.2)為歷史數列資料。 其計算步驟如下： (1) 求其參考數列和各歷史數列資料的差值，並找出差值數列最大值和最 小值。 則差值數列為 1 1, 2 2 , … , ; 1,2,3, … , ，" 1,2, … , # 因此可找出差值數列內 最小差值 ##$ , 1,2,3, … , ，j=1,2,…,m (1.3) 最大差值 #%#%$ , 1,2,3, … , ，j=1,2,…,m (1.4)
16 (2) 計算數值間的灰關聯係數 令與於數列中各數值的灰關聯係數為& ，其式子如下： & '()*'(), +,-$.,*$/0 '1,*'1,+,-$.,*$ -$.,*$/'1,*'1,+,-$.,*$ (1.5) 其中2 3 0,1。 2表為辨識係數，定義為背景值與待測值之間的對比，其大小可依據實際的 需要作適當的調整。吳漢雄[1996]所提出之數學證明中可得知，辨識係數 ρ只會 改變相對數值的大小，並不會造成相關因子對目標序列的高低，而影響灰關聯的 排序；因此一般皆假設為 0.5。 由灰關聯係數計算可知參考數列與歷史數列內的各數值其相關程度，本研究 需採用關聯度最大之歷史數列以利後續預測之用，因此將取各歷史數列的灰關聯 係數值加總後取其平均值。
(3) 計算灰關聯度(Grey Relational Grade ; GRG)
5 6 7∑ &7(96 ，" 1,2, … , # (1.6) ，d 表各歷史數列中其數值的個數。 經過灰關聯度計算後，依數值大小作排序，得知歷史數列與參考數列間之相 似程度。取出灰關聯度最大之歷史數列後，則可帶入 3.2.5 節灰預測 GM(1,1)模 式，即可預測出參考數列內其遺失值資料。
3.2.5 灰預測
灰預測
灰預測 GM(1,1)
灰預測
本研究係以灰預測 GM(1,1)為基礎，目的為了預測遺失值的未來情況，主要 優點為所需要的原始數據不多，數據大於四筆即可。在構建灰預測 GM(1,1)的數 列必須為一相同符號的數列，若有正負值符號不一致時，在灰生成時則會發生模 式無法計算之課題。以下說明其預測方式： 由 3.2.4 節找到灰關聯度最大之歷史數列 :1, 2, 3, … , ; ∑ $ (96 ， 1,2,3, … , (2.1) (1) 灰生成(Grey generating)17 可得累加生成序列，其中1 60
6 : , 61, 62, 63, … , 6; ∑ $(96 6 (2.2) 其中 1,2, … ,
(2) 灰建模(Grey model construction)生成
由式(2.2)可構建灰預測 GM(1,1)之一階單變量的微分方程式 7<= 7> %6 ?, %, ? 3 @ (2.3) 其中 t 為系統之自變數，a 為發展係數，b 為灰色控制變數，因此 a 與 b 為模式 之待定參數；6為背景值，7<= 7> 為一階導數。 在灰預測的計算過程上屬於時間間隔相等∆t 1)，因此可視為近似離散數 列之差方方程式。 7,=> 7> C ∆,=> ∆> 6D ∆D 6D 6D 1 6D D 1 (2.4) (3) 再 利用均值計算生成 X6背景值 6＝∑ $(96 , 1,2, … , n，令G6為6緊鄰的均值生成數列，則 G6 H62, H63, … , H6 (2.5) 其中H6 I6 1 I6 1， 2,3, … , n ，本研究取α 0.5 則G6 0.56 0.56 1 C 6D (2.6) 由式(2. 4)和(2. 6)可將 GM(1,1)灰微分方程7<= 7> %6 ? 轉化成 1 %G6 ? (2.7) 將其移項 1 %G6 1 ? 且藉由式(2.2)和(2.5)得到以下線性組合： 可轉化成矩陣形式：
18 L) M N N O62 63 … 6PQ Q R ，S T G62 1 G63 1 … G6 1 U (2.8) 因為V S%W，因此可利用最小平方法求解係數向量%W SXS.6SXL) Y%?Z。 (4) 將所求出係數向量%W所內含係數值 a 和 b 分別代入灰色微分方程，可得到灰 色累加（AGO）預測模型為[6 1，其表示式子如下： [6 1 Y1 \ 1Z ].1$ \ 1 (2.9) (5) 還 原 成[ 預 測 式 ， 以 逆 累 加 生 成 (Inverse Accumulated Generating Operation, IAGO )方式，可得到： [ Y1 \ 1Z 1 ]1].1$.6，其中 1,2,3, . . , 或 [ 1 [6 1 [6 (2.10) 因此可得預測數列 [ :W1, W2, W3, … , W; ，k=1,2,3,..,n (2.11) 以上步驟為灰預測 GM(1,1)模型，取 k=1,2,..,n 可計算得到預測值；然而由 鄧聚龍[1982]所提出灰色預測模式為一平滑的指數曲線，對於隨機性較大的數據 預測結果較差，且其預測精度易受數列波動的影響，會降低模型的預測精度。 為了提高 GM(1,1)模式之預測精確度，以往作法考慮原始值與預測值的關係， 來重新修正預測模式。而本研究採用劉思峰[1991]所提出殘差(Residual)的概念， 利用原始值減去預測值即可得到差異值。則其殘差式如下： ^ W (2.12) 可藉由式(2.1)與(2.11)得到殘差數列 ^ : , ^2, ^3, … , ^; ; 2,3, … , (2.13) 由式(2.13)將其殘差數列^ 做一次累加生成(AGO)，可得累加生成殘差數 列
19 ^6 : , ^63, ^64, … , ^6; ∑ ^$ 6 (9` ; 3, … , (2.13) 將式(2.13)計算累加生成殘差數列後，如同灰預測 GM(1,1)模式構建方式，由 (2.3)到(2.10)之計算，可重新建立 GM(1,1)殘差修正模式。 ^̂ b^2 \c 1cd 1 ] 1c].1c$.6，k=2,3,…,n (2.14） 而溫裕宏[1997]與 Hsu[2003]提出在建構 GM(1,1)殘差修正模式時，因受正負 號之影響，使構建模式之殘差數列具連續相同符號之殘差數據並不一定超過四筆， 因此可能違背灰預測 GM(1,1)模式之構建條件，有時會面臨到無法運算之困難。 目前已有多位學者利用灰預測 GM(1,1)為模式基礎，提出不同的殘差修正 GM 模型來改善灰預測的缺點，如溫裕宏[1997]與卓訓榮[2005]提出灰色馬可夫(Grey Markov)殘差修正法、Lee[2010]提出灰色基因(Grey Genetic Algorithm)殘差修正法 與 Erda[2010]所提出的灰色傅立葉（Grey Fourier）殘差修正法，其目的為了有效 解決殘差修正模式，因殘差值的正負號影響而使模式無法運算，導致無法有效提 昇灰預測的準確度。 本研究係以灰預測 GM(1,1)為模式基礎，並利用劉思峰[1991]殘差概念建立新 的修正模型，期許可對 GM(1,1)模式進行修正，以提高模式預測的準確度。 以下為其修正模式原理說明：
3.2.6 最小
最小
最小循環式殘差修正
最小
循環式殘差修正
循環式殘差修正(Minimum Recursive Residual GM(1,1);
循環式殘差修正
MRRGM(1,1))
由 3.2.5節可知灰預測 GM(1,1)修正法，都以殘差數列為基礎所發展的演算 法，而 GM(1,1)殘差修正模式無法構建主要原因為殘差值的正負號是隨機產生的， 因此有時會遇到模式無法運算的問題導致無法提昇灰預測 GM(1,1)的準確度。 有鑑於此，本研究為了解決殘差數列所產生的問題，因此將灰預測 GM(1,1)後 所得到的殘差值都取絕對值。 ^ e^2, ^3, … , ^f; 2,3, … , (3.1) 式(3.1)可解決模式構建的問題，由張廷政[2009]提出有些預測值與原始值的差 值過大，因此所得到的殘差絕對值再帶入 GM(1,1)殘差模式修正時，會讓其模式 所得到的預測值誤差更大，反而降低了預測的準確度。20 而本研究考量到此問題，因此從殘差數列中取絕對值最小殘差值，其目的為 了在 GM(1,1)預測模式修正時，可由差值最小者為基礎修正原預測模型，因此可 減少預測值與原始值差異過大的情況，而影響到模式的預測。其方法如下： (1)取絕對值最小殘差值 #$^ (3.2) (2) 將#$^ 加入式(2.11)之 Xg預測數列，可得到一組新的預測數列 L [ #$^ (3.3) (3) 再對數列yk做一次累加生成(AGO)可得y6k。 L6 :L61, L62, L63, … , L6; ∑ L$(96 6 (3.4) 1,2, … , n 利用均值計算生成y6背景值。 (4) 同 3.2.4 節灰建模生成計算可得到 a 和 b 值，並代入灰預測 GM(1,1)模式，因 此可得到一組新的 AGO 預測模型LW6 1。 LW6 1 YL1 \ 1Z ].1$ \ 1 (3.5) (5) 利用逆累加生成（IAGO）還原LW 1，可得： LW 1 YL1 \ 1Z 1 ]1].1$.6; 2,3, … , (3.6) 或 LW LW6 1 LW6 (3.7) (6) 則其殘差為 ^j yk LW (3.8) 殘差數列為 ^j :k^j2k, k^j3k, … , k^j k; ; 2,3, … , (3.9) (7) 同式(3.2)並重複上述步驟可得到#$k^L0 k的最小殘差值。
21
(8)則當所有殘差k^j k l 0時，即可停止最小循環式殘差修正法 MRRGM(1,1)。 (9)將修正後的 MRRGM(1,1)模式，即可預測 k=n+1 筆預測值。
本研究整合灰關聯分析(GRA)、灰預測 GM(1,1)和最小循環式殘差修正 MRRGM(1,1)等方法發展遺失資料插補模式，其計算流程圖 3. 4 如下：
22
23
3.3
3.3
3.3
3.3 範例說明
範例說明
範例說明
範例說明
本研究以單一偵測器為例，每五分鐘回傳一筆資訊，如流量、速率、佔有率等， 本範例以速率為探討對象。則此偵測器每一小時內有 12 筆資料，因此一天有 288 筆，並以歷史交通資料庫以供本演算法比對，其說明如下: 假設某一偵測器在 2010/01/25(一)由時間點 00:00 到 01:00 該偵測器所回傳不完 整數列為 X0=(103,108,109,116,106,90,95,98,*,*,*,…,*)，*表遺失值，則含有遺失 值之不完整數列有 8 筆數值。而時間點 00:35 所回傳的數值為 98，在之後時間點 沒有回傳資料回來，如圖 3. 5 所示: 圖 3. 5 車輛偵測器(VD)資料遺失示意圖 其計算步驟如下： (1) 先從歷史資料庫尋找同時段的歷史數列，再從其歷史數列中取其前 8 筆數值， 因此可找到 6 筆歷史數列。 X1=(109,90,96,104,99,101,111,93) X2=(116,109,105,100,90,89,94,101) X3=(100,108,108,97,100,107,106,107) X4=(110,109,113,108,109,113,104,100) X5=(112,113,118,104,103,94,93,106) X6=(104,105,100,91,96,94,95,86) 利用灰關聯分析法，從這 6 筆歷史數列中尋找一筆與含有遺失值資料 X0相似度 最接近的歷史數列。 X0=(103,108,109,116,106,90,95,98) (2) 分 別 計 算 差 值 序 列 為m m ，並找出最小值 ##$m"
、最大值#%"#% 0 "
。 差值數列 no 6 op= (6, 18 , 13,12 ,7 ,11 ,16 ,5) n o q op= (13, 1 , 4, 16, 16, 1, 1, 3)24 no ` op= (3, 0, 1, 19, 6, 17, 11 ,9) n o r op= (7, 1, 4, 8, 3, 23, 9 ,2) no s op= (9 ,5 ,9 ,12 ,3 ,4 ,2 ,8) no t op= (1 ,3 ,9 ,25 ,10 ,4 ,0 ,12) 其中 k=1,2,3,…,8，j=1,2,3,...,6 而最大值和最小值為 #%#%$m m=25 # #$ m m 0 (3)計算灰關聯係數 & '()*'(), +,-$.,*$/0 '1,*'1,+,-$.,*$ -$.,*$/'1,*'1,+,-$.,*$ ; ρ 0.5 則其所計算灰關聯係數如下: n&6p 0.676, 0.410, 0.490, 0.510, 0.641, 0.532, 0.439, 0.714) n&qp 0.490, 0.926, 0.758, 0.439, 0.439, 0.926, 0.926, 0.806) n&`p (0.806, 1.000, 0.926, 0.397, 0.676, 0.424, 0.532, 0.581) n&rp (0.641, 0.926, 0.758, 0.610, 0.806, 0.352, 0.581, 0.862) n&sp (0.581, 0.714, 0.581, 0.510, 0.806, 0.758, 0.862, 0.610) n&tp (0.926, 0.806, 0.581, 0.333, 0.556, 0.758, 1.000, 0.510) ;其中 j=1,2,3,…,6 (4)接著計算灰關聯度 5$76∑ &7(96 $D ; d=8 560.57; 5q 0.64; 5` 0.60; 5r0.65; 5s0.64; 5t 0.72，則以5t為 關聯度最大，表示與原始數列相關聯程度最大。 因 此 可用 第六筆歷史數列經由灰預測 GM(1,1)模式預測遺失值，再利用 MRRGM(1,1)模型修正去預測所有時間點的遺失值，以下以預測 00:40 遺失值為 例： (5)計算灰生成 利用 X6=(104,105,100,91,96,94,95,86)共八筆原始數值，欲預測第九筆遺失 值。 則歷史數列為(104,105,100,91,96,94,95,86) AGO 累加生成 : (－,209,309,400,496,590,685,771) 均值生成 : G<6 1 0.56 0.56 1 = (－,156.5,259,354.5,448,543,637.5,728) (6)計算灰建模 GM(1,1)，並求得 a 和 b
25 L) M N N N N N O209309 400 496 590 685 771PQ Q Q Q Q R ，S M N N N N N O 156.5 1 259 1 354.5 1 448 1 543 1 637.5 1 728 1 PQ Q Q Q Q R ，BTB Y1649186.75 3126.5 3126.5 7 Z SXS.6 Y 0 0.0018 0.0018 0.9321Z 可由最小平方法求得%W Y%?Z SXS.6SXL) 則 %W Y%?Z Y0.02413 106.0619Z (7)以逆累加生成方式（IAGO）求得[ 可得 AGO 累加生成函數 [6 1 Y104 106.0619 0.02413Z e .0.02143k106.0619 0.02413 則還原成 IAGO 逆累加生成函數 Xg0k Y104 106.0619 0.02413Z 1 e 0.02413e.0.02413k.1可得到Xg0k之預測值 表 2. 4 GM(1,1)計算值 K 1 2 3 4 5 6 7 8 x0k 104 105 100 91 96 94 95 86 xW0k 104 102.3134 99.8745 97.4936 95.1695 92.9009 90.6863 88.5245 ε0k 0 2.6866 0.1255 -6.4936 0.8305 1.0991 4.3137 -2.5245 (8) 計算殘差εk Xk Xgk (9) 判斷是否各^ 是否近似於零，若是則不需要做循環式殘差修正，可預測 遺失值。若否則需進行循環式殘差修正模型 MRRGM(1,1)，其修正步驟 如下： (10) 取模型預測誤差最小者 min∣^ =0.1255 ∣ (11) W #$^ 則可得到一筆新數列L （104.1255,102.4389,100,97.6191,95.295,93.0264,90.8118,88.65） (12) 生成循環式殘差修正模型 MRRGM(1,1) L W #$^ ;k=1~8，其計算步驟如下： (13) 計算灰生成 L數列為 : (104.1255, 102.4389, 100, 97.6191, 95.295, 93.0264, 90.8118, 88.65) AGO 生成 :
26 (－, 206.5644, 306.5644, 404.1835, 499.4785, 592.5049, 683.3167, 771.9667 ) 均值生成 : Zy1k 0.5y1k 0.5y1k 1 (－, 155.3450, 256.5644, 355.3740, 451.8310, 545.9917, 637.9108, 727.6417) (14) 計算灰建模 MRRGM(1,1)，並求得 a 和 b yn M N N N N N O206306.5644.5644 404.1835 499.4785 592.5049 683.3167 771.9667P Q Q Q Q Q R ，B M N N N N N O 155256.3450.5644 1 1 355.3740 1 451.8310 1 545.9917 1 637.9108 1 727.6417 1 P Q Q Q Q Q R BTB Y 1654898.8105 3130.6585 3130.6585 7 Z BTB.1 Y 0 0.0018 0.0018 0.9280Z 由最小平方法求得aW Ya bZ B TB.1BTy n 則 aW Y a bZ Y106 0.024094.18162Z (15) 利用 AGO 累加生成函數，還原成 IAGO 逆累加生成函數 y W0k z104.1255 1060.024094 { .18162 1 e0.024094e.0.024094k.1 可得到yW0k之預測值。 表 2. 5 MRRGM(1,1)計算值 K 1 2 3 4 5 6 7 8 y0k 104.1255 102.4389 100 97.6191 95.295 93.0264 90.8118 88.65 y W0k 104.1255 102.4338 99.9953 97.6148 95.2910 93.0225 90.8080 88.6462 ε0k ---- 0.0051 0.0047 0.0043 0.004 0.0039 0.0038 0.0038 當所有εk皆趨近於零，即可停止循環式殘差修正模型 MRRGM(1,1)，則可 用此模式來預測第九筆資料遺失值，即 k=9 帶入yWk可得到 86.5359 取四捨五 入即為 87。
27
3.
3.
3.
3.4
4
4
4 誤差分析
誤差分析
誤差分析
誤差分析
由於預測值與實際值間可能存在誤差，為進行下一點之預測，預測數據經前 一小節之步驟進行生成及建模後，須進一步檢驗其預測結果之準確性與適用性。本研究利用平均絕對值誤差百分比 (Mean Absolute Percebt Error, MAPE)做 為檢驗插補準確度績效的指標，因 MAPE 值較不易受到實際值與預測值的單位 和大小影響，可以客觀比較插補值與實際值之間的差異程度。其定義如式(4.1) |}~ )6∑ k,., , k 100% ) (96 (4.1) 其中xi為實際值，x為預測值，n 為預測個數 i 而平均絕對誤差百分比(MAPE)主要係衡量模式中未被解釋部分之百分比。 MAPE 值愈小，表示模式的預測能力愈強，模式預測結果與歷史資料吻合精確度 愈大。根據 Lewis[1982]所提出 MAPE 之評估標準，當 MAPE 值小於 10%時，表 示預測能力為高精準插補。 表 2. 6 MAPE 之評估標準 MAPE 等級 ＜10% 高精準插補 10~20% 優良插補 20~50% 合理插補 >50% 不正確插補
28
第四章實證分析
第四章實證分析
第四章實證分析
第四章實證分析
本章目的為了驗證本研究所提出的插補法是否有良好的績效，因此需要設計 實驗的測試方法，以驗證本演算法是否有良好的插補效果和適用的情境。 以國道三號高速公路之車輛偵測器作為測試對象，並透過 4.1.1節資料蒐集 取得歷史資料、4.1.2節異常資料過濾、4.2 節建立資料庫等，並由 4.3 節實證 分析設計不同遺漏之比例，根據時間插補設計原則，依偵測器所回傳的資料頻率， 因此所可分別測試兩種演算法在不同情境下插補準確度，以下針對各節加以說 明。4.1.1 資料蒐集
資料蒐集
資料蒐集
資料蒐集
本研究蒐集 2009/04/05~2010/04/05 期間國道三號北上龍潭收費站 46 公里 處到樹林收費站 72 公里處之間 VD 資料作為實證分析之對象，全長為 26 公里， 該路段共有 15 個偵測器。然而在這些偵測器中，如表 4.1- 1 中所示存在著各偵 測器資料遺漏的問題。 為了確保歷史資料的完整性，本研究採用缺漏率小於 10%之偵測器資料，因 此只測試 VD編號 N3-47.98、N3-50.38、N3-51.555、N3-54、N3-55.34，共 5 個 偵測器所蒐集到的資料，其餘偵測器資料則捨棄不用。 而這 5 個偵測器所蒐集資料內容包含 VD 編號、日期時間、總流量、平均速 度、佔有率等資料，其蒐集頻率為 5 分鐘/次，每小時共有 12 筆資料，每日資料 量為 288 筆，總蒐集天數為 365 天，因此每一偵測器應有 105,120 筆資料，來建 立歷史資料庫。 表 2. 7 龍潭到樹林收費站北上路段間偵測器之資料缺漏率 個數 1 2 3 4 5 6 VD 編號 N3-46.5 N3-47.98 N3-50.38 N3-51.555 N3-52.5 N3-54 缺漏率 11.25% 8.90% 8.70% 9.43% 13.90% 8.83% 遺漏數 11826 9355 9147 9911 14613 9280 個數 7 8 9 10 11 12 VD 編號 N3-55.34 N3-60.492 N3-61.99 N3-62.925 N3-64.000 N3-65.996 缺漏率 8.93% 18.68% 15.98% 18.52% 15.08% 15.24% 遺漏數 9391 19642 16801 19475 15848 16017 個數 13 14 15 VD 編號 N3-67.990 N3-69.510 N3-70.470 缺漏率 14.51% 14.99% 14.72% 遺漏數 15251 15755 1547229
4.1.2 異常
異常
異常資料過濾
異常
資料過濾
資料過濾
資料過濾
在建立歷史資料時，將所蒐集缺漏率小於 10%的 5 個偵測器資料，透過本模 式異常資料過濾模式，以資料前後間的差值有劇烈變化者作為異常資料過濾的條 件，因此本研究假定車輛偵測器(VD)於時間點 00:00 時所回傳的第一筆速率資料 為比較基準點。 而本研究分析 2010 年 1 月份 VD 變化程度，15 %為三倍標準差為條件下，因 此由 3.2.2 節過濾條件，可將異常資料過濾掉。4.2 建立資料庫
建立資料庫
建立資料庫
建立資料庫
本研究利用偵測器每五分鐘回傳資料建立歷史資料庫，所設計歷史資料庫欄 位說明如下： 表 2. 8 歷史資料庫欄位表 編號 欄位 型態 長度 欄位說明 1 ID nvarchar 50 VD 編號 2 detectdatetime datetime 8 收集日期 3 weekday int 4 星期別 4 Hour int 4 小時 5 min int 4 分鐘 6 Avg_speed int 4 平均速度 7 Total_flow int 4 平均流量 8 Avg_occ int 4 平均佔有率4.3 實證
實證
實證
實證方法
方法
方法
方法
本研究透過實際驗證下，了解本插補法在不同情境下其插補結果是否有良好 的績效。 以蒐集 2011/04/10 與 2011/04/11 兩天完整連續且不中斷的資料作為測試的 基礎，並將這兩天完整資料採用固定比例刪除方式 5%、10%、15％、…、50%， 因此共有 10 種資料遺漏值作為測試範例，由測試範例比較找到本演算法在不同 情境下的插補精確度。 為了比較兩種演算法 MRRGM(1,1)和 GM(1,1)插補法的差異，本研究採用時間 插補原則，其插補頻率為每 5 分鐘/筆。 本研究將所蒐集到兩天完整不中斷的資料，利用 4.3.1節隨機時間段遺漏產 本研究將所蒐集到兩天完整部中斷的資料，利用 4.3.1節隨機時間段遺漏產生 不同的遺漏方式。然後再將所建立的歷史資料庫，由 4.3.2節說明比對歷史資 料。此外，本研究採用多重插補法則以驗證在多次插補的情況下，其插補次數30 是否會影響插補的結果，於 4.3.3節說明其插補次數。
4.3.1 隨機時間段遺漏
隨機時間段遺漏
隨機時間段遺漏
隨機時間段遺漏
本研究在隨機時間段遺漏先假定每個時間點所遺漏的機率是相等的，並利用 均勻分配產生隨機亂數，其機率密度函數如圖 4.1 所示： 圖 4. 1 均勻分配機率密度函數 則為在區間I, 上均勻分布的隨機變數，以~I, 表示，其機率密度函數 可表示成 6 .。 本研究採用上述統計理論，將隨機時間段遺漏方式分為整日、尖峰時段與離 峰時段，且依照偵測器所回傳的頻率作為資料遺漏方式，其說明如下： 4.3.1.1 4.3.1.1 4.3.1.1 4.3.1.1 任意任意任意任意時時時時段遺漏段遺漏段遺漏段遺漏 將偵測器每日於 00:00 所傳回第 1 筆資料到偵測器於 23:55 回傳第 288 筆資 料，可表示成~1,288，依照不同遺失比例產生隨機時間段遺漏的起始點， 其說明如下所示： (1)若遺漏起始點<最大遺失比例（本研究為 50%）時，則產生遺失連續資料落在 當日(無跨日)的範圍，其說明如下圖 4.2 所示: < < − = 其他 , 0 , 1 ) ( β α α β x x f31 圖 4. 2 任意時段遺漏起始點未超過最大遺失比例 50%示意圖 (2)遺漏起始點≧最大遺失比例（本研究為 50%）時，則會產生遺失連續資料超 過當日（有跨日）的範圍，其說明如下圖 4.3 所示： 第1筆 最大遺失比例50%(第144筆) 第288筆 第576筆 若遺失起始點為第188筆，且遺失比例45%(130個) 遺失起始點為 第188筆 第318筆 第一天連續資料 第二天連續資料 130個遺失值 圖 4. 3 任意時段遺漏起始點超過最大遺失比例 50%示意圖 本研究主要目的為探討連續時間遺漏方式，因此為了解決圖 4.3 所產生遺 漏起始點的問題而影響到遺失資料比例正確性，所設計的計算方法如下列式子， 以確保隨機資料遺失比例的完整性。 隨機資料遺失比例 遺失值個數 2 兩天連續完整資料 4.3.1.2 4.3.1.2 4.3.1.2 4.3.1.2 尖峰時段尖峰時段尖峰時段尖峰時段遺漏遺漏遺漏遺漏 將偵測器於每日尖峰時段早上 07:00~09:00 和下午 17:00~19:00 所傳回 48筆資料，可表示成~1,48，依照不同遺失比例產生隨機時間段遺漏的起始
