本研究分別使用 F-ELM、OS-F-ELM 和 RSVD-F-ELM 三種方法在同樣的情境下進行分類和 迴歸資料集的訓練，分類資料集測試分類的正確率；迴歸資料集計算均方差。參數調整部分，標 準差𝜎分為三種情況，隨機在該範圍區間中產生：𝜎𝑎 = [0, 0.2]；𝜎𝑏= [0.2, 0.5]；𝜎𝑐 = [0, 0.5]。實 驗主要比較上述三種演算法在三種不同隨機範圍的𝜎狀態下，所展現的推廣能力。所使用的資料 集與其屬性在下列表有詳細說明。
一、 資料集介紹
在此實驗中，我們選用了8 個資料集進行實驗與結果比對，其中包含 4 個迴歸資料集和 4 個 分類資料集，為了驗證模糊極限學習機在不同種類資料的情況下所產生的結果，本實驗盡可能使 用不同的資料筆數、不同的特徵數量和不同數量類別的資料集來做實驗，以下會針對資料集的部 分進行介紹，表一、表二分別為迴歸資料集與分類資料集的資料集名稱、訓練與測試筆數和特徵 數量的總表，表三～表六為各迴歸資料集的資料欄位說明、表七～表十為各分類資料集的類別欄 位說明。
(一) 迴歸資料集介紹
1. Auto MPG[9]
表三為美國卡內基梅隆大學的 StatLib 取得，並經 CMU StatLib 修訂，用來分類汽車汽 缸。本實驗使用數據參考[9]所修訂的版本，含 392 筆資料，6 個特徵和 1 個輸出參數。
18
2. Kinematics of Robot Arm[9]
表四為8 link 之機械手臂的運動性資料與雜訊，內含 8 個輸入特徵和 1 個輸出參數。
3. California Housing[9]
表五由 1990 年，美國加州人口普查時所蒐集的區域性資料，包含該區域之經緯、人口
密度、屋齡和住戶均收入等資料來預測平均房價。該資料含8 個特徵和 1 個輸出參數。
4. 2D Planes[9]
表六為2D Planes 為人造資料集，由 10 個參數獨立透過(26)去產生訓練樣本的輸入特徵，
並依規則(27)產生測試輸出目標。此資料含 10 個輸入特徵和 1 個輸出參數。
𝑃 𝑋 = −1 = 𝑃 𝑋 = 1 =1 2
𝑃 𝑋 = −1 = 𝑃 𝑋 = 0 = 𝑃 𝑋 = 1 =1
3，n = 2,3, … … ,10
( 26 )
{ 𝑋 = 1，𝑌 = 3 + 3𝑋 + 2𝑋3+ 𝑋4+ 𝜎 0,1 𝑋 = −1，𝑌 = −3 + 3𝑋5+ 2𝑋6+ 𝑋7+ 𝜎 0,1
( 27 )
19
表一 迴歸資料集
資料集名稱 訓練資料數 測試資料數 特徵數量
Auto-MPG 196 196 6
Kinematics of Robot Arm 4000 4192 8
California Housing 10320 10320 8
2D Planes 10000 12784 10
表二 分類資料集
資料集名稱 訓練資料數 測試資料數 特徵數量 類別數量
Spam Emails 3000 1601 57 2
Page Blocks 2700 2773 10 5
Image Segmentation 1100 1210 19 7
Breast Cancer
Wisconsin Data Set 285 286 9 2
20
21
(二) 分類資料集介紹
1. Page Blocks[9]
資料是透過段落分析法，由檢測原始文件檔各區塊後，將該區塊內容依特徵分辨內容的 資料集。該資料含10 個輸入特徵和 5 種輸出類別，類別如表七所示。
表五 California Housing 資料欄位說明
特徵名稱 資料型態 特徵說明
longitude 實數 經度
latitude 實數 緯度
housingMedianAge 實數 住宅屋齡中位數
totalRooms 實數 總隔間數
totalBedrooms 實數 總寢室數
population 實數 人口
households 實數 戶數
medianIncome 實數 收入中位數
medianHouseValue 實數 房屋中值，輸出參數
表六 2D Plane 資料欄位說明
特徵名稱 資料型態
𝑋 ~𝑋 0 實數
𝑌 實數，輸出參數
22
2. Image Segmentation[9]
由7 種不同的室外影像以 3 × 3 像素大小取隨機區塊切割而成，依特徵 19 個輸入特徵
判斷該部分影像屬於哪種區域，最終分類的區域為輸出特徵，共有7 種不同的類別，類
別如表八所示。
3. Spam Emails[9]
判斷是否為垃圾郵件，比對特殊字元或字串，以該資料集捐贈者George Forman 為例，
當信件中提及 George 與其居住區碼 650 時，有高可能性為非垃圾郵件。此外對不同長 度之字串，配合文字特徵給予不同定義，如大小寫、連續大寫、標點等特徵，加以判斷 是否為垃圾郵件，分類類別分別為垃圾郵件(spam)與非垃圾郵件(non-spam)，類別如表九 所示。
4. Breast Cancer Wisconsin Data Set [17]
由威斯康辛大學，William 醫生所整理的乳癌診斷資料集，由癌細胞的細胞核特徵，如
23
表八 Image Segmentation 類別欄位說明
輸出類別名稱 輸出類別說明
Brickface 磚牆，以1 表示
Cement 水泥牆，以2 表示
Foliage 葉子，以3 表示
grass 草皮，以4 表示
Path 道路，以5 表示
Sky 天空，以6 表示
Window 窗戶，以7 表示
表十 Breast Cancer Wisconsin Data Set 類別欄位說明
輸出類別名稱 輸出類別說明
benign 腫瘤判斷為良性，以2 表示
malignant 腫瘤判斷為惡性，以4 表示
表九 Spam Emails 類別欄位說明
輸出類別名稱 輸出類別說明
spam 判斷為垃圾郵件，以1 表示
non-spam 判斷為非垃圾郵件，以0 表示
24
(三) 實驗流程
在本實驗中，為了找出各資料集最適應隱藏節點數，本研究參考[9]所使用之驗證方法。實驗 主要分為兩個階段，驗證階段和測試階段，驗證階段會先得到最佳節點數，測試階段再由最佳節 點數進行測試，分類資料的測試結果為準確率，迴歸的測試結果為均方差。
1. 步驟一：驗證階段。
驗證階段的主要目標為找出該資料的最佳隱藏層節點數。在每一次的驗證中，我們會從每
一筆訓練資料中先隨機取得75%的資料作為驗證的訓練樣本、剩下的 25%作為驗證測試樣
本。為了找出最適應隱藏節點，必須先測試每個驗證樣本集的準確性，驗證的隱藏層節點 數從1 開始逐漸累加至 100，每一種隱藏層節點數重複訓練 25 次，每次訓練皆重新取得隨 機標準差、C、D 矩陣。最後，每種節點數可以得到 25 個測試結果，由 25 個結果平均後進 行比較，若為分類資料，則取最大的準確率；若為迴歸資料，則取最小的均方根之節點數 作為最後測試所使用的節點數。以Page Blocks 分類資料集為例，最佳隱藏節點數計算之範 例如圖七所示，x 軸代表隱藏層節點的個數，y 軸代表測試的正確率，藍線、橘線和虛線分 別代表F-ELM、ELM 和 RSVD-F-ELM 在各隱藏節點數的測試正確率，圖七之 OS-F-ELM 在節點數等於 5 時有最高的平均正確率，F-OS-F-ELM 和 RSVD-F-OS-F-ELM 在節點數 91 時有最 高平均正確率，因此OS-F-ELM 在測試階段的最佳隱藏層節點數為 5，其他兩種方法則為 91，以此類推。
2. 步驟二：測試階段。
在本階段，每個訓練資料集會使用最佳節點數重複進行50 次訓練和測試，每次都將重新取
得隨機的標準差和C、D 矩陣。最終的測試結果為 50 次測試結果之平均值。
25
二、 實驗結果
本實驗使用三種不同的學習演算法，分別為 F-ELM、OS-F-ELM 和 RSVD-F-ELM 三種學習 演算法。其中F-ELM 為批次輸入的模糊極限學習機；OS-F-ELM 為套用了線上序列演算法[9]之 F-ELM；RSVD-F-ELM 為本論文所研究之主要方法，套用了遞迴式奇異值分解的 F-ELM，透過 遞迴式奇異值分解達到線上學習的能力。由以上三種學習演算法，分別使用三種不同範圍之隨機 標準差𝜎進行比較。𝜎的範圍分別為 0 至 0.2、0 至 0.5 和 0.2 至 0.5，當𝜎極度接近 0 時可能導致 訓練與測試的不穩定，使用較差的𝜎比較各方法在參數不穩定時的表現。實驗的比較結果在下列 各資料集的實驗中，以表格的方式呈現，使用的隱藏層節點數分別為對 F-ELM 有利、對 OS-F-ELM 有利以及對 RSVD-F-OS-F-ELM 有利，對該學習機有利之隱藏層節點數以粗體表示。三種不同之 標準差區間的最佳解以粗體字表示，最後各資料集的測試最佳解以*號標記。
圖七 最佳隱藏層節點數計算範例
40.00%
60.00%
80.00%
100.00%
1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96
Page Blocks 各隱藏節點數平均測試正確率
FELM OSFELM RSVDFELM
26
(一) 迴歸資料集實驗結果
表十一至表十四分別為2D Plane、Kinematics of Robot Arm、Auto MPG 和 California Housing
四個迴歸資料集的訓練和測試結果，其中平均訓練均方差與平均測試均方差分別為 50 次訓練與
測試所平均之結果，均方差愈小代表結果愈好，粗體字為該標準差範圍中的最佳數據，*代表三 種標準差範圍中的最佳數據。
1. 2D Plane：實驗結果如表十一所示，F-ELM、OS-F-ELM 與 RSVD-F-ELM 之最佳隱藏層節點 數皆為 95，當標準差範圍落在 0 到 0.2 區間以及 0 到 0.5 區間時，F-ELM 與 RSVD-F-ELM 較OS-F-ELM 穩定；當標準差區間為 0 到 0.5 時，F-ELM 和 RSVD-F-ELM 有最小的訓練和 測試均方差0.007 以及最小的平均標準差 0.005。
2. Kinematics of Robot Arm：實驗結果如表十二所示，F-ELM、OS-F-ELM 與 RSVD-F-ELM 之 最佳隱藏層節點數皆為 95，當標準差範圍落 0.2 到 0.5 區間時，F-ELM 和 RSVD-F-ELM 有 最小的測試均方差0.126 以及最小的標準差 0.003。
3. Auto MPG：迴歸測試結果如表十三，F-ELM 與 RSVD-F-ELM 之隱藏層節點數皆為 31；OS-F-ELM 的隱藏層節點數為 34。當標準差範圍落 0.2 到 0.5 區間且隱藏層節點數為 34 時，F-ELM 和 RSVD-F-時，F-ELM 有最小的測試均方差 0.005；隱藏層節點數為 31 時有最小的平均測試 標準差0.01。
4. California Housing：迴歸測試結果如表十四，F-ELM 與 RSVD-F-ELM 之隱藏層節點數皆為 71；OS-F-ELM 的隱藏層節點數為 11。當隱藏層節點數為 71 且標準差範圍落 0.2 到 0.5 區間 時，F-ELM 和 RSVD-F-ELM 有最小的測試均方差 0.129。
27
OS-F-ELM 5.51E+14 6.01E+14 3.89E+15 4.25E+15 2190.81*
RSVDFELM 0.013 0.014 0.009 0.009 2249.06
F-ELM
[0, 0.5]
0.007* 0.007* 0.005* 0.005* 2310.03
OS-F-ELM 2.09E+19 2.04E+19 1.10E+20 1.08E+20 2304.48
RSVDFELM 0.007* 0.007* 0.005* 0.005* 2312.24
28
29
30
31
(二) 分類資料集實驗結果
表十五至表十八分別為 Image Segmentation、Page Block、Spam Emails 和 Breast Cancer Wisconsin 四個資料集的訓練和測試結果，其中平均訓練正確率與平均測試正確率分別為 50 次訓 練與測試所平均之結果，正確率愈大代表結果愈好，粗體字為該標準差範圍中的最佳數據，*代 表三種標準差範圍中的最佳數據。。
1. Image Segmentation：分類測試結果如表十五所示，F-ELM 與 RSVD-F-ELM 之隱藏層節點 數皆為98；OS-F-ELM 的隱藏層節點數為 81。當隱藏層節點數為 98 且標準差範圍落 0.2 到 0.5 區間時，F-ELM 和 RSVD-F-ELM 有最好的測試分類正確率 93.14%以及最小的平均訓 練、測試標準差0.007。
2. Page Block：測試結果如表十六所示，F-ELM 與 RSVD-F-ELM 之最佳隱藏層節點數皆為 91；OS-F-ELM 的最佳隱藏層節點數為 5。當隱藏層節點數為 91 且標準差範圍落 0.2 到 0.5 區間時，F-ELM 和 RSVD-F-ELM 有最高的測試分類正確率 95.32%以及最小的平均測試標 準差0.003。
3. Spam Emails：分類測試結果如表十七，F-ELM 與 RSVD-F-ELM 之最佳隱藏層節點數皆為 98；OS-F-ELM 的最佳隱藏層節點數為 81。當隱藏層節點數為 98，且標準差範圍落 0.2 到 0.5 區間時，F-ELM 和 RSVD-F-ELM 有最好的分類正確率 85.25%。
4. Breast Cancer Wisconsin：分類測試結果如表十八所示，F-ELM 與 RSVD-F-ELM 之最佳隱 藏層節點數皆為91；OS-F-ELM 的最佳隱藏層節點數為 5。當隱藏層節點數為 30 且標準差 範圍落0.2 到 0.5 區間時，F-ELM 和 RSVD-F-ELM 有最好的分類正確率 95.81%以及最小的 平均測試標準差0.007。
32
33
34
35
表十八 Breast Cancer Wisconsin Data Set 實驗結果
方法 隱藏層
36
(三) 實驗總結
由上述實驗結果中可以發現，不管在分類資料集或迴歸資料集，當σ的範圍落在[0, 0.2]或 [0,0.5]兩種區間時，RSVD-F-ELM 的訓練與測試結果皆較 OS-F-ELM 好。若將對 RSVD-F-ELM 有利的隱藏層節點數之實驗稱為A 實驗，對 OS-F-ELM 有利則稱 B 實驗，從實驗結果中可以發
由上述實驗結果中可以發現，不管在分類資料集或迴歸資料集，當σ的範圍落在[0, 0.2]或 [0,0.5]兩種區間時，RSVD-F-ELM 的訓練與測試結果皆較 OS-F-ELM 好。若將對 RSVD-F-ELM 有利的隱藏層節點數之實驗稱為A 實驗，對 OS-F-ELM 有利則稱 B 實驗，從實驗結果中可以發