第一章 緒論
一、 研究背景與動機
近年來，因感測硬體的進步與儲存裝置容量的大幅提升，大量資料得以被蒐集與保存，這 些由數種大型資料集所組成的資料集合，即為大數據的基本概念。這些大型資料集就如同一座未 經開墾的金礦，需經過統計、分析和整理等資料庫知識發現方法(Knowledge Discover in Database;
KDD)後，才能發現隱藏在大量數據中具有價值的部分。然而這些大型資料集已超出人類的計算 和分析極限，必須藉由計算機輔助以統計、解析與資料視覺化這些數據。而針對不同種類的問題 與需求，存在不同的分析方法，這些分析方法的發明與改良至今仍是熱門的議題。
圖一 神經元示意圖
2
目前較常見應用於 KDD 的資料分析方法有:支持向量機、決策樹、人工神經網路(artificial neural network; ANN )、關聯法則等演算法。其中 ANN 的自我學習能力與調整能力強，亦可適用 於非線性函數，相較於一般邏輯性的推導，更能解決高複雜度的問題，而成為近年來熱門的研究 對象。ANN 是以人工神經元(artificial neurons)為基礎，透過模擬生物中樞神經結構的數學模型，
一個完整的神經元需具備輸入值、權重(weight)、閥值(bias)、傳遞函數和輸出，如圖一所示。神 經元通常由前往後傳遞，由數個神經元結合成隱藏層(hidden layer)，隱藏層內部包含的神經元則 稱為隱藏節點(hidden nodes)。依照問題的複雜程度，ANN 所需的隱藏神經元數量會有差異。按 照所使用的隱藏神經元層數的多寡，可以將 ANN 區分為單隱藏層(single layer)和多隱藏層 (multiple layer)兩種架構，如圖二、圖三所示。依 ANN 神經元傳遞的方式不同，可以區分為由前 往後傳遞的前饋式神經網路(feedforward neurons network; FNN)和將輸出往前回饋的遞迴式神經 網路(recurrent neurons network; RNN)。ANN 可以透過調整權重及神經元的反覆傳遞使最終的輸 出 結 果 與 目 標 相 近 ， 最 終 達 到 收 斂(convergence) ， 這 段 過 程 稱 之 為 訓 練 (training) 。
圖二 單隱藏層ANN 示意圖
…… ……
輸入層 隱藏層 輸出層
……
3
然而隨著資料量的大幅增加和問題的複雜程度的提升，為了解決更複雜的問題，ANN 只好 提升隱藏層數量和神經元數量，然而提升隱藏層數量會導致訓練資源和訓練時間大幅增加。為了 使訓練更快速，Huang 等人提出了單隱藏層前饋式神經網路架構(single hidden layer feedforward neural network; SLFN)[1]的極限學習機(extreme learning machine; ELM)[1]。ELM 會配合資料量決 定初始的隱藏層神經元數量，並且用隨機的方式產生隱藏層權重與隱藏節點閥值，以達到縮短訓 練時間的目的。因此，比起傳統的ANN，ELM 更能大幅縮短訓練時間和資源消耗。為了減少 ELM 訓練時所需的資源，Huang 等人使用了遞迴最小平方法(recursive least-square algorithm; RLS)[9]，
提出線上序列極限學習機(online sequential ELM; OS-ELM)[9]加以改良。由於以往批次(batch)訓 練的 ELM 在訓練階段時，需要完整的資料輸入才能進行訓練。而加入 RLS 的 OS-ELM 會先取 得少量的資料，對該資料進行訓練並產生初始輸出，用該輸出作為下一批資料的訓練依據，並加 入下一次訓練。透過這種遞迴更新的訓練方式，得以改善批次輸入資料的高成本或資料過時等問 題。此外Wong 等人針對極限學習機解釋性較差的問題，以模糊推論系統(fuzzy inference system;
圖三 多隱藏層ANN 示意圖
4
FIS)取代原本 ELM 使用的傳遞函數，提出了模糊極限學習機(fuzzy extreme learning machine; F-ELM)[6]，FIS 使用了模糊邏輯將精確的輸入映射到模糊集合，借模糊邏輯來模擬人類決策的邏 輯，使得F-ELM 在結果的解釋性和複雜問題的適應性有明顯的改善。
二、 研究目的
本研究的主要目的有兩個，其一是實現 F-ELM 的線上學習能力，另一目的為穩定線上學習
後的分類與迴歸分析結果。本研究基於F-ELM 的基礎架構，先嘗試合併 OS-ELM 的學習演算法，
成為線上序列模糊極限學習機(online sequential F-ELM; OS-F-ELM)，使 OS-F-ELM 能取得最新資 料後更新輸出參數。然而OS-F-ELM 容易受到隱藏層權重影響，使分類或迴歸分析可能出現極差 的結果，此結果會嚴重影響後續新加入資料的訓練與測試。為了改善OS-F-ELM 不穩定的問題，
本研究結合F-ELM 與遞迴奇異值分解(recursive singular value decomposition; RSVD)提出遞迴式 奇異值分解模糊極限學習機(recursive singular value decomposition F-ELM; RSVD-F-ELM)，改用 RSVD 優化和傳遞輸出參數，最終達到提高分析結果穩定性和達成線上學習目的。
5