國
立 政 治 大 學
‧
Na tiona
l Ch engchi University 圖8: LSTM
2.4 Stacked Autoencoders
從前幾節介紹中, 類神經網路模型在結構的架構上有許多的變形與進化, 從最基本的前饋類神經網路 (FNN) 能夠以非線性的估計方式估計匯率, 到 循環類神經網路(RNN)的長短期網路架構(LSTM)能夠保存多期的資訊的 能力, 都解釋了如何控制與轉換資料的訊息量是非常的重要的, 近期類神經 網路的架構不斷在更新與演進,包含Deep Boltzmann Machines (DBMs),Deep Belief Networks (DBNs),Autoencoder (AE),Stacked Autoencoders (SAEs),Re-stricted Boltzman Machines (RBMs),Convolutional Neural Networks (CNNs),
等模型,而本文參考Bao et al. (2017)使用的Stacked Autoencoders (SAEs)
模型架構結合循環類神經網路模型來進行匯率的預測,SAEs模型由
Autoen-coder 模型所疊加而成,Autoencoder透過輸入變數與輸出變數為同一組數值
‧
的模擬輸入值代表著 Autoencoder 模型能夠有效地保存最有用的資訊而達 到降低誤差干擾的效果。2.4.1 單層 Autoencoder 模型
單層的 Autoencoder 模型為三層的類神經網路, 如圖 9,第一層與第三層 型相同,f 的部分本文採用 Rectified Linear Unit (ReLU) 來作為激活函數
(Activation Function), 而目標函數在此不同於前節類神經網路的目標函式
定義,SAEs 定義是如下:
‧
國立 政 治 大 學
‧
Na tiona
l Ch engchi University 圖9: 單層Auto encoder結構
過度配適 (Overfitting) 的情況,J wd 為衡量輸入向量與輸出向量之間的 KL 散度 (Kullback–Leibler Divergence), 用意在於衡量輸入與輸出值之間分布 的相似程度。
Jsp = (1/2) ∗ λ(kW1k2+ kW2k2), (18)
Jwd = β ∗
m
X
t=1
KL(ρt|| ρ∗t), (19)
參數 λ 與 β 為目標函數的超參數, 用來控制目標函式衡量目標的分配權重, 例如: λ 訂的較高, 過大的權重會造成目標函數數值更顯著的上升, 因此模 型會偏好調整成較稀疏的權重。
2.4.2 多層 Autoencoder 模型
模型由多個 AE 所組成, 下圖 10 為 5 層 SAEs 的結構, 此 5 層結構亦 為本文所使用的堆疊數量,SAEs模型的參數訓練是漸進的, 首先先訓練一個
‧
國立 政 治 大 學
‧
Na tiona
l Ch engchi University 圖10: Stacked Auto encoder結構
AE, 訓練完成後將最後一層重組層去除,將剩下的前兩層當成是訓練下一個
AE 模型的輸入層, 亦即的一個 AE 模型留下的前兩層訓練完後, 參數會固 定, 不會再被下一層疊上的 AE 模型所改變, 重複此動作不斷的疊加直到第
5 層為止, 在本文中堆疊至五層的原因是經由測試 3 到 10 層過後, 第 5 層 的效果最為卓越, 而輸入向量與重組向量的選擇也經由誤差測試來決定。
3 實證方法
3.1
資料說明本文所採用各國匯率資料來自 Datastream 資料庫, 所採用之樣本期間為
1994/08/31 到 2018/01/24 , 頻率為日資料, 共 6106 筆, 樣本採用各國貨幣 兌美元的匯率,所研究之貨幣包含,台幣(TWD)、歐元(EUR)、英鎊(GBP)、 日圓 、人民幣 、韓寰 等 種已開發市場之貨幣兌美元
‧
率 (Federal Fund Rate) 等日資料來探討新增加之變數是否會加強模型預測
精準度。 其中, 油價與利率來源取自於 Datastream 資料庫, 我們將杜拜原 油與布侖特原油以 7D3B 的比例計算台灣油價;金價資料取自世界黃金協會
(World Gold Council) 資料庫, 油價與金價皆以美元計價。 本篇論文將依上 述 10 種原始資料, 以常用數據處理套件 (Sklearn) 中的標準化方式 (
Nor-malization , Minimax Scaler) 轉換數據成為輸入模型的資料。