‧
其中𝐼為指示函數(Indicator function)，當𝐼下標條件成立時，𝐼值為 1，其餘 情況為 0。
‧
‧
Schuurmans (2009)和 Dubrov(2015)均針對此方法進行了實證測試。與之前演算法類似，也是將狀態函數近似為𝑄 𝑠', 𝑡 = 𝑤C𝜙(𝑆', 𝑡)，但
‧
‧
and Schwartz (2001)所建議的，使用以下基函數組合：設𝑆< = 𝑆/𝐾，因為exp (−𝑆/2)會很快趨近於 0。LSM 方法不同時間點有不同 之權重，所以使用以上基函數即可， G_4"𝜙_(𝑠')𝑤'_。但在 LSPI 與 FQI 方法 中，狀態空間中除了股價𝑆變量，還有時間𝑡。因此需要增加三個與時間相 關之基函數：
此基函數根據 Duffie(2001)文章所選定。LSPI 與 FQI 使用這總共七個基函 數計算狀態價值， ‹_4"𝜙_(𝑠', 𝑡)𝑤_。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
本章論述強化學習之基本假設及建構理論與步驟，推導出應用於美式 選擇權之方式，第四章將詳細說明如何利用實際美式選擇權市場資料進行 定價並分析結果準確性，最後則為各參數之敏感度分析。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
第 四 章 實證分析
本章使用第 3 章所描述之兩種強化學習模型與傳統最小平方蒙地卡羅 方法進行數值分析比較不同方法之定價準確性，本章欲評價之選擇權為在 Nasdaq 交易，以蘋果公司股票為標的之美式選擇權。Nasdaq 中文名稱為那 斯達克股票交易所，是一間於 1971 年創立的美國電子股票交易所，目前是 世界第二大證券交易所，那斯達克交易所上市的公司以高科技產業公司為 主，包括蘋果(Apple Inc.)、微軟(Microsoft)、英特爾(Intel Corporation)、戴 爾(Dell Inc.)、思科(Cisco Systems, Inc.)等。蘋果公司股票選擇權均為美式 選擇權且可在任一交易日選擇履約，履約價以 5 元為單位變化。本章所使 用之市場價格資料為 2019 年 3 月 15 日到期的以價平為中心上下不同 7 檔 履約價之選擇權資料，在實證資料處理章節會有更加詳細的說明。
第 3 章建立之評價模型需輸入之參數資料為股票市場價格、模擬股價 路徑所需之股價變動度與波動度、市場無風險利率與決策次數，這些參數 均通過市場之歷史資料估計得到。
4.1.1 小節描述如何用選擇權價平時之資料進行縮放以訓練模型。4.1.2 小節將測試資料用訓練完成之模型進行評價後，比較模型計算之價格相對 實際市場價格的準確度。4.2 節對股價、股價變動度、股價波動度、無風 險利率這四個參數進行敏感度分析。
第⼀節 實證方法
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
價分別為 170、175、180、185、190、195、200 的賣權最新價，取樣區間 為到期前 81 個工作日至到期前 2 個工作日共 80 天，也就是 2018 年 11 月 14 號至 2019 年 3 月 13 日，由 Bloomberg 資料庫抓取，資料總數為 560 筆，
此期間少數幾日因無成交量而缺失之最新價由前後兩日價格平均值取代。
因本文所使用的模型至少需要兩日以上的決策步驟計算才可以進行定價，
故去除接近到期兩個工作日的資料。模型所使用之股票市場價格為 2018 年 11 月 14 號至 2019 年 3 月 13 日調整前收盤價，股價變動率為當日股票 報酬率，股價波動率是以當日為基準過去一年之股價標準差，市場無風險 利率為美國十年期國債年化利率之當日收盤價，決策次數為選擇權離到期 剩餘之工作日天數。股價路徑模擬之蒙地卡羅法遵循幾何布朗運動之隨機 過程。
由圖 4.1 可觀察到本章所選擇之美式賣權在到期時對應股價為 186，
故取履約價 185 之賣權為價平選擇權，並以此履約價為中心上下各取 3 檔 履約價為價內及價外選擇權。
圖 4. 1 評價期間的股價波動及最高股價與最低股價
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4. 2 不同到期天數模型訓練結果比較
表 3 模型由縮放資料訓練後得到之模擬價格與實際價格縮放值之相對誤差數據
LSPI FQI LSM
平 均 值 Mean 0.1431 0.1413 0.1381
標 準 差SD 0.1995 0.1994 0.1974
均 方 根 誤 差 RMSE 0.2444 0.2434 0.2399
圖 4.2 為 LSPI、FQI、LSM 三種模型訓練資料後得到之模擬價格與同 等縮放後之履約價 185 賣權市場價格之比較圖與對應之相對誤差比較圖，
三種模型在訓練時所得之結果較為相近並在距到期 60 天內都與市場價值 幾乎吻合，60-80 天期之價格因長期價格模擬與市場價格之誤差變大導致 結果與實際之誤差增大。表 3 為相對誤差之總體平均值與標準差，LSM 在 模型訓練時之結果平均誤差與標準差均最小，因為 LSPI 與 FQI 方法為通 過迭代手段逼近得到權重，而 LSM 是使用逐步逆推之方法得到權重，故
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
LSM 在訓練時之表現較好。
（二） 模型套用及結果
本小節將履約價為 170、175、180、185、190、195、200 之賣權資料分 別套用於 LSPI、FQI 和 LSM 模型，三種模型套用方式相似，詳細步驟如 下：
1. 取樣期間 80 天每日均根據當日之股價與股價變動率、股價波動率模擬 5000 次得到股價擴散模擬路徑。
2. 將 80 日每日之模擬路徑使用訓練得到之權重直接計算得到每一步驟 之持有價值。
3. 分別判斷每條路徑每個決策點持有價值與履約價值大小，得到各路徑 之最佳履約時間，折現得到單一路徑價值，將所有路徑價值取平均即 為預測之選擇權當前價值。
因模型訓練時迭代得到權重之過程計算耗能相對大，耗時長，直接利 用上一小節模型訓練得到之權重進行套用的方法可明顯提高計算速度、大 幅降低計算成本。
本小節將得到預測之價格與實際市場價格進行比較，計算兩者之相對 誤差大小，並觀察平均值、標準差與均方根誤差，以便於比較不同方法在 不同到期日下之預測準確性。
圖 4.3 至圖 4.9 分別為不同履約價之測試結果，表 4 至表 10 為不同履
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
約價下定價結果之相對誤差平均值、標準差與均方根誤差。對於愈價外的 賣權，LSPI、FQI 與 LSM 方法之誤差均增大，反之，愈接近價平至深價內 預測結果與市場交易最新價愈為接近。同時，距離到期日愈近之賣權預測 結果愈好，愈遠期產生的誤差有逐漸增大之趨勢。但總體而言，對於遠期 賣權價值預測，LSPI 與 FQI 之預測結果優於 LSM 方法。
圖 4. 3 履約價 K=170 時，到期日前 2 日至前 81 日 LSPI、FQI、LSM 模型每日 預測賣權價格與市場價格之折線圖及對應之相對誤差折線圖
表 4 履約價 K=170 時所有到期日相對誤差之平均值與標準差
LSPI FQI LSM
平 均 值Mean 0.4284 0.5554 0.4407
標 準 差SD 0.4970 0.6480 0.4867
均 方 根 誤 差 RMSE 0.6562 0.8535 0.6566
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4. 4 履約價 K=175 時，到期日前 2 日至前 81 日 LSPI、FQI、LSM 模型每日 預測賣權價格與市場價格之折線圖及對應之相對誤差折線圖
表 5 履約價 K=175 時所有到期日相對誤差之平均值與標準差
LSPI FQI LSM
平 均 值 Mean 0.2480 0.3196 0.3070
標 準 差 SD 0.2622 0.3508 0.2617
均 方 根 誤 差 RMSE 0.3609 0.4746 0.4034
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4. 5 履約價 K=180 時，到期日前 2 日至前 81 日 LSPI、FQI、LSM 模型每日 預測賣權價格與市場價格之折線圖及對應之相對誤差折線圖
表 6 履約價 K=180 時所有到期日相對誤差之平均值與標準差
LSPI FQI LSM
平 均 值 Mean 0.1350 0.1866 0.2083
標 準 差 SD 0.1408 0.2019 0.2322
均 方 根 誤 差 RMSE 0.1959 0.2613 0.3011
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4. 6 履約價 K=185 時，到期日前 2 日至前 81 日 LSPI、FQI、LSM 模型每日 預測賣權價格與市場價格之折線圖及對應之相對誤差折線圖
表 7 履約價 K=185 時所有到期日相對誤差之平均值與標準差
LSPI FQI LSM
平 均 值Mean 0.0830 0.1235 0.1474
標 準 差SD 0.1067 0.1969 0.2107
均 方 根 誤 差 RMSE 0.1381 0.2209 0.2503
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4. 7 履約價 K=190 時，到期日前 2 日至前 81 日 LSPI、FQI、LSM 模型每日 預測賣權價格與市場價格之折線圖及對應之相對誤差折線圖
表 8 履約價 K=190 時所有到期日相對誤差之平均值與標準差
LSPI FQI LSM
平 均 值 Mean 0.0601 0.0847 0.1092
標 準 差 SD 0.1187 0.1816 0.1859
均 方 根 誤 差 RMSE 0.1350 0.2015 0.2102
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4. 8 履約價 K=195 時，到期日前 2 日至前 81 日 LSPI、FQI、LSM 模型每日 預測賣權價格與市場價格之折線圖及對應之相對誤差折線圖
表 9 履約價 K=195 時所有到期日相對誤差之平均值與標準差
LSPI FQI LSM
平 均 值 Mean 0.0517 0.0644 0.0820
標 準 差SD 0.1204 0.1456 0.1508
均 方 根 誤 差 RMSE 0.1318 0.1606 0.1692
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4. 9 履約價 K=200 時，到期日前 2 日至前 81 日 LSPI、FQI、LSM 模型每日 預測賣權價格與市場價格之折線圖及對應之相對誤差折線圖
表 10 履約價 K=200 時所有到期日相對誤差之平均值與標準差
LSPI FQI LSM
平 均 值 Mean 0.0417 0.0496 0.0594
標 準 差 SD 0.0905 0.1011 0.1045
均 方 根 誤 差 RMSE 0.0993 0.1138 0.1187
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
總結不同履約價下 LSPI、FQI 及 LSM 模型定價誤差之平均值與標準 差及均方根誤差如下三圖：
圖 4. 10 履約價為 170-200 時 LSPI、FQI 與 LSM 之平均相對誤差
表 11 履約價為 170-200 時 LSPI、FQI 與 LSM 之平均相對誤差
170 175 180 185 190 195 200
LSPI 0.4330 0.2466 0.1350 0.0830 0.0601 0.0517 0.0417
FQI 0.5653 0.3186 0.1866 0.1235 0.0847 0.0644 0.0496
LSM 0.4404 0.3071 0.2083 0.1474 0.1092 0.0820 0.0594
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4. 11 履約價為 170-200 時 LSPI、FQI 與 LSM 之平均相對誤差標準差
表 12 履約價 170-200 時 LSPI、FQI 與 LSM 之平均相對誤差標準差
170 175 180 185 190 195 200
LSPI 0.5023 0.2631 0.1408 0.1067 0.1187 0.1204 0.0905
FQI 0.6618 0.3512 0.2019 0.1969 0.1816 0.1456 0.1011
LSM 0.4894 0.2622 0.2322 0.2107 0.1859 0.1508 0.1045
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4. 12 履約價為 170-200 時 LSPI、FQI 與 LSM 之均方根誤差
表 13 履約價 170-200 時 LSPI、FQI 與 LSM 之均方根誤差
170 175 180 185 190 195 200
LSPI 0.6562 0.3610 0.1959 0.1381 0.1350 0.1318 0.0993
FQI 0.8535 0.4746 0.2613 0.2209 0.2015 0.1606 0.1138
LSM 0.6566 0.4034 0.3011 0.2503 0.2102 0.1692 0.1187
由圖 4.10 所示，在所有履約價之賣權價格預測中，LSPI 方法之相對 誤差均小於傳統LSM 方法，FQI 在大部分情況下準確性也高於 LSM 方法。
圖 4.12 顯示用於測量模擬值與真實值差距的均方根誤差也呈現了相同的 結果。通過圖 4.11 描繪之相對誤差之標準差圖也可以觀察到總體 LSPI 預 測之穩定性優於 LSM，FQI 在較價內的履約價預測穩定性表現比 LSM 好。
總體而言，對於本節所討論之選擇權區間，LSPI 與 FQI 之評價準確性與穩 定性均比 LSM 有所改善。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
第⼆節 敏感度分析
本部分探討模型中各參數對於模型評價之影響，針對 LSPI 模型，給定 該參數一個變動比率區間，在其他參數值皆固定之情況下，對於不同履約 價下評價結果之影響 。本章評價之天數較多無法一一比較，又因為過於遠 期之模型評價結果誤差較大，近到期模型評價結果受參數變動之影響較小 不便觀察比較，故選擇距到期 70 日之賣權進行敏感度分析。在 70 日資料 中，股價為 178.58、股價變動率為-0.054%、股價波動率為 19.833%、無風 險利率為 3.01%，以下小節根據這幾個參數進行分析，觀察參數變動一個 單位時，不同價內外程度𝑆/𝐾之賣權價格變動趨勢。因強化學習模型預測 有隨機性，故取 10 次結果之平均觀察定價變化。
（一） 股價
此小節衡量賣權標的物股票價格變動對於賣權價格之影響，圖 4.13 描 述股票價格上升一元與下降一元時，賣權價格變動之大小。
由圖 4.13 可知，LSPI 模型下，股價上漲時，賣權價格下跌，股價下 跌時，賣權價格上升，呈現反向關係，與歐式選擇權理論相符。賣權越接
由圖 4.13 可知，LSPI 模型下，股價上漲時，賣權價格下跌，股價下 跌時，賣權價格上升，呈現反向關係，與歐式選擇權理論相符。賣權越接