第四章 實驗設計與實證結果
第二節 實證結果
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
16
第二節 實證結果
實驗一：天數與門檻值之影響
此實驗目的是針對不同新聞來源，找出合適的新聞類別定義方式，累計超 額報酬的天數分為一個交易日、三個交易日及五個交易日，門檻值分為 1%、
2%、5%及 10%，考慮到過去台股漲跌幅 7%的限制，實驗中將不出現「一日」搭 配「10%」之組合，以下以不同的新聞來源及類別進行分析。
1.台灣經濟新報生技股
在分類為漲時，Precision 和門檻值呈反比，和天數呈正比，此一現象在分 類為跌時也有類似之情形，只有在「一日」及「5%」的組合中出現較大的偏 離；而在分類為平的結果則與其他兩者不同，Precision 和門檻值呈正比，和天 數較偏向呈反比。
圖 4-1：TEJ 生技股 Precision 比較
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
17
F-measure 的變動趨勢和 Precision 一致，顯示當門檻值上升時，無論在精 確度或模型整體成效上皆對漲、跌二類別不利，而天數上升時，則對模型分類 有正面效果。
圖 4-2：TEJ 生技股 F-measure 比較
2.台灣經濟新報電子股
電子股的實驗結果與生技股相近，在漲、跌二類別中，Precision 和門檻值 有更明顯的反比，且依然和天數呈正比；而在分類為平的結果也與生技股一樣 出現和門檻值呈正比，和天數呈反比的現象。F-measure 之實驗結果也與生技股 相同，在此不多列舉。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
18
圖 4-3：TEJ 電子股 Precision 比較 3.鉅亨網
在漲、跌二類別中，Precision 依然和門檻值呈反比，但在天數上「三日」
的實驗結果卻較「五日」更好；而在分類為平的結果則和TEJ 新聞相符合，和 門檻值呈正比且和天數呈反比。F-measure 的實驗結果和 Precision 呈現同樣的 趨勢，顯示當門檻值上升時，無論在精確度或模型整體成效上皆對漲、跌二類 別不利，而天數中則是「三日」為最佳選擇。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
19
圖 4-4：鉅亨網 Precision 比較
圖 4-5：鉅亨網 F-measure 比較
‧
Recall 44.59% 22.75% 55.15%
40.51%
‧
跌 1084 756 871 2711 39.99%
平 703 811 687 2201 36.85%
漲 1404 1134 1340 3878 34.55%
總計 3191 2701 2898 8790 Recall 33.97% 30.03% 46.24%
36.80%
Recall 37.01% 32.14% 46.81%
38.05%
Recall 38.86% 6.49% 63.34%
40.00%
‧
跌 1262 791 1140 3193 39.52%
平 442 356 491 1289 27.62%
漲 1577 1052 1679 4308 38.97%
總計 3281 2199 3310 8790 Recall 38.46% 16.19% 50.73%
37.51%
Recall 27.90% 32.46% 37.04%
32.29%
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
23
(2)在漲、跌二類別之結果上，TEJ 新聞在天數為五日時的預測能力較好，
而鉅亨網新聞則是天數為三日時。
圖 4-6：三日與五日之 Precision
實驗三：建構交易策略
為了研究此分類模型之實用性，本研究將建構兩個交易策略，分別使用 TEJ 新聞及鉅亨網新聞當作新聞指標，根據實驗一及實驗二的結果顯示，TEJ 生 技股和 TEJ 電子股在門檻值和天數的選取上皆一致，為簡化研究流程，將結合 所有 TEJ 生技股和 TEJ 電子股新聞資料代表 TEJ 新聞，另外在先前實驗中發現 適合 TEJ 新聞及鉅亨網新聞的分類天數分別是五天以及三天，代表分析 TEJ 新 聞較能準確預測新聞發布後五個交易日的累計報酬趨勢，鉅亨網新聞也是相同 概念，這個特性將會被應用在策略中股票的持有期間上。