3 研究方法
3.4 統計驗證方法
本研究為了驗證改良後的定期定值投資策略能有足夠信心可優於基準策略(定期定 值策略),研究中加入假設檢定中 z 值檢定(z-test),以驗證改良策略與基準策略的差異。
我們也使用 accuracy 和 precision 等常用之統計度量來檢驗改良策略所訓練出來的最佳 化模型是否在測試時也能優於基準策略。以下各節介紹方法的定義。
3.4.1 z 值檢定(z-test)
假設檢定(hypothesis testing)主要針對母體參數或母體機率分配種類設定為一假設,
在利用研究樣本所獲得之統計量,用以檢定母體參數或母體機率分配種類是否符合假設,
並以決策接受或拒絕假設。而在假設檢定方法的選擇,由於本研究是以每一個時期中,
遺傳演算法所執行的所有回合的最佳內部報酬率當作樣本,而每個時期樣本數為 100,
因此本研究採用 z 值檢定做為估計較大樣本,並實證樣本平均數是否近似母體平均數。
檢定分為雙尾檢定、左尾檢定和右尾檢定,因為改良策略的報酬率平均必須要明顯大於 基準策略報酬率,也就是要檢測改良策略的報酬率明顯分布在基準策略報酬率的右方,
所以採用右尾檢定,檢定圖如下圖 4。
18
圖 4. 右尾檢定圖
在圖 4 中𝛼為顯著水準,通常設定值為 0.05,但可依照檢驗需要信心程度,來制定 𝛼值,值越小信心程度越強。舉例我們有一假設檢定,虛無假𝐻0設以及對立假設𝐻1,𝛼 值為 0.05,若 z 值檢定所算得 p-value 小於𝛼值,則我們可以得到有 95%的信心程度,可 以拒絕虛無假設。z 值檢定演算如下公式(23)。
𝑧 = 𝑋̅ − 𝜇 𝜎
√𝑛
, (23)
其中,𝑋̅為樣本平均數,對照本實驗為訓練期或測試期 100 回合的內部報酬率平均值;
𝜇為檢測對象平均值,在本實驗為基準策略的內部報酬率;𝜎為樣本標準差,在本實驗為 訓練期或測試期 100 回合的內部報酬率標準差;𝑛為樣本數,在本實驗為 100。由上公 式研究可以算出 z 值,在依照所得到的 z 值,經查詢標準常態分配表,可得到相對應之 p-value。
19
3.4.2 準確度(Accuracy)和精確度(Precision)
在研究中,為了驗證每個 CV 改良策略是否優於基準策略,我們加入 accuracy 和 precision 的樣本統計方法,本研究中每一個 CV 的每一回合我們進行遺傳演算法演化 50 代,共執行 100 回合,在每個 CV 改良策略在訓練期與測試期分別各會有 100 個每回合 之最佳內部報酬率,我們將 100 個最佳內部報酬率與同一時期所做的定期定值之內部報 酬率,做 z 值檢定計算,信心基準設為 0.05,若 z 值檢定所計算出之 p-value 值小於 0.05,
則表示改良策略有 95%的信心能夠打敗基準策略-定期定值策略,且此期段將註記為 true,
反之若 z 值檢定算出之 p-value 值大於 0.05,研究就界定改良策略沒有超過 95%的信心 能夠打敗基準策略,而此期段將註記為 false。所以每一年期將會產生如表 2 的真值表。
表 2. 訓練期與測試期 z-test 真值表範例
CV Training Testing
1 true true
2 false true
3 true false
…..
n true true
利用訓練期與對應測試期的每個 CV 中獲勝假設成立之真假值,得知 TP (true positive)和 TN (true negatives)的數量,與 FP (false positive)和 FN (false negatives)的數量,
各參數如表示如下表 3。在本研究表示為在 GA 所訓練出來的策略能夠優於基準策略,
且此訓練出的策略在測試期也能奏效並優於基準,則為 TP。反之,若訓練期優於基準,
但測試期比基準還差則為 FP,其餘如表 3 所示類推。
20
表 3. Accuracy and precision 參數表
參數名稱 訓練期 測試期
TP (true positive) true true
TN (true negatives) false false
FP (false positive) true false
FN (false negatives) false true
由算出上述的各參數,並可求得 accuracy 和 precision 的值,如下公式(24)、(25):
Accuracy = 𝑇𝑃 + 𝑇𝑁
𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁 . (24)
Precision = 𝑇𝑃
𝑇𝑃 + 𝐹𝑃 . (25)
最後我們總結上述研究方法,我們可以用圖 5 來說明本研究整體演算法的流程。
圖 5. 實驗流程圖
21
我們首先將股市資料匯入,並隨機產生 50 條染色體,每條染色體上都由 0 或 1 編 碼。因本研究對於每一條染色體都對應一種投資系統,因此我們可以建構出 50 種投資 結果。這 50 種投資結果會經由前述的 XIRR 如公式(22)來評估其該投資策略的績效,而 績效較好者會有較高的機率被選為親代。最後程式則會判斷是否已達我們所設定的終止 條件,若達終止條件則會停止演化,否則繼續經由交配、突變等演化過程繼續產生下一 代。經由不斷的演化過程及參數不斷的最佳化,我們最後可以找出較佳的改良投資策略,
以利增加投資者的投資報酬率。
22