時間序列分析
– 總體經濟與財務金融之應用 –
預測表現之評估
陳旭昇
2013.12
1 評估預測表現
2 Diebold-Mariano檢定
3 樣本外預測
4 樣本外預測實例
評估預測表現
評估預測表現
給定預測為
Et(yt+k) = [1 0⋯0]ΦkYt.
定義預測誤差(forecasting errors)為預測值與實際值之間的差異: et+k,t = yt+k − Et(yt+k).
預期損失函數(expected loss function)就是因為預測誤差所造成 的預期損失或是預期成本,
E [L(et+k,t)] , 其中L(⋅)為損失函數。
評估預測表現
評估預測表現
文獻上考慮的損失函數包括
1 二次函數(quadratic function): L(et+k,t) = et+k,t2
2 絕對函數(absolute function): L(et+k,t) = ∣et+k,t∣
3 效用函數(utility function): L(et+k,t) = u(et+k,t)
評估預測表現
評估預測表現
如果損失函數為二次函數,我們就稱預期損失函數為均方差(mean squared error, MSE)。
MSE= E[et+k,t2 ] = E [(yt+k − Et(yt+k))2] .
有時為了保有原來的單位,我們會考慮均方差的平方根(root mean squared error, RMSE):
RMSE=√
E[et+k,t2 ] =√
E [(yt+k − Et(yt+k))2].
評估預測表現
評估預測表現
如果損失函數為絕對函數,我們就稱預期損失函數為絕對均差 (mean absolute error, MAE)。
MAE= E[∣et+k,t∣] = E [∣yt+k− Et(yt+k)∣] . 一般而言,最常使用的預期損失函數為均方差(MSE)。
評估預測表現
評估預測表現
在實務上必須以樣本資料予以估計,以MSE為例,其估計式為 MSÊ = 1
T
∑T j=1
eˆ2t+k,t, 其中
eˆt+k,t = yt+k − ̂Et(yt+k), Êt(yt+k) = [1 0⋯0] ˆΦkYt, 亦即我們將Φ以Φˆ 取代之。
Diebold-Mariano檢定
Diebold-Mariano 檢定
如果有兩個時間序列模型A與B,我們可以分別求得預期預測損失 為E[L(eA
t+k,t)]與E[L(eB
t+k,t)],若E[L(eA
t+k,t)] < E[L(eBt+k,t)],則稱 模型A是一個預測表現較好的時間序列模型。
然而,模型A的預期預測損失要小多少我們才能認定模型A在統計 上顯著小於模型B?
Diebold-Mariano檢定
Diebold-Mariano 檢定
給定任何形式之損失函數,我們可以執行以下的相同預測能力檢定: H0∶ E[L(eAt+k,t)] = E[L(eBt+k,t)]
H1∶ E[L(eAt+k,t)] < E[L(eBt+k,t)]
令
dt = L(eAt+k,t) − L(eBt+k,t) =
⎧⎪
⎪⎪
⎪⎪
⎪⎨
⎪⎪
⎪⎪
⎪⎪
⎩
(eAt+k,t)2− (et+k,tB )2 二次函數
∣eAt+k,t∣ − ∣et+k,tB ∣ 絕對函數 u(eAt+k,t) − u(et+k,tB ) 效用函數
且
d =¯ 1 T
∑T t=1
dt,
Diebold-Mariano檢定
Diebold-Mariano 檢定
Diebold and Mariano(1995)提出了DM統計量, DM =
d¯
√ ˆ
G T−1
∼ t(T − 1),
G = ˆˆ γ(0) + 2 ∑m
j=1
γˆ(j),
其中γˆ(j)為j階自我共變異數, γ(j) = Cov(dt,dt− j)的一致估計式。
Diebold and Mariano(1995)建議設定m = T1/3(取到最接近的整數)。 當樣本很大時, DM統計量的極限分配為標準常態,
DMÐ→ N(0, 1).d
樣本外預測
樣本外預測
我們在衡量預測表現所面臨的問題為:如果在第T期擁有資料為 {y1,y2, . . . ,yT},所做出的預測{ˆyT+k,T, ˆyT+k+1,T+1, . . . ,}是沒有實
際資料{yT+k,yT+k+1, . . .}來做預測表現的評判,只有到了第T + k
期,才能算出第一個預測誤差eˆT+k,T。
一般而言,我們至少要有多筆預測誤差才能估計MSE (假設是10 筆)。 因此,如果建構一個匯率走勢的月時間序列模型,則必須等
k + 10個月後才會知道所建構的時間序列模型預測能力的好壞。
樣本外預測
樣本外預測
經濟學家通常沒什麼耐性,於是我們會採用一種預測方法稱為 「擬 真樣本外預測」(pseudo out-of-sample forecasting),簡稱 「樣本外 預測」(out-of-sample forecasting)。
樣本外預測的概念十分簡單,將手頭有的資料拆成兩部分,將其中R 筆資料{y1,y2, . . . ,yR}稱做樣本內資料(in-sample observations), 另外P筆資料{yR+1,yR+2, . . . ,yT}稱做樣本外資料(out-of-sample observations), R + P = T,一般而言, R/T =10%或是15%。
樣本外預測
樣本外預測
之所以稱此為 「擬真」 或是 「造假」(pseudo)的樣本外預測,原因在 於並不是執行真正的樣本外預測,所謂的 「樣本外」 意指樣本以外未 知的資料點,必須是等到本期之後才會實現的資料。
在此,把已知樣本切成兩部分,一部分是 「已知」,我們用來估計模型; 另一部分我們 「假裝未知」,利用這些資料點與模型的預測作比較, 藉以評估模型的預測能力。
樣本外預測
樣本外預測
以下我們說明執行樣本外預測的程序。
性質(樣本外預測)
1 以{y1,y2, . . . ,yR}估計時間序列模型。
2 建構預測:{ ˆyR+1,R, ˆyR+2,R+1, . . . , ˆyT ,T−1}。
3 建構預測誤差:{ˆeR+1,R, ˆeR+2,R+1, . . . , ˆeT ,T−1}。
4 計算MSE的估計式
MSÊ = 1 P
T−1
∑
j=T−P
eˆ2j+1, j.
樣本外預測
樣本外預測
如果有兩個時間序列模型A與B,我們可以分別求得MSEA與MSEB,若 MSEA< MSEB,則稱模型A是一個以樣本外預測來衡量,預測表現較好 的時間序列模型。
樣本外預測
樣本外預測
樣本內估計依照所使用的樣本期間(sample span)而有三種不同作法。
以AR(1)模型為例,
yt = β1yt−1+ εt.
1. 遞迴法(recursive scheme) βˆ1(t)=[∑t
s=1
y2s]
−1
[∑t
s=1
ysys+1] , t = R − 1, R, . . . , R + P − 2.
樣本外預測
樣本外預測
2. 滾輪法(rolling scheme)
βˆ(t)1 = [ ∑t
s=t−R+2
y2s]
−1
[ ∑t
s=t−R+2
ys−1ys+1] , t = R − 1, R, . . . , R + P − 2.
3. 固定法(fixed scheme) βˆ1=[∑R
s=1
y2s−1]
−1
[∑R
s=1
ys−1ys] .
樣本外預測
樣本外預測
在固定法之下,只會利用{y1,y2, . . . ,yR}估計出一個βˆ1,而遞迴法 與滾輪法就會估計出因時而變(time-varying)的估計式βˆ(t)1 。 遞迴法是利用{y1,y2,. . .,yR}估計出βˆ(1)1 ,接下來利用{y1,y2, . . .,yR, yR+1}估計出βˆ(2)1 ,...依此類推。
滾輪法則是利用{y1,y2,. . .,yR}估計出βˆ(1)1 ,接下來利用 {y2,y3,. . .,yR, yR+1}估計出βˆ(2)1 ,...依此類推。
遞迴法下的樣本數會不斷增加,而滾輪法下的樣本數是固定的。
樣本外預測實例
樣本外預測實例
圖:AR(1)模型估計結果
樣本外預測實例
樣本外預測實例
圖:樣本外預測
3.40 3.44 3.48 3.52 3.56 3.60
04:1 04:3 05:1 05:3 06:1 06:3 07:1 07:3 LSF
Forecast: LSF Actual: LS
Forecast sample: 2004:1 2007:4 Included observations: 16 Root Mean Squared Error 0.021030 Mean Absolute Error 0.015946 Mean Abs. Percent Error 0.457246 Theil Inequality Coefficient 0.003012 Bias Proportion 0.000010 Variance Proportion 0.002387 Covariance Proportion 0.997603
