定態時間序列
II: ARMA模型
陳旭昇
2013.12
1
移動平均模型
2 ARMA
模型
3 ARMA
模型之估計
4 ARMA
模型之預測以及衝擊反應函數
5 Wold Representation
定理
6
實例應用
: ARMA(p,q)模型之估計
定義
(q階移動平均模型
)若隨機過程
{yT}為現在與過去
q期隨機衝擊
(εt, εt−1, . . . , εt−q)之加權平均
: yt= εt+ θ1εt−1+ ⋯ + θqεt−q,εt∼i .i .d .(0, σ2),
則稱為
q階移動平均模型
(q-order moving average model),簡稱
MA(q)模型。
移動平均模型
移動平均模型
無窮階移動平均模型
MA(∞)為
yt=∑∞j=0
ψjεt− j.
MA(∞)
定態之條件為
∑∞ j=0
∣ψj∣ < ∞,
亦即
{ψj}為 「絕對可加」
(absolutely summable)。 因此
,有限階次
移動平均模型
MA(q)必為定態。
性質
(MA(q)的可逆性
)給定
yt= θ(L)εt,
如果
θ(z) = 0之根落於單位圓之外
,則
MA(q)序列可以寫成
: 1θ(L)yt= εt,
且稱該
MA(q)序列具 「可逆性」
(invertible)。
移動平均模型
移動平均模型
性質
(Absolutely Summable Inverses of Lag Polynomials)給定一個
p階落後運算多項式
:β(L) = 1 − β1L− β2L2− ⋯ − βpLp.
如果
β(z) = 0的根均落在單位圓之外
,則
β(L)−1= φ(L) = φ0+ φ1L+ φ2L2+ ⋯
其中
∞
∑
j=0
∣φj∣ < ∞,
亦即
β(L)的逆落後運算多項式之係數為 「絕對可加」。
將
AR與
MA模型結合在一起
,考慮一個
ARMA(p,q)模型
: yt= β1 yt−1+ ⋯ + βp yt−p+ εt+ θ1 εt−1+ ⋯ + θqεt−q令
β(L) = 1 − β1L− β2L2− ...βpLp θ(L) = 1 + θ1L+ θ2L2+ ...θqLq ARMA(p, q)
可寫成
β(L)yt = θ(L)εt
ARMA模型
ARMA 模型
性質
(ARMA (p,q)模型的定態條件
)給定
β(L)yt= θ(L)εt,
如果
β(z) = 0的根均落在單位圓之外
,則
yt為定態。
若
yt為定態
,則
ARMA(p,q)可寫成
MA(∞):yt= β(L)−1θ(L)
´¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¸¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¶
ψ(L)
εt
= [1+ θ1L+ θ2L2+ ⋯ + θqLq 1− β1L− β2L2− ⋯ − βpLp] εt
= ψ(L)εt
= εt+ ψ1εt−1+ ψ2εt−2+ ⋯
= MA(∞).
其中
ψ0 = 1,∑∞ j=0
∣ψj∣ < ∞.
ARMA模型
ARMA 模型
性質
(ARMA(p,q)模型的可逆條件
)給定
β(L)yt= θ(L)εt,
如果
θ(z) = 0的根均落在單位圓之外
,則
yt為可逆。
若
θ(z) = 0的根均落在單位圓之外
,則
θ(L)−1β(L)´¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¸¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¶
b(L)
yt= εt
亦即
b(L)yt= εt,
其中
b(L) = 1 − b1L− b2L2− ⋯
因此
, ARMA (p,q)模型可寫成
AR(∞):yt= εt+ b1yt−1+ b2yt−2+ ⋯ = AR(∞).
ARMA模型之估計
ARMA 模型之估計
欲估計
ARMA模型有一個大問題是
:我們有資料
{yT, yT−1, . . . , y1},卻無法觀察到
{εT, εT−1, . . . , ε1}。
一種做法是給定起始值下以遞迴
(recursively)的方式找出
{εT, εT−1, . . . , ε1},然後以非線性最小平方法
(nonlinear least square method)將
βj與
θj估計出來。
給定
ARMA(p,q)模型
,yt= β1yt−1+ ⋯ + βpyt−p+ εt+ θ1εt−1+ ⋯ + θqεt−q
假設我們擁有資料
{yt}Tt=1,
以及起始值
:y0= (y0, y−1, . . . , y−p+1) ε0= (ε0, ε−1, . . . , ε−q+1)
且
εt∼i.i.d. N(0, σ2).
ARMA模型之估計
ARMA 模型之估計
令
β= (β1, . . . , βp), θ = (θ1, . . . , θq),則聯合機率分配為
f(yT, yT−1, . . . , y1∣β, θ, σ2, y0, ε0)= f (yT∣yT−1, . . . , y1, β, θ, σ2, y0, ε0) ⋅ f (yT−1, ...y1∣β, θ, σ2, y0, ε0)
⋮
=∏T
t=1
f(yt∣yt−1, . . . , y1, β, θ, σ2, y0, ε0)
由於給定
(yt−1, . . . , y1, y0, ε0, β, θ, σ2), yt的條件分配為
yt∣(yt−1, . . . , y1, y0, ε0, β, θ, σ2)∼ N(β1yt−1+ ⋯ +βpyt−p+θ1εt−1+ ⋯ +θqεt−q, σ2)
我們可以得到
f(yt∣yt−1, yt−2, ...y1, β, θ, σ2, y0, ε0)
= 1
√2πσ2exp{−(yt− β1yt−1− ⋯ − βpyt−p− θ1εt−1− ⋯ − θqεt−q)2
2σ2 }
ARMA模型之估計
ARMA 模型之估計
因此對數概似函數為
log L= −T
2 log σ2−T 2 log 2π
−1 2
∑T t=1
(yt− β1yt−1− ⋯ − βpyt−p− θ1εt−1− ⋯ − θqεt−q)2 σ2
由於我們無法觀察到
{εT, εT−1, . . . , ε1},我們將以遞迴
(recursively)的 方式將它們找出來。 首先注意到
,εt= yt−β1yt−1− ⋯ −βpyt−p−θ1εt−1− ⋯ −θqεt−q.
因此
,1
給定
y0, ε0, y1, β, θ我們可以得到
ε1(β, θ)2
給定
y0, ε0, y1, y2, ε1(β, θ), β, θ我們可以得到
ε2(β, θ)3
依此類推
,我們可以得到
εt(β, θ), t = 1, 2, ...T,注意到
εt(β, θ)為
β與
θ的非線性函數。
ARMA模型之估計
ARMA 模型之估計
我們可以得到估計式為
( ˆβml, ˆθml) = arg min∑T
t=1(yt− β1yt−1− ⋯ − βpyt−p
− θ1εt−1(β, θ) − ⋯ − θqεt−q(β, θ))2
σˆml2 = 1 T
∑T
t=1(yt− ˆβ1 yt−1− ⋯ − ˆβp yt−p− ˆθ1εt−1( ˆβ, ˆθ) − ... − ˆθqεt−q( ˆβ, ˆθ))2
= 1 T
∑T t=1
ˆεt( ˆβ, ˆθ)2
我們可以將一個
ARMA(p,q)模型
:yt= β1yt−1+ ⋯ +βpyt−p+εt+θ1εt−1+ ⋯ +θqεt−q
改寫成一階形式
:⎡⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎣ yt
yt−1
⋮ yt−p+1
εt
εt−1
⋮ εt−q+1
⎤⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎦
=
⎡⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎣
β1 . . . . . . . . . βp θ1 . . . . . . . . . θq
1 0 . . . . . . 0 0 0 . . . . . . 0 0 ⋱ . . . . . . ⋮ 0 ⋱ . . . . . . ⋮
⋮ ⋱ ⋮ ⋮ ⋱ ⋮
0 . . . . . . 1 0 0 . . . . . . 0 0 0 . . . . . . . . . 0 0 . . . . . . . . . 0 0 0 . . . . . . 0 1 0 . . . . . . 0 0 ⋱ . . . . . . ⋮ 0 ⋱ . . . . . . ⋮
⋮ ⋱ ⋮ ⋮ ⋱ ⋮
0 . . . . . . 0 0 0 . . . . . . 1 0
⎤⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎦
⎡⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎣ yt−1
yt−2
⋮ yt−p
εt−1
εt−2
⋮ εt−q
⎤⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎦ +
⎡⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎣ 1 0
⋮ 0 1 0
⋮ 0
⎤⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎦ εt
ARMA模型之預測以及衝擊反應函數
ARMA 模型之預測以及衝擊反應函數
亦即
Yt
(p+q)×1®
= Φ
(p+q)×(p+q)®
Yt−1+єt
=∑∞
j=0
Φjєt− j
預測式
Et(yt+ j) = [1 0⋯0]ΦjYt.
衝擊反應函數
Ψ(j) = ∂ yt+ j
∂εt = [1 0⋯0]Φj
⎡⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢⎣ 1 0
⋮ 0 1 0
⋮ 0
⎤⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥⎦
實務上則以
Φˆ替代之。
Wold Representation定理
Wold Representation 定理
定理
(Wold Representation定理
)任何均值為零的定態時間序列
{yt}都能寫成
yt=
∞
∑
j=0
φjεt− j= φ(L)εt.
其中
1 εt≡ yt−P(yt∣Ht−1)
稱為干擾項
(innovation),乃是將序列
yt投射 到
Ht= Sp[yt, yt−1, yt−2....]的投射殘差
(projection residual)2 φ(L)= 1 + φ1L + φ2L2+ ⋯
3 ∑∞j=0φj2< ∞, φ0 = 1 (yt
為定態
)4 εt∼ WN(0, σ2)
5 φ(z)= 0
的根均落於單位圓外
(yt可逆
)6 {φj}
與
{εt}具唯一性
(unique)Wold Representation定理
Wold Representation 定理
值得注意的是
, Wold Representation定理是
{yt}的 「一種」 表示
法
,卻不是 「唯一」 的表示法。 而
{φj}與
{εt}的唯一性是指
Wold Representation只有一個
,「僅此一家
,別無分號」。 也就是說
,如果
兩個時間序列具有相同的
Wold Representation,則它們為相同的
時間序列。
Wold Representation
定理說明了任何定態時間序列都能以一個線 性模型表示之。 然而
,問題是
Wold Representation定理告訴我們 此線性模型為無窮多個干擾項所組成
,因而
φ(L)中就有無窮多個 有待估計的參數
,這在實務上並不可行。
一個實務上的解決方式是以
θ(L)β(L)
來近似
(approximate) φ(L), φ(L) ≈ θ(L)β(L),
β(L)= 1 − β1L − β2L2− ⋯ −βpLp, θ(L)= 1 + θ1L + θ2L2+ ⋯ +θqLq.
亦即
,以一個
ARMA(p,q)來近似
Wold Representation。
實例應用: ARMA(p,q)模型之估計
實例應用 : ARMA(p,q) 模型之估計
圖
:ARMA(2,1)估計結果
Dependent Variable: LS Method: Least Squares Date: 09/05/07 Time: 16:43 Sample (adjusted): 1972:3 2007:4 Included observations: 142 after adjustments Convergence achieved after 8 iterations Backcast: 1972:2
Coefficient Std. Error t-Statistic Prob.
C 3.464545 0.085820 40.36971 0.0000
AR(1) 1.516098 0.151257 10.02330 0.0000 AR(2) -0.533734 0.149067 -3.580496 0.0005 MA(1) -0.084751 0.178677 -0.474325 0.6360
R-squared 0.983602 Mean dependent var 3.497304 Adjusted R-squared 0.983245 S.D. dependent var 0.147681 S.E. of regression 0.019116 Akaike info criterion -5.048818 Sum squared resid 0.050428 Schwarz criterion -4.965556 Log likelihood 362.4661 Hannan-Quinn criter. 1.998440
F-statistic 6.2E-123
圖
:AR與
MA之根的倒數
-1.5 -1.0 -0.5 0.0 0.5 1.0 1.5
-1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 AR roots MA roots Inverse Roots of AR/MA Polynomial(s)
