時間序列模型的定常分配
郭美惠
這篇文章最主要是想要介紹時間序列模 型是如何應用隨機過程的方法來證明定常分 配的存在性。 在第一個段落, 我們將簡略介紹 時間序列模型的發展。 在第二個段落, 主要是 討論時間序列模型的定常分配。 第三個段落 則是介紹如何應用馬可夫鏈的方法來證明定 常分配的存在性。
時間序列模型的發展
何謂時間序列? 凡是一組資料是隨著時 間的先後順序而取得的, 就可稱為是一組時 間序列的資料。 最常見的例子, 譬如: 某段時 間內所記錄的每日股票市場; 每年太陽黑子 的平均數目等等。 為了可以解釋時間序列的 隨機性及不可預測性, 一般都是將時間序列 視為一個隨機過程的實現值 (realization)。
取得了一組時間序列之後, 下一步即是尋找 一個較能適切解釋這組序列特性的模型, 更 進一步希望能應用這個模型來預測這組序列 未來的值。 起初最常為人們使用的模型是下 列的線性自迴歸移動平均模型:
xn+ anxn−1+ . . . + apxn−p
= εn+ b1εn−1+ . . . + bqεn−q,
在此xn代表觀測值;εn代表隨機誤差;
a1, . . . , ap及b1, . . . , bq是這個模型的參數。
然而在這大自然中到處可見非線性的 現象, 例如在時間序列中常見的極限周期 (Lim- it Cycles); 隨機參數等等。 上面介 紹的線性自迴歸移動平均模型卻無法解釋這 些非線性的現象。 因此為了補充線性模型的 不足及解釋非線性的現象, 人們漸漸的著重 於非線性時間序列模型的研究。 最早較有系 統從事非線性時間序 列模型的研究, 可以追溯到 Wiener (1958)。 他提出所謂的 Volterra 無 窮級數展式:
Xt =
X∞
u=o
guUt−u+
X∞
u=0
X∞
v=0
guvUt−uUt−v
+
X∞
u=0
X∞
v=0
X∞
w=0
guvwUt−uUt−vUt−w
+ . . . 。
xn代表觀測值,Un代表隨機誤差,gu,guv,. . .代 表模型的參數。
然而從應用的觀點, 這個展式包含無窮多的 參數, 我們無法從有限的時間序列資 料來估
1
計這些參數, 因此人們又先後的提出各種不 同的非線性時間序列模型, 嘗試著解釋所觀 測的非線性現象。 目前較常見的非線性模型, 例如:
(1) 隨 機 係 數 自 迴 歸 模 型(Nicholls &
Quinn,1982)。 例:
xn= a + bnxn−1+ εn,
a是一個常數,bn是一組獨立且具有相同 分佈的變數並且和隨機誤差εn獨立。
(2) 雙線性模型(Granger & Ander- sen,1978) 例:
xn = axn−1+ bxn−1εn−1+ cεn。
(3) 指數自迴歸模型(Ozaki,1985)。 例:
xn= (a + be−cx2n−1)xn−1 + εn。 (4) 自身激動的門檻自迴歸模型(Tong,1983
)。 例:
xn = axn−1+ εn, 當 xn−1 > r
= bxn−1 + εn, 當 xn−1 ≤ r。
(5) 狀態相依模型(Priestly,1980)。
定常分配
在 許 多 物 理 及 工 程 方面的問 題, 所 收集的時間序列資料時常會呈現一種所謂 的“統計均衡”狀態, 也就是說, 如果我 們將收集到的時間序列分成數個時段來觀
察, 則在不同時段中, 這個時間序列所對 應的隨機過程在統計方面的性質都幾近相 同, 換言之, 這個過程的統計性質並不隨 著時間而改變。 一個隨機過程若呈現上述 的“統計均衡”狀態, 我們就稱它為一個穩定 的(stationary)過程, 也就是說這個過程具 有一個定常分配。 數學上的定義就是: 對 任何的正整數k和任何的整數t1, . . . , tk及h, (Xt1, . . . , Xtk)′與(Xt1+h, . . . , Xtk+h)′ 有 相同的共同分佈。 由於許多實際收集到的資 料時常呈現上述的“統計均衡”狀態, 因此我 們用來解釋這組資料的模型, 何時會使得相 對應的過程是穩定的, 這在時間序列模型的 研究中, 可以說是一個十分重要的課題。 對於 線性自迴歸移動平均模型而言, 要回答這個 問題, 我們只須考慮其相對應的特徵多項式:
φ(B) = 1 + a1B+ . . . + apBp, a1, . . . , ap 即為自迴歸係數,B代表後移算 子。 當φ(B) = 0的解皆在單位圓之外, 則由這個線性自迴歸移動平均所定義的過 程{Xn}就有一個穩定的解, 也就是說這個 過程具有一個定常分配。 許多時間序列雖然 呈現非線性現象也同時具有“統計均衡”的狀 態。 因此, 在非線性時間序列模型的研究中, 何時該模型具有定常分配, 也是一個重要的 課題。 然而在非線性模型的研究中, 我們並沒 有特徵方程式可以來決定定常分配的存在與 否。 一般研究這個問題的方法, 即是考慮非線 性模型所對應的馬可夫鏈, 再進而研討何時 所對應的馬可夫鏈具有定常分佈, 我們將於 下節討論這個問題。
馬可夫鏈與定常分佈
考慮下面的p階非線性自迴歸模型:
Xn= fϑ(Xn−1, . . . , Xn−p) + εn, Xn代 表 觀 測 值;fϑ(·)是 從Rp到R的 映 射, ϑ = (ϑ1, . . . , ϑℓ)′是參數向量; εn則為一 組獨立且具有相同分佈的隨機誤差。
在 第 一 段 落 所 提 到 的 線 性、 指 數 及 自 身 激 動 的 門 檻 自 迴 歸 模 型 均 為 此p階 非 線 性 自 迴 歸 模 型 的 特 例。 如 果 我 們 令 ~Xn = (Xn, . . . , Xn−p+1)′,Fn為 由· · · , ~Xn−1, ~Xn所生成的σ場, 及 L(~xn)代 表~xn的機率分佈, 也就是說L( ~Xn)(A) = P( ~Xn ∈ A)。 由於L( ~Xn+1|Fn) = L( ~Xn+1| ~Xn) = P ( ~Xn,·), 對所有整數 n 均成立。 因此~xn是一個取值於 (Rp,Bp)上的 馬可夫鏈, 它的推移機率就是
Pϑ(~x, A)
= P (~xn∈ A|~xn−1 = (x1, . . . , xp)′)
=
Z
T(A~x)g(t − fϑ(x1, . . . , xp))dt,
在此g代表隨機誤差εn的密度函數, ~x = (x1, . . . , xp)′,A~x : {~z = (z1, . . . , zp)′ ∈ Rp,zi = xi,i ≥ 2,~z ∈ A}, T : Rp → R是 對應到第一個座標的投影, 也就是說T (~x) = x1。 因此要問何時這個非線性自迴模型所對 應的過程{Xn}是穩定的, 是等價於問何時其 相應的馬可夫鏈是遍歷的 (Ergodic), 可就 是說何時這個馬可夫鏈會存在一個起始分佈, 使得這個馬可夫鏈若一開始即遵循這個起始 分佈出發, 則它所衍生的過程將會是穩定的。
在此我想介紹關於這方面最常為人所使用且 十分有趣的一個定理。 在這定理之前, 我必須 先介紹幾個在定理中所提到的定義。
定 義1: 假 設{Yn}是 一 個 取 值 於(X , F )上的馬可夫鏈,φ是一個定義在F 上 的非不足道的 (non-trivial) σ – 有限測 度。 若對所有的y ∈ X , 只要φ(A) > 0, 則P
n 2−nPn(y, A) > 0, Pn代表Yn的n步推 移機率。 那麼我們則稱 {Yn}是一個φ – 無法 削減的(irreducible)馬可夫鏈。
例: 令µp代表(Rp,Bp)上的 Lebesgue 測度。{ ~Xn}為上述P 階非線性自迴歸模型所 對應的馬可夫鏈。 如果我們假設隨機誤差 εn的密度函數g(x), 在所有的x點上都是正 的; 則由上述{ ~Xn}推移機率的表示法, 我們 可推得只要 µp(A) > 0, 則 Pϑ(~x, A) >
0。 因此在g(x) > 0的假設下,{ ~Xn} 就是一 個µp – 無法削減的馬可夫鏈。
定義2: 推移機率 P(x, ·) 是強連 續的, 若且唯若, 對所有有界可測的函數 h(·) ,[R P(x, dy)h(y)]是連續有界的。
定理 (Tweedie,1975): 假設一個馬 可夫鏈{Yn}是φ – 無法削減的, 而且其推 移機率是強連續的。 如果{Yn}滿足下面的條 件,{Yn}就是遍歷的。
(1) 在BP中存在一個緊緻集合K, 使 得φ(K) > 0, 並且存在一個非負的常數C, 使得對所有不在 K 中的 y,E{kYnk − kYn−1k |Yn−1 = y} ≤ −C。
(2) 而且存在一個非負的常數B, 使得對 所在K中的y, E{kYnk − kYn−1k |Yn−1 =
y} ≤ B < ∞。 在此 k · k 代表定義在 {Yn} 狀態空間上的範數。
假若我們將定理中的緊緻集合K, 想像 為這個馬可夫鏈狀態空間上的一個“中心”。
則上述定理中所提到的第一個條件:E{kYnk
−kYn−1k |Yn−1 = y} ≤ C, 也可以解釋 如下: 如果這個馬可夫鏈{Yn}目前的位置是 在這個中心(K)的外面, 其下一步的位置, 平 均的來說, 將會往這個中心更靠攏一些。 這個 中心就好像是一個磁場存在一種引力, 使得 這個過程若走到中心之外, 仍會有一種走回 趨向中心的潮流。 而在這個定理的第二個條 件:E{kYnk − kYn−1k |Yn−1 = y} ≤ B <
∞, 也可以解釋成: 如果這個馬可夫鏈目前的 位置是在這個中心(K)之中, 則其下一步的 位置, 平均的來說也就不會偏離中心太遠。 關 於許多非線自迴歸模型的遍歷性, 例如: 指數 自迴歸模型; 自身激動的門檻自迴歸模型, 都 是可以應用這個定理的這兩個基本條件來證 明。
結語
一組時間序列的觀測值, 事實上也可 視為一個隨機過程的實現值, 因此關於時間 序列的統計性質可說是經由它所對應的隨機 過程來討論。 我在這裡所討論只是關於時間 序列的穩定性與其對應馬可夫鏈遍歷性的關 係。 在這篇文章中, 最主要是介紹一個主 要的定理以及它的核心觀念。 讀者若欲深入 了解關於馬可夫鏈在一般狀態空間的遍歷性 問題, 請參閱 Tweedie(1975) 及 Num- melin(1984)。
參考文獻
1. Granger, C. W. J. and Andersen, A.
P. (1978). “An Introduction to Bi- linear Time Series Models.” Vanden- hoeck and Ruprecht, G¨ottingen.
2. Nicholls, D. F. and Quinn, B.
G. (1982). “Random Coefficient Au- toregressive Models: An Introduc- tion.” Lecture Notes in Statistics 11, Springer-Verlag, New York.
3. Nummelin, E. (1984). “General Irreduci- ble Markov Chains and Nonnegative Operators.” Cambridge Univ. Press, Cambridge.
4. Ozaki, T. (1985). “Nonlinear Time Se- ries Models and Dynamical Systems.”
Handbook of Statistics Vol. 5, Eds.
Hannan, E. J., Krishnaiah, P. R. and Rao, M. M. North-Holland, pp. 25- 83.
5. Priestly, M. B. (1980). “State- Dependent Models: A General Approach to Non-linear Time Series Analysis.” J. Time Series Anal., Vol.
1, pp. 47-72.
6. Tong, H. (1983). “Threshold Mod- els in Nonlinear Time Series Analy- sis.” Lecture Notes in Statistics 21, Springer-Verlag.
7. Tweedie, R. L. (1975). “Suffi- cient Con- ditions for Ergodicity and Recurrence of Markov Chains on a General State Space.” Stochastic Process and their Applications, Vol.
3, pp. 385-403.
8. Wiener, N. (1958). “Nonlinear Prob- lems in Random Theory,” M.I.T.
Press, Cambring, Mass.
—本文作者任教於國立中山大學 應用數學系—
