時間序列分析 –

時間序列分析

– 總體經濟與財務金融之應用 _–

蒙地卡羅模擬 與_Bootstrap

陳旭昇

2013.12

2 蒙地卡羅模擬的應用

3 樣本重抽法與Bootstrap

4 Bootstrap偏誤與標準差

5 Bootstrap信賴區間

6 Bootstrap P-values (假設檢定₎

7 迴歸模型的_Bootstrap

8 Bootstrapping長期追蹤調查資料

9 蒙地卡羅模擬與_Bootstrap的實例應用

蒙地卡羅模擬

蒙地卡羅模擬

假設_{xi}ⁿ

i=1為隨機抽樣自母體分配_F的隨機樣本資料。 令 T_n = T_n(x1, . . . , x_n, θ)

為我們有興趣的統計量_,其中_θ為母體未知參數_,且一般而言我們假設_θ 足以代表母體分配的所有特徵。 因此_{, Tn} 的實際抽樣分配為

G_n(τ, F) = P(T_n ≤ τ∣F).

蒙地卡羅模擬

由於_{F (}或是說_θ)未知_,則_Gn也是未知。 甚至於在某些情況下_,即 使_F已知_,我們也未必能夠推導出_Gn分配。

而蒙地卡羅模擬就是在研究者自己選擇的_F下_,利用數值模擬 (numerical simulation)來計算_{Gn(τ, F),}因此_,你可以把執行蒙地 卡羅模擬的研究人員想像成造物者_,透過不同的環境設定(選擇的 不同的_{F ),}觀察並記錄萬物的運作。 茲簡述蒙地卡羅模擬應用在統 計學₍計量經濟學₎的執行方式如下。

蒙地卡羅模擬

蒙地卡羅模擬

定義₍蒙地卡羅模擬₍續₎₎

4 重複_B次步驟₂與_3,一般來說_{, B}為很大的數字如_{B= 1000}或是_{B= 5000}等。

令第_b次抽樣得到的統計量以_Tnb表示_,根據_B次的反覆計算₍亦即樣本大小為 B),我們得到了_Tnb的實證分配函數(empirical distribution function, EDF),

Gˆn(τ) = 1 B

∑B b=1

1(Tnb≤ τ), 其中_1(⋅)為指標函數(indicator function),

1(Tnb≤ τ) = { 1, if Tnb≤ τ 0, if Tnb> τ

蒙地卡羅模擬

定義₍蒙地卡羅模擬₎

1 研究者選擇_θ以及樣本大小_n以建構一個虛擬的資料生成過程_(data generating process, DGP)。

2 利用電腦的隨機變數產生器(亂數產生器, random number generater)由_θ所代 表的分配_F中抽出一組隨機樣本_{x^∗_i}ⁿ_i=1。 更明確地說_,應該是擬真亂數產生器

(pseudo random number generater)因為所有的亂數產生器都是 「幾可亂真」

的程式。

3 由這組虛擬樣本計算統計量_{Tn= Tn(x}^∗₁, . . . , x_n^∗, θ).

蒙地卡羅模擬

蒙地卡羅模擬

應用蒙地卡羅模擬的理論基礎為 「統計學基本定理」(fundamental theorem of statistics, FTS)。 亦即_,我們知道

G_n(τ) = P(T_n ≤ τ) = E(1(T_n ≤ τ)), 則根據_WLLN,

Gˆ_n(τ) = 1 B

B

∑

b=1

1(T_nb≤ τ)Ð→ E(1(T^p n ≤ τ)) = G_n(τ).

也就是說_,在給定某資料生成過程下我們抽出一組隨機樣本並計算統計 量_Tnb,重複_B次後_,我們會得到_Tnb的實證分配函數_G^ˆ_n(τ),而_FTS告 訴我們此實證分配函數_G^ˆ_n(τ)機率收斂到該資料生成過程下的統計量

蒙地卡羅模擬

性質₍隨機變數產生器₎

在做電腦模擬時,我們會設定隨機變數產生器的起始值_,其目的是為了讓別人可以重製 我們的模擬結果。 舉例來說_,在_EViews以及_GAUSS,我們使用以下指令_,

RNDSEED 123587

在_RATS,我們用

SEED 123587

蒙地卡羅模擬的應用

蒙地卡羅模擬的應用

蒙地卡羅模擬在計量經濟學中的主要應用在於評估統計推論程序的表 現好壞_,譬如估計式與檢定量的表現。 而統計推論程序的表現一般而言 決定於樣本大小_n以及真正的資料生成過程_F,舉例來說_,我們可以透過 蒙地卡羅模擬來檢視一個檢定量的 「檢定大小」_(size)以及 「檢定力」

(power)。 此外_,我們也可以用蒙地卡羅模擬來近似估計式的小樣本分配_,

建構其標準差以及區間估計式。

模擬 _AR(1) 係數 _OLS 估計式的小樣本偏誤

考慮以下的DGP:

y_t= c + ϕyt−1+e_t,

其中_et∼^i.i.d. _{N(0, 1).}以起始值_y^∗_{0 = 0}並遞迴地(recursively)製造模擬 資料_{y^∗_t}ⁿ_t=1。 將樣本大小設定為_150,然後丟棄掉前₅₀個資料點以降 低起始值的影響。 給定此樣本大小為₁₀₀的模擬資料_,以_OLS估計一個 AR(1)模型_,重複以上所述步驟₁₀₀₀次_,就會得到₁₀₀₀個_ϕ,^ˆ 即_ϕ^ˆ的抽 樣分配 。

蒙地卡羅模擬的應用

模擬 _AR(1) 係數 _OLS 估計式的小樣本偏誤

在_DGP中_,設定_{c= 0.1,}且考慮以下不同的真實_ϕ值_{: ϕ}= 0.50, 0.90, 0.95, 0.99以及_1.0.表₁報告了估計值_ϕ^ˆ小於真實_ϕ值的機率₍亦即_, 1000個_ϕ^ˆ中有多少比率使得_ϕ^ˆ_{< ϕ)}。 可以很清楚地由表中看出_{, ˆϕ}在小 樣本中存在向下偏誤(downward biase),且此小樣本向下偏誤隨著真實 的_ϕ趨近於₁而越來越嚴重。

模擬 _AR(1) 係數 _OLS 估計式的小樣本偏誤

表_:模擬小樣本向下偏誤 ϕ E( ˆϕ) P( ˆϕ < ϕ) 0.99 0.94 93.5%

0.95 0.90 83.1%

0.90 0.86 74.5%

0.50 0.47 58.9%

蒙地卡羅模擬的應用

模擬 _AR(1) 係數 _OLS 估計式的小樣本偏誤

圖_:實證分配函數_{(ϕ= 0.99)}

0.66 0.72 0.78 0.84 0.90 0.96 1.02

0.0 1.6 3.2 4.8 6.4 8.0 9.6 11.2

模擬 _t 檢定的實證檢定力與檢定大小

考慮以下簡單的迴歸模型_,

y_t = α + βx_t+ e_t.

當樣本夠大時_,在虛無假設_{H0∶ β = 0}成立下_{, t}比率_(t-ratio)的極限分 配為標準常態_,

t= βˆ SE( ˆβ)

Ð→ N(0, 1).d

蒙地卡羅模擬的應用

模擬 _t 檢定的實證檢定力與檢定大小

在此應用中_,將檢視迴歸係數的_t檢定量的實證檢定力_(empirical power)與實證檢定大小(empirical size)。

1 在虛無假設_{H0∶ β = 0}成立下_{, DGP}為 y_t= 2.5 + et, 其中_et服從自由度為₃的_student-t分配。

2 在對立假設_H1成立下_,

y_t= 2.5 + βxt+ et,

其中簡單設定_{xt∼ N(0, 1)}。 我們考慮對立假設下的_β值有_{β= 0.1,} 0.5, 1.0以及 。

模擬 _t 檢定的實證檢定力與檢定大小

接下來_,我們執行顯著水準為_5%的假設檢定。 「檢定大小」_(size)的定義 為

P(∣t∣ > 1.96 ∣ H0為真_), 而 「檢定力」_(power)的定義為

P(∣t∣ > 1.96 ∣ H1為真_).

蒙地卡羅模擬的應用

模擬 _t 檢定的實證檢定力與檢定大小

我們也可以計算 「調整檢定大小後之檢定力」(size-adjusted power)。 利 用虛無假設_{H0 ∶ β = 0}成立下的_DGP,我們可以找出臨界值_(critical value, cv), t^∗使得

P(∣t∣ > t^∗∣ H0為真_{) = 0.05.}

則 「調整檢定大小後之檢定力」 定義為

P(∣t∣ > t^∗∣ H1為真_).

模擬 _t 檢定的實證檢定力與檢定大小

下表報告了當樣本大小為₂₅時_,不同的_β所對應的檢定大小_,真實_5%

臨界值_,檢定力以及調整檢定大小後之檢定力。 模擬次數為₁₀₀₀次。 我 們不難發現_,隨著真實的_β距離零越遠_,實證檢定力就越大。

表_:模擬t檢定的實證檢定力與檢定大小

β Size True 5% cv (t^∗) Power Size-adjusted Power

0.1 0.060 2.045 0.082 0.067

0.5 0.060 2.045 0.648 0.615

1.0 0.060 2.045 0.993 0.991

−0.5 0.060 2.045 0.632 0.595

蒙地卡羅模擬的應用

模擬 _t 檢定的實證檢定力與檢定大小

我們也可以檢視樣本大小如何影響_t檢定的實證檢定力與檢定大小。 在

下表中_,我們考慮_{β= 0.1}於對立假設中。 顯然地_,實證檢定力隨著樣本

變大而變大。

表_:模擬樣本大小的影響

Sample Size Size True 5% cv (t^∗) Power Size-adjusted Power

25 0.060 2.045 0.082 0.067

50 0.052 1.966 0.099 0.099

100 0.059 2.060 0.156 0.132

1000 0.059 2.005 0.900 0.889

樣本重抽法

傳統的計量經濟學在做統計推論時_,必須仰賴實際抽樣分配或是大 樣本漸近分配。

樣本重抽法(resampling method)則是一個與實際抽樣分配或是 大樣本漸近分配完全迥異的做法_,其統計推論的基礎_,來自 「原有樣 本的重複抽樣」。

樣本重抽法與蒙地卡羅模擬的關係十分密切_,都是借助模擬來建構 一個人造的體系。 其主要的不同處在於,蒙地卡羅模擬所製造出來 的資料可以抽樣自完全虛擬的_DGP,而樣本重抽法的模擬必須根據 實際資料重抽。

樣本重抽法與Bootstrap

樣本重抽法與 _Bootstrap

樣本重抽法的優點如下。

1 較少假設。 舉例來說_,樣本重抽法不需假設_DGP的分配為常態或是 其他特定分配。

2 較為精確。 一般而言_,在大多數的情況下_,樣本重抽法的統計推論較 傳統大樣本漸近理論來的精確。

3 較易操作。 樣本重抽法在大多數的情況下都可以使用_,你不必辛苦 地尋找樞紐統計量(pivotal statistics)。 此外_,傳統大樣本漸近理論

需要Delta Method來處理非線性函數_,而樣本重抽法可以輕易地

應用到各種不同設定如非線性函數。

樣本重抽法種類

樣本重抽法中_,有以下四種最為重要_:

1 隨機檢定(randomization test),又稱排列檢定(permutation test);

2 交互驗證法(cross-validation);

3 Jackknife重抽法_;

4 Bootstrap重抽法。

其中又以_Bootstrap重抽法為計量經濟學中應用最廣的樣本重抽法。

樣本重抽法與Bootstrap

Bootstrap 簡介

Bootstrap重抽法是由Bradley Efron所提出。 這個單字原意是指一 種靴子後面的小環帶_,拉著可以讓自己方便脫下靴子_,而不需他人幫

助_,因此_bootstrap引申為由原有樣本不斷重複抽樣後得到許多新

樣本。

信賴區間_,假設檢定以及標準差在傳統的統計學中必須應用實際抽 樣分配或是大樣本漸近分配。 然而_,在許多情況下_,我們無法推導出 實際抽樣分配_,而樣本數又不足以讓我們應用漸近理論。

bootstrap想法為_,把手頭擁有的這組樣本視為母體_,然後根據這個

虛擬母體重複多次抽樣進而得到_bootstrap分配。 接下來的統計推 論則不再使用抽樣分配,而是以bootstrap分配取代之。

Bootstrap 簡介

在正式介紹_bootstrap之前_,我們先呈現一個利用大樣本漸近分配來做 統計推論時_,結果未盡理想之例子。考慮以下的迴歸模型_,

{yⁱ, x1i, x2i}ⁿi=1

y_i= β⁰+x_1iβ1+x_2iβ2+e_i, ( x_1i

x2i ) ∼ N(0, I²), ei∼ N(0, 3²), 且_{β0= 0, β1= 1, β2}= 0.5, n=300.我們感興趣的參數為

θ= β1

β2

.

因此_{, θ}的真實參數值為_{θ0= 2}。

樣本重抽法與Bootstrap

Bootstrap 簡介

θ的估計式為

θˆ= βˆ1

βˆ2

. 根據Delta Method,

t( ˆθ) = θ − θˆ S_n( ˆθ)

Ð→ N(0, 1)d

Bootstrap 簡介

其中

S_n(ˆθ) =√

n⁻¹( ˆH^′_βV ˆˆH_β), Hˆβ=⎛

⎜⎜⎝ 0 1/ ˆβ²

− ˆβ1/ ˆβ²2

⎞⎟⎟

⎠ ,

且_V^ˆ為變異數_-共變數矩陣的估計式,

Vˆ = [1

n∑

i

x_ix^′_i]

−1

[1

n∑

i

x_ix^′_ieˆ²_i] [1

n∑

i

x_ix^′_i]

−1

.

樣本重抽法與Bootstrap

Bootstrap 簡介

以重複₁₀₀₀₀的模擬建構_{t( ˆθ)}在虛無假設下的實際抽樣分配_,並

將_{t( ˆθ)}的實際抽樣分配與標準常態分配一起畫在圖中。

顯然地_,兩者的差異極大_,實際抽樣分配具有長左尾_(skewed)而非 對稱(asymmetric)。 犯型_I誤差的機率為

P(∣t∣ > 1.96) = 0.084 = 8.4%,實證檢定大小(empirical size)大於 5%,即以大樣本漸近分配來做統計推論會造成 「過度拒絕」 的現象。

事實上_,這個模擬分析告訴我們即使樣本數增加到_{n= 300,}以大樣 本漸近分配來做統計推論的表現依然很差。 The bootstrap對此問 題提供一種解決之法。

Bootstrap 簡介

圖_:t(ˆθ)的實際抽樣分配₍實線)與大樣本極限分配(虛線_{, N(0, 1))}

-8 -6 -4 -2 0 2 4

0.0 0.1 0.2 0.3 0.4 0.5 0.6

樣本重抽法與Bootstrap

Bootstrap 定義

假設資料_{xi}ⁿ

i=1來自未知的分配_F,且令 Tn = Tn(x1, . . . , xn, F)

為我們有興趣的統計量。 在大部分的情況下_,該統計量又可寫成 T_n= T_n(x1, . . . , x_n, θ).

舉例來說_,

T_n = ˆθ, (估計式₎ T_n = ˆθ − θ, (偏誤₎ T_n =^{( ˆθ−θ)}

S( ˆθ) , (t-統計量₎

Bootstrap 定義

由於參數_θ為_F的函數_,

θ= θ(F), 因此_,

Tn= Tⁿ(x¹, . . . , xn, θ) = Tⁿ(x¹, . . . , xn, θ(F)) = Tⁿ(x¹, . . . , xn, F).

給定資料抽樣自分配_F,令

Gn(τ, F) = P(Tⁿ≤ τ∣F)

為_Tn的實際抽樣分配函數。 _Tn 取決於_{xi}ⁿ

i=1以及_θ,則其抽樣分配 G(⋅)取決於_F 以及_θ,然而_{θ= θ(F),}則_G(⋅)透過兩個管道受到_F影響_: {x_i}ⁿ_i=1以及_θ。

樣本重抽法與Bootstrap

Bootstrap 定義

1 理想上_{, Tn}的統計推論應該根據實際抽樣分配函數_, G_n(τ, F).

然而_,由於一般來說_F 未知_,實務上是不可能知道實際抽樣分配函 數。

2 傳統的大樣本理論就是利用_G∞(τ, F) = lim_n→∞G_n(τ, F)來近似 G_n(τ, F)函數。 當_{G∞(τ, F) = G∞(τ)}與_F 無關_,我們就稱_Tn為漸 近樞紐統計量(asymptotically pivotal statistics),並且以極限分配 G_∞(τ)做為統計推論的基礎。 然而_,在大多數的應用中_,漸近樞紐統 計量並不存在。 此外_,就算漸近樞紐統計量存在_,其大樣本近似也可 能表現不盡理想。

Bootstrap 定義

Efron (1979)提出一種不同於漸近理論的近似方式: the bootstrap。

Bootstrap最迷人的地方就在於我們可以盡情地使用它_,而不需擔

心統計量_Tn有多複雜_,也不必辛苦地應用Delta method,皓首窮究 於繁瑣的計算中。 _Tn不需要存在任何一個已知的極限分配。

Bootstrap的做法是_,首先找出_F 的一致估計式_{, Fn,}然後將_Fn代入 G_n(τ, F)函數並得到

G^∗_n(τ) = G_n(τ, F_n)

做為_{Gn(τ, F)}的估計式。 我們將_G^∗_n(τ)稱做_bootstrap分配_,而_Tn 的統計推論就是根據_G^∗_n(τ)的_bootstrap分配。

樣本重抽法與Bootstrap

Bootstrap 定義

由於

F(x) = P(x_i ≤ x) = E(1(x_i ≤ x)),

則根據類比原則(analogy principle), F(x)的類比估計式_(analog estimator)為實證分配函數(empirical distribution function, EDF),

F_n(x) = 1 n

n

∑

i=1

1(x_i ≤ x).

根據_WLLN,對於任意_x,

Fn(x)Ð→ F(x),^p 為_F的一致估計式。

Bootstrap 定義

給定一些技術性的條件_,我們可以得到

n→∞limG^∗_n(τ) = Gn(τ, F) 以及

n→∞lim G_n^∗(τ) = G∞(τ, F)

也就是說, bootstrap分配函數_{, G}^∗_n(τ)在樣本夠大時_,會趨近於_Tn 的實際抽樣分配函數_{Gn(τ, F)}。 此外_,由於我們知道當樣本很大時_, T_n的極限分配為_G∞(τ, F) = lim_n→∞G_n(τ, F),因此_,當樣本很大 時, bootstrap分配_{, G}^∗_n(τ)也會趨近於_Tn 的極限分配_{, G∞(τ, F)}。

樣本重抽法與Bootstrap

模擬 _Bootstrap 分配

步驟_1:以抽出放回(draw with replacement)的方式_,從樣本 {x_i}ⁿ_i=1抽出一組_bootstrap樣本(bootstrap sample),以_{x^∗

i}ⁿ_i=1表 示之。 注意到相同的樣本點可能會被抽到一次以上_,而有的樣本點 可能沒被抽到。

步驟_2:利用這組_bootstrap樣本計算_bootstrap的統計量 T_n^∗= Tn(x1^∗, . . . , x^∗_n, Fn),

一般來說_{, Tn} 之所以是_F的函數_,係透過參數_θ,因此_,我們又可將 bootstrap統計量寫成

T_n^∗= Tn(x^∗1, . . . , x^∗_n, θ_n),

模擬 _Bootstrap 分配

步驟_3:重複步驟₁與步驟₂共_B次_,得到_B個_bootstrap統計量 T_nb^∗, b= 1, 2, . . . , B.

因此_{, T}^∗

nb 的實證分配函數_(EDF)為 Gˆ_n^∗(τ) = 1

B

B

∑

b=1

1(T_nb^∗ ≤ τ).

當_{B →∞,}

Gˆ^∗_n(τ)Ð→ G^p n^∗(τ).

這樣的做法稱做無母數bootstrap (nonparametric bootstrap)。 理由在 於_,我們在做重抽時_,沒有使用任何母體參數的資訊。 一般而言_,我們要 求很大的_B值_,如_{B= 1000}或是_{B= 5000}。

樣本重抽法與Bootstrap

無母數 _Bootstrap 的實際執行方式

以下說明實務上如何對樣本_{{x1, x2}, . . . , xn}執行無母數_bootstrap的重抽。

1 首先,我們從均等分配(uniform distribution), U[0, 1]抽出_n個隨機變數 {υi}ⁿi=1。

2 對於每一個_υi,計算

κi= round(0.4 + υⁱ×n) 其中_round代表取到最接近的整數。 因此_{, κi∈ [1, n].}

3 令第i個_bootstrap樣本_{, x}^∗_i 為第_κi個_x樣本點。

無母數 _Bootstrap 的實際執行方式

舉例來說_,給定_{n= 10,}原有樣本_{xi}¹⁰

i=1為

{x1, x2, x3, x4, x5, x6, x7, x8, x9, x10}.

假設抽出來的_υi 為

0.631, 0.277, 0.745, 0.202, 0.914, 0.136, 0.851, 0.878, 0.120, 0.00

則_κi 等於

7, 3, 8, 3, 10, 2, 9, 9, 2, 1

樣本重抽法與Bootstrap

無母數 _Bootstrap 的實際執行方式

因此, bootstrap樣本_{x^∗

i}¹⁰_i=1為

{x1^∗, x₂^∗ x^∗₃, x₄^∗, x₅^∗, x₆^∗, x₇^∗, x^∗₈, x₉^∗, x₁₀^∗}

= {x7, x3, x8, x3, x10, x2, x9, x9, x2, x1}

顯然地_,如前所述_,原來樣本點會在_bootstrap樣本中出現一次以上₍如 x2, x3以及_x9),或是完全沒被選到₍如_{x4, x5}以及_x6)。

Bootstrap 偏誤

估計式_θ^ˆ的偏誤_(bias)定義成

ω_n = E( ˆθ− θ).

如果我們令統計量_{Tn(θ) = ˆθ− θ,}則偏誤可以寫成 ω_n= E[Tn(θ)] = ∫ τdGⁿ(τ, F).

Bootstrap偏誤與標準差

Bootstrap 偏誤

而對應的_bootstrap估計式與統計量為

θˆ^∗= ˆθ(x^∗1, . . . , x^∗_n), 以及

T_n^∗ = ˆθ^∗− ˆθ.

因此, bootstrap偏誤(bootstrap bias)為 ω^∗_n = ∫ τdG^∗n(τ),

Bootstrap 偏誤

且_ω^∗

n的模擬估計式(simulation estimator)為

ωˆ^∗_n= 1 B

∑B b=1

T_nb^∗

= 1 B

∑B b=1

(ˆθ^∗b− ˆθ)

= (1 B

∑B b=1

θˆ^∗_b) − ˆθ

= ˆθ^∗− ˆθ.

Bootstrap偏誤與標準差

Bootstrap 偏誤

給定θ^ˆ為偏誤估計式_,則_θ的不偏估計式為 θ¨= ˆθ − ωⁿ, 使得

E(¨θ) = E(ˆθ) − E(ωn),

= E(ˆθ) − ωn,

= E(ˆθ) − E(ˆθ − θ),

= E(ˆθ) − [E(ˆθ) − θ],

= θ.

Bootstrap 偏誤

因此_,偏誤修正(bias-adjusted)的_bootstrap估計式為 θ¨^∗= ˆθ− ˆω^∗n

= ˆθ− (ˆθ^∗− ˆθ)

= 2 ˆθ− ˆθ^∗.

簡單地說_,我們可以透過_bootstrap估計偏誤_,然後建構出偏誤修正的 bootstrap估計式。

Bootstrap偏誤與標準差

Bootstrap 標準差

令_{Tn = ˆθ,}則其變異數為

V_n = Var(ˆθ)

= Var(Tn)

= E(Tn− E[Tn])². 在_bootstrap分配中_,若_Tn^∗_{= ˆθ}^∗_,則其變異數為

V_n^∗= E(Tn^∗− E(Tn^∗))².

Bootstrap 標準差

因此_{, V}^∗

n 的模擬估計式₍亦即_bootstrap變異數₎為 Vˆ_n^∗= 1

B

∑B b=1

(ˆθ^∗b − ˆθ^∗)².

而_bootstrap標準差就是 _√

Vˆ_n^∗.

Bootstrap偏誤與標準差

Bootstrap 標準差

在早期的文獻中_,許多人應用_bootstrap的目的是找出_bootstrap標準 差_,進而從事信賴區間的建構。 弔詭的是_,這些研究在建構信賴區間時_, 還是使用傳統大樣本分配_,唯一不同的只是用_bootstrap標準差替換掉 傳統的標準差。 這樣的做法相當奇怪_,因為_,使用_bootstrap的原因就是 來自我們不信任極限分配_!如果_bootstrap的目的是統計推論₍例如建 構信賴區間_),何不直接建構_bootstrap信賴區間_?

Bootstrap 信賴區間

T_n的實際抽樣分配為

G_n(τ, F).

若

α= Gn(qn(α, F), F),

我們稱_{qn(α, F)}為_α%的分量函數(quantile function)。 同理_,

bootstrap分配中的分量函數為

q^∗_n(α) = qn(α, Fn).

給定_{Tn = ˆθ}為我們有興趣的統計量_,則樣本中有_{100⋅ (1 − α)%}的比例_, θˆ被以下區間所包含_:

[qn(α

2) , qn(1 − α 2)] .

Bootstrap信賴區間

Bootstrap 信賴區間

以上的區間提供我們建構_bootstrap信賴區間的靈感。 亦即_{, Efron}提出 以下的_bootstrap信賴區間

CI^∗ =[q^∗n(α

2) , q^∗n(1 − α 2)] .

一般來說_,我們稱此區間為百分位信賴區間(percentile confidence interval)。 而實務上_CI的模擬估計式為

CÎ^∗=[ˆq^∗n(α

2) , ˆq^∗n(1 − α 2)] ,

Bootstrap 信賴區間

其中qˆ^∗_n(⋅)為_bootstrap統計量_{Tn1^∗, . . . , T_nB^∗ }的樣本分量_(sample quantile)。 也就是說_,我們透過模擬得到_bootstrap統計量_,

{Tn1^∗, . . . , T_nB^∗ },將它們由小排到大_,然後找出第_Bα個_T^∗

nb做為分量

q^∗_n(α)的模擬估計式。 舉例來說_,在₁₀₀₀次的重複抽樣中_{(B= 1000),} 95%的百分位信賴區間就是第₂₅位以及第₉₇₅位的_T^∗

nb(排序後₎。

Bootstrap信賴區間

Bootstrap 信賴區間

百分位信賴區間的缺點在於不夠精確(not accurate),舉例來說_{, 95%}百 分位信賴區間的實際覆蓋機率事實上不到_95%,然而_,由於百分位信賴 區間CÎ^∗建構程序簡單_,從而成為實證研究中_,最常使用的一種

bootstrap信賴區間。

單尾檢定

我們想要在顯著水準為_α之下檢定底下的假設_,

{ H0∶ θ= θ⁰ H1∶ θ> θ⁰ 令

Tn(θ) = θ − θˆ S(ˆθ)

為我們感興趣的統計量。 傳統的大樣本檢定為找出一個臨界值_c使得 P(Tn(θ⁰) > c) = α,

則根據_Tn(θ0)的虛無分配₍一般來說是_N(0, 1)), c = qn(1 − α)。

Bootstrap P-values (假設檢定)

單尾檢定

bootstrap檢定的步驟則是先模擬

T_n^∗ = θˆ^∗− ˆθ S(ˆθ^∗),

的_bootstrap分配_,其中_S(ˆθ^∗₎為_θ^ˆ∗的_bootstrap標準差。 接下來_,找 出_bootstrap臨界值_q^∗_{n(1 − α)}使得

P(Tn^∗ > q^∗_n(1 − α)) = α, 且拒絕域為

RR= {拒絕_H0, 當_{Tn(θ0) > q}^∗_{n(1 − α)}.}

單尾檢定

此外_,我們也可以計算bootstrap p-value:

p^∗= 1 B

∑B b=1

1(Tnb^∗ > Tn(θ⁰)).

亦即_,在_B個_T^∗

nb中_,有多少比例的_T^∗

nb大於_Tn(θ0)。

Bootstrap P-values (假設檢定)

雙尾檢定

我們想要在顯著水準為_α之下檢定底下的假設_,

{ H0∶ θ= θ⁰ H1∶ θ≠ θ⁰ 令

T_n= θ − θˆ S(ˆθ)

為我們感興趣的統計量。

雙尾檢定

如同單尾檢定的例子_,我們模擬

T_n^∗ = θˆ^∗− ˆθ S(ˆθ^∗). 的_bootstrap分配。 接著將_∣T^∗

nb∣由小排到大_,然找出_{100⋅ (1 − α)%}的分 量函數_{, q}^∗_{n(1 − α),}則拒絕域為

RR ={拒絕_H0, 當_{∣Tn(θ0)∣ > q}^∗_{n(1 − α)}.}

而bootstrap p-value為 p^∗ = 1

B

∑B b=1

1(∣Tnb^∗∣ > ∣Tn(θ⁰)∣).

迴歸模型的Bootstrap

迴 歸模型的 _Bootstrap

考慮以下的迴歸模型_,

y_t= βx_t+ εt (1)

ε_t ∼^i.i.d. (0, σ²).

假設我們想要檢定的虛無假設為

H0 ∶ β = β⁰.

將無母數_bootstrap應用在迴歸模型有 「不具效率」 之虞_,原因在於_,我

們所擁有的資訊比過去多_:我們多了一個迴歸模型來說明 _y與_x之間的 關係。 因此_,對於迴歸模型的_bootstrap,建議採用 「殘差

bootstrap」(residual bootstrap),茲將其執行步驟說明如下。

殘差 _Bootstrap

步驟_1:估計迴歸模型並得到估計式_{, ˆβ, ˆσ,}以及殘差 εˆ={ˆε¹, . . . , ˆε_T}。

步驟_2:以底下任一模擬方法得到_bootstrap殘差_(bootstrap residuals), ε^∗={ˆε^∗1, . . . , ˆε^∗_T},

1 無母數法_:自_{ˆε1, . . . , ˆεT}重抽₍抽出放回_),

2 母數法_:自分配_{N(0, ˆσ}²₎抽出_ε^∗。

迴歸模型的Bootstrap

殘差 _Bootstrap

步驟_3:迴歸模型的解釋變數_x的_bootstrap樣本_{, x}^∗_t 可以來自

1 無母數_bootstrap,

2 母數_bootstrap,

3 直接設定_x^∗_{t = xt.}

步驟_4:考慮以下兩種模擬方式以得到_y的_bootstrap樣本_{, y}^∗_t S₁ ∶ y^∗t = ˆβx^∗_t + ε^∗t

S₂ ∶ y^∗t = β0x^∗_t + ε^∗t

殘差 _Bootstrap

步驟_5:考慮以下兩種_t檢定量_,

T₁∶ Tn = βˆ^∗− ˆβ S(ˆθ^∗) T₂∶ Tn = βˆ^∗− β⁰

S(ˆθ^∗)

因此_,有四種不同的組合可以用來從事_bootstrap檢定_: [S¹, S2] × [T¹, T2].

迴歸模型的Bootstrap

殘差 _Bootstrap

注意到如果解釋變數為前期的被解釋變數_,譬如說_, y_t = βy_t−1+ εt,

則_y^∗_t 必須以遞迴的方式(recursively)製造出來。 而起始值_y^∗₀可以是_yt 的均值_,或是由_yt的實證分配抽出。 一般來說_,我們會製造_{T+ R}個 bootstrap樣本_,然後丟棄掉前_R個_,以降低起始值的影響。

殘差 _Bootstrap

1 S₁× T¹的組合符合Hall and Wilson法則(Hall and Wilson rule)。 所謂的Hall and Wilson法則就是在建構任何與_bootstrap有關的 樣本_,估計式_,或是統計量_,永遠以參數估計式替代掉真實參數_,在我 們的例子中_,就是以_{β (}^ˆ 參數估計式₎替代_β0(真實參數₎。

2 VanGiersbergen and Kiviet(1993)根據_AR(1)模型的蒙地卡羅模擬 分析發現_,在小樣本時_,使用S₂× T²的組合勝過S₁× T¹,不過在大樣 本時兩者沒有差別。 此外_,他們建議不要使用S₁× T²或是S₂× T¹ 這兩種組合。 簡單地說_,在時間序列分析應用_bootstrap時_,文獻上 傾向於建議 「不遵循」Hall and Wilson法則。

迴歸模型的Bootstrap

殘差 _Bootstrap

3 MacKinnon(2002), MacKinnon(2006)建議對於先對殘差做 「重 校」_(rescale),

¨ε_t≡( T T− k)

1/2

ˆε_t.

然後_bootstrap殘差_ε^∗再由ε¨中重抽。 「重校」 的目的在於使得

bootstrap殘差與誤差項_ε具有相同的變異數。

4 注意到我們在步驟₄中使用了參數的資訊_{( ˆβ}或是_β0),即使我們在 步驟₂與步驟₃中採用的是無母數法_,嚴格來說_,這樣的殘差 bootstrap應該稱為半母數殘差bootstrap (semi-parametric residual bootstrap)。 不過一般來說_,只要步驟₂與步驟₃中採用的 是無母數法_,就會稱做無母數殘差_bootstrap。

殘差 _Bootstrap

5 至於步驟₂與步驟₃中採用的是母數法時_,無庸置疑地應稱做母數 殘差_bootstrap。

6 最後要說明的是_,在步驟₁中_,我們的殘差是來自 未受限制 的迴歸 模型估計_,亦即_,我們在估計式₍₁₎時_,並未加入_{β= β0}的限制。 然 而, MacKinnon(2006)說明當_{xt= yt−1}且_AR(1)係數接近_1,如果樣 本數較少_,則建議利用加入限制的迴歸模型估計後得到的殘差來做 重複抽樣,不過在樣本大時_,使用未受限制殘差或是受限制殘差的結 果相差不大。

Bootstrapping長期追蹤調查資料

Bootstrapping 長期追蹤調查資料

長期追蹤資料(panel data)係指資料同時具有時間序列(time series)與 橫斷面(cross section)資料的形式_,在長期追蹤資料中_,個體個別殘差之 間往往具有同期的相關性(cross-sectional dependence of the

contemporaneous residuals)。 文獻中發現_,如果我們忽略了這種相關 性_,在統計推論上會造成極大的型_I誤差機率(substantial size

distortion).

Bootstrapping 長期追蹤調查資料

Maddala and Wu(1999)建議一種_bootstrap的程序_,可以保留殘 差之間同期相關性的結構_,做為上述問題的解決方法之一。

考慮以下的長期追蹤資料迴歸模型_,

y_it= α_i+ βix_it+ εit. 其中_i= 1, . . . , N, t = 1, . . . , T.

Bootstrapping長期追蹤調查資料

Bootstrapping 長期追蹤調查資料

令迴歸殘差為

εˆ1= (ˆε¹¹, ˆε21, . . . , ˆε_N1) εˆ2= (ˆε¹², ˆε22, . . . , ˆεN2) εˆ3= (ˆε¹³, ˆε23, . . . , ˆεN3)

⋮

εˆT= (ˆε^1T, ˆε2T, . . . , ˆεN T)

Bootstrapping 長期追蹤調查資料

則某一組可能的_bootstrap樣本為

ˆε^∗₁ = (ˆε¹⁷, ˆε27, . . . , ˆεN7) ˆε^∗2 = (ˆε¹⁴, ˆε24, . . . , ˆε_N4) ˆε^∗3 = (ˆε¹⁹, ˆε29, . . . , ˆε_N9)

⋮

ˆε^∗_T = (ˆε¹³, ˆε23, . . . , ˆεN3)

依此類推, bootstrap樣本將會保留原來殘差之間同期相關性的結構。

蒙地卡羅模擬與Bootstrap的實例應用

實例 _{I: AR(1)} 係數的 _Bootstrap 偏誤修正估計式

在第_13.2.1節中提過_{, OLS}的_AR(1)係數估計具有小樣本向下偏誤₍參見 表₁₎。 在此_,利用_bootstrap建構偏誤修正的_bootstrap估計式

(bias-corrected bootstrap estimator)。 資料生成過程如同第_13.2.1節 的應用_I,而誤差修正的_bootstrap估計式為

ϕ¨^∗= 2 ˆϕ− ˆϕ^∗.

實例 _{I: AR(1)} 係數的 _Bootstrap 偏誤修正估計式

圖_:給定真實參數值_{ϕ= 0.99}時的實證密度函數_{: ˆϕ (}實線)以及_ϕ^˜∗₍虛線)

0.66 0.72 0.78 0.84 0.90 0.96 1.02 1.08

0 2 4 6 8 10 12

上圖畫出了未修正偏誤的估計式_{( ˆϕ)}以及偏誤修正的估計式_{( ¨ϕ}^∗₎的實證 密度函數(empirical density functions),真實參數設定為_{ϕ= 0.99,}注意 到_E( ˆϕ) = 0.94而_{E( ¨ϕ}^∗_{) = 0.98,}亦即改善了小樣本向下偏誤。

蒙地卡羅模擬與Bootstrap的實例應用

VAR 衝 擊反應函數的信賴區間 _{: (A)} 蒙地卡羅法

1 給定Φ^ˆ1, . . . , ˆΦ_p為_VAR係數估計式

2 令

ϕ=

⎡⎢⎢⎢

⎢⎢⎢⎢

⎢⎣

ϕ₍₁₎ ϕ₍₂₎

⋮ ϕ_(k)

⎤⎥⎥⎥

⎥⎥⎥⎥

´¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¸¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¶⎥⎦

k²p×1

其中

ϕ_(i)=

⎡⎢⎢⎢

⎢⎢⎢⎢

⎢⎣

(Φ¹的第_i列₎^′ (Φ²的第_i列₎^′

⋮ (Φ^p的第_i列₎^′

⎤⎥⎥⎥

⎥⎥⎥⎥

´¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¸¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¶⎥⎦

k p×1

VAR 衝 擊反應函數的信賴區間 _{: (A)} 蒙地卡羅法

3 自_N( ˆϕ, ˆΣ ⊗ ˆQ⁻¹)分配抽出_k²_{p× 1}的向量_,其中_, Σˆ = 1

TΣˆε_tεˆ^′_t

εˆt = yt− ˆΦ¹yt−1− ⋯ − ˆΦpyt−p

Qˆ = x^′x T

蒙地卡羅模擬與Bootstrap的實例應用

VAR 衝 擊反應函數的信賴區間 _{: (A)} 蒙地卡羅法

4 將此向量以_ϕ⁽¹⁾表示

5 利用_ϕ⁽¹⁾建構_A⁽¹⁾

6 利用_A⁽¹⁾計算Ψ_s⁽¹⁾(A⁽¹⁾, ˆC)

7 再抽一次得到_ϕ⁽²⁾_{, A}⁽²⁾_{and Ψs}⁽²⁾

VAR 衝 擊反應函數的信賴區間 _{: (A)} 蒙地卡羅法

8 重複多次₍如₁₀₀₀₀次₎後得到Ψ_s⁽¹⁾, Ψ_s⁽²⁾,...Ψ_s^(10000)

9 將_[Ψs⁽¹⁾_{, Ψs}⁽²⁾_{, ...Ψs}^(10000)_]由小排到大_,然後挑選第₅₀₀位及第 9501位的_Ψs

10 分別將它們以Ψ_s^L與Ψ_s^U 表示之。 則_[Ψs^L, Ψ_s^U]就稱做衝擊反應函數 95%的蒙地卡羅模擬信賴區間

蒙地卡羅模擬與Bootstrap的實例應用

VAR 衝 擊反應函數的信賴區間 : (B) Bootstrap 法

1 估計_VAR得到係數估計式_Φ^ˆ_{1, ˆΦ2}, . . . , ˆΦ_p以及殘差_{{ˆε1, ˆε2}, . . . , ˆε_T}

2 建構_bootstrap殘差_{ˆε^∗_{1, ˆε}^∗₂, . . . , ˆε^∗_T}

3 給定起始值_{{y0, y−1, y−2... y−p+1},}建構_bootstrap樣本 y^∗_t = ˆΦ1y^∗_t−1+ ⋯ + ˆΦpy^∗_t−p+ ε^∗t

4 利用_bootstrap樣本估計_VAR與建構衝擊反應函數Ψ_s^∗

VAR 衝 擊反應函數的信賴區間 : (B) Bootstrap 法

5 重複步驟₂到步驟₄多次₍如₁₀₀₀₀次_),並得到_Ψs^∗(1)_, Ψ_s^∗(2),...,Ψ_s^∗(10000)

6 將_[Ψs^∗(1)_{, Ψs}^∗(2), . . . , Ψ_s^∗(10000)]由小排到大_,然後挑選第₅₀₀位及第 9501位的_Ψs^∗

7 分別將它們以_Ψs^∗L與Ψ^∗U 表示之。 則_[Ψs^∗L, Ψ_s^∗U]就稱做衝擊反應 函數_95%的_bootstrap信賴區間

蒙地卡羅模擬與Bootstrap的實例應用

蒙地卡羅法 v.s Bootstrap 法

在定態_VAR模型中_,蒙地卡羅法與_Bootstrap法在大樣本的表現均 佳_,然而_,它們的小樣本性質令人堪慮。 尤其是_VAR係數估計存在小 樣本向下偏誤的問題_,導致其信賴區間的建構也出問題。

Kilian(1998)提出一種改善的方法_,此方法在第一階段先以

bootstrap修正小樣本偏誤後_,再以_bootstrap建構信賴區間。