國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
9
第三章 改良向前逐步迴歸
由上章之探究，可以注意到因為檢定統計量建構思維的相近，將 Lasso 顯著 性檢定與向前逐步迴歸作為比較是很好的研究方向。本章將就「貪婪的步驟」下 的逐步迴歸方法進行探究：首先會透過模擬資料驗證 Lockhart et al. (2014)對向前 逐步迴歸方法之觀察，接下來再提出以 Bootstrap 提升向前逐步迴歸方法。
3.1 驗證向前逐步迴歸之缺陷
由於實際迴歸分析中，分析者鮮少會掌握誤差的變異程度。因此本節討論將 假設要以殘差變異 來估計 。此外由於 Lasso 顯著性檢定並沒有對截距項進行 檢定，因此接下來定義的向前逐步迴歸方法下並不會有截距項的存在。故依據 Efroymson (1960) 的定義，在本研究假設下選取變數 j 的向前逐步迴歸之檢定統 計量 可定義為(3.1)式，p 是 A∪{j}下參數個數：
(3.1)
假設樣本數為 100 筆，模擬次數為 500 次，候選變數有 10 個，虛無假設下 設定β = [0,0,0,0,0,0,0,0,0,0]T。以(3.1)式統計量的定義（非「貪婪的步驟」）下，
把對第一個變數檢定之檢定統計量 的實證分配與理論分配 比較。如圖 3.1 左圖所示，的確大致上算接近理論分配。
而由圖 3.1 右圖來看，當以「貪婪的步驟」（即實際上向前逐步迴歸選取變 數的意義）來選擇第一個要檢定的候選變數時，檢定統計量 的分配的確具有隨 機分布上大於 的特性，若以 為檢定用的理論分配，會大大提高犯 型一誤差的機率。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
10
圖 3.1 固定變數（左）與「貪婪的步驟」（右）向前逐步迴歸與理論分配比較
同樣設定樣本數為 100 筆，模擬次數為 500 次，候選變數有 10 個，虛無假 設下設定β = [0,0,0,0,0,0,0,0,0,0]T。以 Lasso 顯著性檢定第一個迴歸係數估計值 轉為非零的候選變數，檢定統計量Ｆ 的分配十分接近理論分配 ，如圖 3.2 所示。因此透過模擬資料實證，不論向前逐步迴歸或 Lasso 顯著性檢定皆的 確符合 Lockhart et al. (2014)所言。
圖 3.2 共變異檢定統計量分配與理論分配比較
‧
易。因此本研究採用 Bootstrap 的方法改善「貪婪的步驟」下的向前逐步迴歸，以下是所制定的 Bootstrap 執行程序：
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
12
(6) 若不顯著，以 Bootstrap 執行的向前逐步迴歸過程在第二步結束；若顯著 則進入第三步：若第二步時選出的變數編號為 l，令第三步時反應變數名為
，並定義 ，以符合進入第三步時的虛無假設。
再對（ ）進行以上資料重抽的步驟，接下來的執 行與前面說明的步驟相同，並一直持續下去。
理論上相較於將「貪婪的步驟」之下的向前逐步迴歸統計量以 F 分配近似而 言，透過 Bootstrap 資料重抽方式設定的向前逐步迴歸犯型一誤差的機率會降低 許多。不過關於這點會在第四章以詳細的模擬資料來驗證。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
13