國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
第二章 文獻探討
在建構多元迴歸模型的過程中，變數的選擇通常會對模型的準確度有所影
響，因此如何挑選出重要的解釋變數是迴歸分析中最重要的議題之一。假設有 反應變數的一組 n 筆觀察值 Y 與對應的解釋變數觀察值矩陣X (X X1,, 2, ,XP)， 則我們考慮以下多元迴歸模型:
Y
X
其中Y 為n1之反應變數向量，X 為 n p 之解釋變數矩陣， ( 1, 2, ,p)T 代表p 個未知的迴歸係數，而 ( , 1 2, ,n)T是服從期望值為0 向量且共變異
矩陣為2I之多元常態分配。
當透過不同的解釋變數來配適迴歸模型時，若使用過多與 Y 不相干的解釋 變數時，可能會造成估計迴歸係數的估計誤差變大，且選取過多變數時也會 造成過度配適的問題。另一方面，若是有重要的變數未放入模型內，可能會造 成迴歸係數的估計值是偏誤的。因此透過上述之多元迴歸模型假設，我們可以 藉由不同的變數選取方法挑選出重要變數，使模型的預測效果更為精確。其中 子集合選取法是利用殘差平方和(RSS)或調整後的判定係數(Radj2 )等指標來判斷
模型的解釋能力。但利用此方法找出最佳子集合需要考慮 2p種可能情況，當解 釋變數個數p 較多時便需要大量的計算過程。因此可以考慮使用向前選取法 (Forward selection)與向後選取法(Backward selection)來挑選出較好的變數子集
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
合。
向前選取法在模型一開始不放入任何解釋變數，從欲選取的 p 個變數中考
慮各簡單迴歸係數假設檢定H0: 0,H1: 0之t 統計量絕對值最大者(需大 於臨界值)優先進入模型。接著再從剩餘的 p-1 個解釋變數中選出最能解釋反應
變數剩餘變異的變數進入模型，也就是在給定第一個變數進入模型後，再從剩 餘變數中選取一個變數加入模型，使得二元迴歸模型中新加入變數之係數t 檢 定統計量最大(需大於臨界值)。且根據 A.J. Miller(1990)之概念，以此選取方式
直到剩餘的變數之係數檢定統計量皆未大於臨界值，代表剩餘的變數對於反應 變數剩餘變異之解釋能力無顯著關係時停止。而向後選取法與向前選取法相 反。一開始將所有p 個自變數先引入模型中，並將對於解釋反應變數最不顯著 之變數刪除，於接下來的p-1 個自變數的多元迴歸模型重複以上方式直到所有 解釋變數在解釋反應變數上都有顯著效果時停止。
近年來，貝氏方法也被應用在變數的選取上。相較於傳統參數估計方法此
方法假設參數服從一先驗分配，並透過先驗分配與樣本之概似函數推論出參數 之後驗分配進行模型選取。貝氏變數選取方法藉由潛在變量γ( , 1 2, ,p)T 表示p 個解釋變數是否為重要變數，其中 1, 2, ,p為0 或 1 的指標變數，i
=1 時代表第 i 個解釋變數為重要變數，而i=0 代表第 i 個變數不會被選入模型
中。藉由樣本計算γ 之後驗分配機率以選取重要變數子集合。然而當變數個數 p
‧
(1993)提出一個貝氏變數選取方法 stochastic search variable selection (SSVS)。此方法假設在給定i下之i先驗分配為常態分配，其分配如下：
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
(2002)提出兩個利用馬可夫鏈蒙地卡羅法之匹配追蹤演算法，應用於圖像表 示。Chen and Lai (2007)將其修改為更一般化之貝氏變數選取演算法。此方法可
避免計算大量反矩陣以增加效率。
‧
值。我們進一步透過truncated power basis functions 之線性組合近似(1.1)中之 f 函 數，此種基底的線性組合稱為樣條函數。其中 k 階樣條之 truncated power basis functions 定義如下:
0 1 1 1 型。最後利用ISE(integrated squared error)評估模型配適的準確度。ISE 之解釋 如下: