第二章 研究方法
第二節 模型估計
二、 Group lasso 方法
lasso) (Tibshirani, 1996, 1997)是一種同時估計參數與挑選變數的方法。其估計 原理為，在最適化目標函數ℓ(𝛄𝛄)的時候，藉由引入𝛄𝛄的𝐿𝐿1範數來達到係數壓縮的 效果。具體而言，
𝛄𝛄�𝑠𝑠 = argmax
𝛄𝛄 {ℓ(𝛄𝛄)} subject to ‖𝛄𝛄‖1 ≤ 𝑠𝑠 (3.25) 此處，‖∙‖1為𝐿𝐿1範數，而𝑠𝑠為一個調諧參數(tuning parameter)。式(3.25)也可以藉 拉格朗日式(Lagrangian form)來表達，
𝛄𝛄�𝜆𝜆 = argmax 有助於模型的解釋，此為精簡原則(principle of parsimony)；第三，在某些情況 中，研究者可能面臨過多的變數，變數的數目甚至多於樣本數，此時傳統的分析 方法便會失效，而lasso 方法則不受變數個數的限制。因此，lasso 被廣泛應用於 高維資料的分析當中。
二、Group lasso 方法
在某些情況中，研究者可能欲同時納入或排除一組變數，而非單一變數，例 如：以多個虛擬變數(dummy variable)編碼而成的因子，或是如本文模型中以一
‧
於模型的解釋。為了解決這個問題，Yuan & Lin (2006)
提出了group lasso，這個 方法同時懲罰了一組變數，而非單一變數。具體而言，令𝛄𝛄𝑖𝑖為對應係數向量𝛄𝛄中 則為Verweij & van Houwelingen (1993)
根據 Cox 模型所提出的交叉驗證法 (cross-validation)。交叉驗證的想法是，在給定某個𝜆𝜆之下，將樣本隨機分為𝐾𝐾組後（1 < 𝐾𝐾 ≤ 𝑛𝑛）， 使用其中𝐾𝐾 − 1組作為訓練樣本(training set)，也就是利用此組樣本來估計係數。
當模型確立後，再以此模型來預測未用來建模的那組樣本，稱為測試樣本(test
‧
𝑛𝑛時，此方法又稱為留一驗證(leave-one-out cross-validation)，也就是Verweij & van Houwelingen (1993)
所提出的方 法。為避免留一驗證過於龐大的計算量，本文採用𝐾𝐾折交叉驗證法（𝐾𝐾 < 𝑛𝑛），並 (Bayesian information criterion, BIC)來作為選取節點個數與階數的方法。這些準 則評估了模型的複雜度並衡量模型擬合資料的優良性。當模型不具懲罰項時，兩‧
Moody, Hanson, & Lippmann (1992)
為具懲罰項的模型提出修正的自由度，AIC𝜆𝜆 = −2ℓ(𝛄𝛄�𝜆𝜆) + 2 trace�𝓵𝓵̈(𝛄𝛄�𝜆𝜆)𝓵𝓵̈pen−1 (𝛄𝛄�𝜆𝜆)� (3.33)
‧
值之外，節點將放置於25%、50%、75%的分位數上。Sleeper & Harrington (1990)
的模擬發現，將節點放置於分位數上，與等距節點相比，在求算逆矩陣上會減少對數偏概似函數是一個凹函數(concave function)，連續且在每一點皆二次可微分，
其一階與二階導函數分別為
‧
一個常用於解決最適問題的方法為牛頓法(Newton’s method)，其原理為將 目標函數的一階導數以泰勒展開式(Taylor series)作近似，並於起始值𝛄𝛄�(0)展開， 的 方 法——有限內存擬牛頓法(Limited-memory Broyden–Fletcher–Goldfarb–
Shanno, L-BFGS)，來解決最適問題。
L-BFGS 是擬牛頓法(quasi-Newton method)的衍生。擬牛頓法並不直接計算 海森矩陣，而是利用每個步驟中的估計值與其對應的一階導函數來近似海森矩陣
（或是其逆矩陣）。若以𝛄𝛄�(𝑠𝑠)表示疊代第𝑠𝑠次所得之估計值，並定義𝛅𝛅(𝑠𝑠)與𝛑𝛑(𝑠𝑠)如下，
𝛅𝛅(𝑠𝑠) = 𝛄𝛄�(𝑠𝑠+1)− 𝛄𝛄�(𝑠𝑠) (3.42) 𝛑𝛑(𝑠𝑠) = 𝓵𝓵̇pen�𝛄𝛄�(𝑠𝑠+1)� − 𝓵𝓵̇pen�𝛄𝛄�(𝑠𝑠)� (3.43) 那麼，在步驟𝑠𝑠 + 1的海森矩陣的估計便為下列線性方程組的解，