不同局部試題依賴之偵測方法

或「回答－解釋」（answer-explain）的脈絡特徵時，較容易導致題目彼此之間有 局部試題依賴的情形產生。除此之外，「多餘訊息的程度」、「段落中是否存有明 顯指引受試者的指示」、「隱喻語言的程度」也都是學者們認為導致題組產生局部 試題依賴問題的可能原因（Sheehan, Ginther & Schedl, 1999）。同樣地，Yen（1991）

也根據其研究發現，歸納了幾個導致題組產生局部試題依賴問題的可能原因，包 括外在的幫助或干擾、作答速度、疲勞、練習、題目或反應的形式、訊息依賴、

試題串、受試者對於先前答案的解釋、評分規則與評分者、題目所考到內容、知 識與能力。

第二節 不同局部試題依賴之偵測方法

儘管導致題組產生局部試題依賴問題的可能原因如此之多，但唯一不變的是，

一但分析者發現到題目與題目之間有互相依賴的問題存在時，就必須設法在分析 過程上做一些調整，否則所估計出來的參數很有可能都會是有問題的。所以，為 了保證後續分析出來的結果能夠更加準確，在分析資料之前，研究者通常也都會 先使用一些方法來檢視題組局部試題依賴的情形，再來決定後續該如何處理，故 以下將針對幾種常見的局部試題依賴偵測方法進行介紹：

一、Q3指標

由 Yen（1984, 1993）所提出，是一個建立在試題反應理論之上的局部試題依

賴偵測方法，用以評估試題與試題之間的相互依賴情形。其指出，不論是在二元 計分或是多元計分試題的情境之下，Q₃ 指標對於試題與試題之間的局部試題依 賴情形都有不錯的偵測效果。而以下，研究者也將針對該指標的計算過程進行詳 細說明：

以題組只有兩題為例，首先，必須分別求出第 k 位受試者在這兩題上的原始分 數和期望分數，再將其相減以得到第 k 位受試者在此兩個題目上的殘差分數，如

9

公式（2.3）所示，其中， 、 和 、 分別代表第 k 位受試者在第 i 題上得到的原始分數與其能力預測之期望分數及第 k 位受試者在第 j 題上得到 的原始分數與其能力預測之期望分數，而 dik與 djk則分別代表第 k 位受試者在第 i 題與第 j 題上的殘差分數。

, and （2.3）

接著，繼續透過上述的方式，計算出每位受試者在此兩題上的殘差分數，得到 每位受試者在此兩題上的殘差分數之後，再利用每位受試者在此兩題上的殘差分 數來進行相關係數的計算，以瞭解從實得分數之中排除了單一向度θ 的影響力之 後，每位受試者在此兩題上的殘差分數是否還會有所關聯，而此相關係數即為這 個題組的 Q₃指標，如公式（2.4）所示。理論上，若這兩個試題彼此之間是互相 獨立的話，第 k 位受試者在此兩個題目上的殘差分數應該會是一種隨機的誤差

（random error），所以可以預期 Q₃指標的計算結果應該會是呈現零相關的情形，

但實際上，其計算結果卻會非常接近於－1/（n－1）這個值（n 是指二元計分題 目的數量），而並非呈現零相關的情形；然而，若這兩個試題彼此之間是互相依 賴的話，所有受試者在此兩個題目上的殘差分數應該就會有所關聯，關聯越強（即 Q3指標越高）就代表這個題組的局部試題依賴情形越為嚴重。

（2.4）

然而，如果題組不只有兩題的話，則必須先分別求出各試題配對之殘差分數的 相關，之後再以這些相關係數的平均數作為該題組的 Q3指標，如公式（2.5）所 示：

10

, for i > j （2.5）

其中，n 代表題組內的試題數，M 則為兩兩試題配對的數量。

一般來說，Q3 指標越大即表示該題組的局部試題依賴情形越嚴重，反之，則 代表該題組越沒有局部試題依賴的情形。而根據過去學者的說法，以 Q₃指標是 否大於 0.2 作為題組有無局部試題依賴情形的判斷標準，似乎會是一個比較理想 的做法（Chen & Thissen, 1997）。

二、題組-殘差主成分分析

主成分分析（principal component analysis）的概念最早是由 Person（1901）所 提出，由 Hotelling（1933）加以發展，屬於一種維度縮減（data reduction）的統 計技術，用來檢視變項之間的結構關係。其主要是將變項進行線性組合，看是否 有新的成分（主成分）產生，並期望利用最小數目的主成分來解釋大部分的資料 變異。

一般而言，主成分分析主要是讓研究者可以透過每個成分的特徵值（eigenvalue）

及解釋的變異量來瞭解整份測驗資料是否有符合單向度的假設，而並非直接被用 來診斷局部試題依賴的問題，只是因為在 IRT 的假設上，唯有在單向度假設成立 時，局部獨立性的假設也才會跟著成立，故研究者才得以藉由主成分分析的方式 來間接判斷題組資料是否具有局部試題依賴的問題。然而，由於過去的研究主要 都是透過針對整筆題組資料進行主成分分析的方式，以瞭解整份資料是否有符合 單向度的假設。如 Lee（2004）曾利用其發展的一份題組型閱讀測驗之學生作答 資料進行原始分數（raw scores）及殘差分數（residual scores）的主成分分析，

其發現，當整份資料是符合單向度的假設時，使用原始分數進行主成分分析的結 果將會顯示第一主成分的特徵值明顯地高於剩下的主成分，而使用殘差分數進行 主成分分析的結果則會顯示萃取不出任何的主成分。惟這種針對整筆題組資料進 行主成分分析的方式，僅能指出整份資料是否有符合單向度的假設，一旦發現到

11

整份資料可能有測到其他向度的能力時，並無法有效地指出究竟是哪個題組測到 了什麼樣的能力。是故，研究者希望能夠透過針對各個題組進行殘差主成分分析 的方式，以瞭解各個題組是否有符合單向度的假設，藉此推論各題組的局部試題 依賴情形。

三、G²統計量

該指標又稱為概似率考驗（likelihood ratio test），其分布服從於自由度為 1 的 卡方分配，用以偵測題組的局部試題依賴情形（Bishop, Fienberg & Holland, 1975），

其公式如（2.6）下：

G²＝－2

（2.6）

其中， 代表受試者在第 i 題與第 j 題之答題結果的觀察次數，而 則代表受 試者在第 i 題與第 j 題之答題結果的期望次數。然而，有學者卻指出，在大部分 的情況之下，Q3 指標對於題組局部試題依賴情形的偵測效果似乎都比這個指標 來的好（Chen & Thissen, 1997），故較少研究使用這個指標來檢視題組的局部試 題依賴情形，因此，在本研究中，此法不列入比較。

四、相關法

相對於 Q3指標必須適當的服膺於特定 IRT 模式而言，有些學者也試圖從另一 種建立在原始測驗分數之上的方法學取向來解釋 題組的局部試題依賴情形

（Hambleton, 1989），其認為可以透過將受試者依照幾個測驗分數的間距，區分 成幾個不同的能力點，有了幾個不同的分數間距（相當於不同能力點）後，再分 別針對各個題組求其題目配對的相關並予以平均，就可以得到幾個不同的平均相 關（依照能力點的個數），而若同時有兩個能力點以上的平均相關大於 0.1 時，

就表示這個題組存有局部試題依賴的情形（Ferrara, Huynh & Baghi, 1997）。Huynh、

Michaels 與 Ferrara（1995）曾經比較過此相關指標與 Q3指標對於題組局部試題

12

依賴情形的偵測效果，發現此兩種偵測方法的偵測結果其實相當類似，因此，本 研究只選擇 Q₃指標作為比較的方法之一。

五、模式化的方法

除了事先使用以上這些方法對題組的局部試題依賴情形進行偵測之外，亦有學 者會先利用所謂的題組反應模式（testlet response model）來分析題組資料，先將 題組局部試題依賴的問題模式化之後，再根據題組效果變異數大小來判斷各題組 的局部試題依賴情形。如 Bradlow、Wainer 與 Wang（1999）曾利用二參數題組 模式來分析題組資料，藉此將局部試題依賴對於參數估計的影響力予以控制，並

以參數γ 的變異大小來表述題組的局部試題依賴情形。而由於此種模式化的方法

亦是本研究欲比較的偵測方法之一，故研究者將於下節部分針對此法的演變過程 及題組反應理論的發展進行介紹。