第二章 文獻探討
第四節 影響局部試題依賴偵測方法之偵測效果的可能因素
一、受測者人數
受測者人數的多寡絕對是影響 IRT 參數估計精準度的重要因素（Hambleton &
Jones,1994），通常來說，隨著受測者人數的增加，各個模式的參數估計都會漸趨 穩定且準確。然而，隨著使用模式之複雜程度的上升，所需要的受測者人數也會 跟著增加，因此，各個模式所需要的受測者人數基本上是視該模式的複雜程度而 定。以最基本的 Rasch 模式為例，由於該模式只要估計一個難度參數（b 參數）
的關係，其所需要的受測者人數也就相對較少，而根據過去學者的建議，至少需 要有 200 名受測者，才會能夠使 Rasch 模式的參數估計較為穩定且準確（Wright
& Stone, 1979）。
然而，由於本研究之模式化偵測方法所使用的模式為 Rasch 題組模式，其為多 向度試題反應模式的一個特例，故所需要估計的參數遠較基本的 Rasch 模式來得 多，因此也自然需要有較多的受測者才能幫助得到較為準確的參數估計值。而 Wang 和 Wilson（2005）曾以模擬研究的方式，透過不同的受測者人數的操弄，
以瞭解 Rasch 題組模式的參數回覆情形（parameter recovery）是否會受到受測者 人數的多寡所影響。結果發現，隨著使用受測者人數的增加，所有參數的回覆情
20
形皆有明顯地提升，顯示 Rasch 題組模式的參數回覆情形確實會受到受測者人數 的多寡所影響。
而因為其他兩種局部試題依賴偵測方法的計算程序仍然是必須先利用 IRT 模 式來對受測者的能力及試題參數進行估計，接著計算排除單一向度能力的影響力 之後，受測者在各個題目上的殘差分數，最後再以此殘差分數來對題組進行殘差 主成分分析或 Q3指標的計算。因此可以推知，受測者人數的多寡也必然會對這 兩種偵測方法的偵測效果產生影響。
二、題組效果
根據 Wang 和 Wilson（2005）的研究，研究者發現，相較於低題組效果的情境，
在題組效果較高的情境之下，Rasch 題組模式之題組效果變異數的回覆情形會變 得較差，顯示當題組效果較高時，Rasch 題組模式之題組效果估計的結果是較為 不準的。關於這一點，研究者也希望能夠透過題組效果的操弄，來驗證上述這個 現象的真實性，另一方面，由於過去研究亦少有提到題組效果大小對其他兩種局 部試題依賴偵測方法之偵測效果的影響，因此，研究者亦想要瞭解另外兩種局部 試題依賴偵測方法的偵測效果是否會因為題組效果的不同而有差異。
三、題組內試題數
過去 Wang 和 Wilson（2005）的研究曾透過題組數量（testlet number）的操弄，
來瞭解在不同的模擬情境之下，題組數量是否會影響到 Rasch 題組模式之題組效 果變異數的回覆情形。但因為該研究控制總題數為固定，所以一但對題組數進行 操弄，勢必也會使得各題組內部的試題數也連帶受到操弄，如以總題數 40 題為 例，當題組數為 10 組時，其題組內試題數就是 4 題，而當題組數為 4 組時，其 題組內的試題數也就變成是 10 題，即題組數與題組內試題數是呈現共變關係。
在這樣的情況下，本研究懷疑真正對於題組效果變異數之回覆情形有影響的因 素應該是各題組內部的試題數多寡，而非題組數有多少。因為 Rasch 題組模式基 本上是假定題組與題組彼此之間是獨立無關的，在這樣的前提之下，對受測者能
21
力與題組效果的變異進行估計。是故，以這樣的角度來看，各題組效果估計的準 確性應該會與各題組內部的試題特徵比較有關（如題組內試題數、該題組所提供 的題材….）。
所以，研究者認為，在 Wang 和 Wilson（2005）的研究之中，主要還是因為各 題組內部試題數都已夠多（至少五題以上），才能讓 Rasch 題組模式之題組效果 變異數的回覆情形維持在不錯的水準。然而，由於目前有許多測驗的題組內試題 數都很少（如學生能力國際評量計劃之閱讀測驗及國民中學基本學力測驗英文科，
其題組內試題數約 2～4 題），故仍有必要瞭解當題組內試題數較少時，Rasch 題 組模式對於題組效果的估計精準度如何。而因為過去研究亦少有論及題組內試題 數的多寡是否會對於其他兩種局部試題依賴偵測方法之偵測效果產生影響，是故，
該變項對於各種局部試題依賴偵測方法之偵測效果的影響力究竟如何，亦為本研 究所關心的重點之一。
四、其他變項
陳柏熹等人（2008）曾指出，在電腦化適性測驗的情境之下，Rasch 題組模式 之受測者能力估計的準確性除了會受到題組效果的大小所影響之外，亦同樣會受 到題組占總題數的比例所影響，其指出，隨著題組效果越大及題組占總題數的比 例越高，受測者能力估計的準確性會越差。而雖然本研究的目的並非在於瞭解影 響 Rasch 題組模式之受測者能力估計準確性的因素，但既然題組效果的大小與題 組占總題數的比例皆對於 Rasch 題組模式之受測者能力估計的準確性有所影響，
其自然也就很有可能會對 Rasch 題組模式之題組效果估計的準確性產生影響。
然而，根據他們的研究發現，研究者認為題組占總題數比例的對於能力估計精 準性的影響力似乎並不如題組效果來的大，因為在高題數（40 題）且題組沒有 題組效果（0.0）的情境之下，隨著題組占總題數的比例由 0%增至 100%，其能 力估計信度雖有些微下降，但始終都維持在 0.9 左右。然而，在高題數（40 題）
且題組具有嚴重題組效果（1.0）的情境之下，隨著題組占總題數的比例由 0%增
22
至 100%，其能力估計信度將由 0.9 左右降至 0.8 左右。如此看來，研究者認為，
在本研究所設定的模擬情境之中，題組占總題數比例對於題組效果估計的影響力 應該是不大，因此本研究才不針對這個部分進行操弄，僅以題組占總題數的比例 為 100%的模擬資料來不同局部試題依賴偵測方法的偵測效果。
23