第二章 文獻探討
第四節 表現水準的設定
測驗的目的，不外乎是檢視受試者對測驗範圍的精熟程度。就學期間的成績 通常以及格不及格來訂定，60 分以上及格，60 分以下則不及格。出社會後可能 又會面臨國家級證照考試，不同標準設定所得到的結果一致性如何？應該如何訂 定通過標準呢？此類問題從學術研究角度來看，即是在探討效標參照測驗中，此 效標或精熟標準的設定方式（謝進昌，2006）。
本研究利用 OMC 試題來測量學生在面積概念的發展層次，因此涉及到如何 訂定各個學習層級的表現通過標準。然而，該如何設定各個學習層級的表現水 準，常見的標準設定可劃分為以測驗試題的特性為判斷依據的測驗中心模式 (test-centered methods)與以受試者能力或作答表現為判斷依據的受試者中心模式 (examinee-centered methods)兩類，但不論是以測驗或受試者為中心的標準設定方 法，兩者皆會依賴學科與學科專家們的主觀判斷（林奕宏、曾芬蘭、宋曜廷，
2013）。本研究是以受試者為中心，探討受試者的學習層級。除了常見的專家判 斷，Sireci 在 1995 年時使用群集分析來確定統計組別是否可以與受試者的表現類 別吻合。Brown 則在 2000 年使用潛在類別分析確定受試者的反應潛在分布用來 觀測其表現層級。然而，Sireci & Brown 的理論中缺乏考慮鑑別能力類別的表現 水準，完全由資料來帶動特性，根據受試者的作答反應算出 p 維空間的距離遠近 作為分群標準，而屬性層級方法則先判定具備那些屬性，根據所判定出的屬性組 合分類受試者的學習層級。故本研究使用屬性層級方法，來評估受試者的學習層 級。
因此，為了比較不同表現水準設定方法分類受試者的學習層級，本研究使用 專家判斷作為效標，利用群集分析與屬性層級方法分析之結果分別探討學習層級 的一致性，以下簡介三種分類方法：
29
壹、 專家判斷
專家判斷，顧名思義即是根據專家的判定來決定通過標準，為有效區分不同 層級的決斷分數，專家判斷取決於三種假設，第一，判斷是否擁有足夠的技能和 知識以解決試題?第二，評估受試者在不同表現層級能夠正確回答試題的機率。
第三，在單維尺度的測驗表現足以證明測驗總分能夠合理的區分表現層級。針對 以上假設，對於研究者而言，不僅考慮到受試者的總分，對於受試者在特定試題 的回答正確與否也一併關注(Sadesky, 2004)。本研究之專家判斷之準則為當受試 者選擇某一層級的比例達五分之三，則被指定到該學習層級。
貳、 群集分析
群集分析的用意在將觀察值依某種標準加以分類，與標準設定一樣，都是在 將受試者進行分類，因此兩者的結合有其相似性（林奕宏等人，2013）。由文獻 中發現，如果要將不同族群分類，較常使用的分析方法即是群集分析，如李佩隃
（2010）潛在類別分析與二階段群集分析分群效果之比較研究，利用不同分群效 果比較分群結果差異，並了解不同創造力表現類型的受試者在不同觀察變項上的 表現差異、林克霖（2008）以群集分析為基礎之數位內容學習平臺建置與評估—
以臺中縣國小高年級電腦課程為例，利用群集分析的技術進行資料探勘，將實驗 組學生分群，並對分群的結果作更深入的群集特性剖析、廖家新（2002）臺灣地 區消費者對綠色產品的認知與購買行為之調查研究利用群集分析將不同認知程 度之消費者加以分群、馮莉雅（2000）國中教師教學效能評鑑之研究利用群集分 析教師的教學效能等。
群集分析是將比較相似者歸類至同一類別，不相似者歸類至另一類的客觀統 計方法（林清山，1985），也就是將沒有分群的個體按照相似程度歸於同一群，
使得在同一群內的個體具有高度相似性與同質性，而群與群間具有高度異質性，
有助於研究者了解資料間彼此的特性與差異。分類方式以距離作為分類的標準進
30
行分類，相對距離越近，相似程度就越高（陳柔安，2006）。群集分析會因有不 同的變項或將某一變項取出，其結果會有所改變，因此，其分類標準會依據資料 的特性決定出最佳的分群。
利用群集分析可以將資料簡單化。群集分析的方法可分為兩大類：分層法 (hierarchical)及非分層法(non-hierarchical)，而將上述兩種方法結合的群集分析稱 為兩階段法(two Step)。
一、 分層法
分層法可分為凝聚分層法(Agglomerative)和分離分層法(Divisive)。前者是將 每一個個體為一群，逐步將最近的兩個體集結成單一群體，每次結合使群組越變 越少，最後所有個體結合成一群。後者是一開始所有個體為一群，然後分成兩群、
三群，直到每個體為一群。分層法的群集過程可以用樹狀圖表示出來。
二、 非分層法
非分層法最具代表性的是 k 組平均法(K-Means Method)，開始時任意將個體 分層 k 組，然後將個體在 k 組間移動使得群內變異最小而群間變異最大。
應用群集分析方法在標準設定上，必須事先知道欲將所有個體分成幾個群 聚。基本步驟如下：
(一) 決定分群變數及考量變項性質 變數與資料篩選上須考量：
1. 與群集分析的目標相關，反映分群對象特徵 2. 變數間不具有高度相關
3. 資料的標準化 (二) 進行群集分析
由於本研究所採用的樣本數分別為四年級 303 位及六年級 299 位，使用 分層法時需要做多次計算，因此本研究使用非分層法進行群集分析，分為以 下步驟：
31
1. 指定形成的群集數目。
2. 計算每個個體到各群重心的距離，將個體歸類至距離重心最近的一群。
3. 重新計算每一群之重心。
4. 重複步驟 2~步驟 3，直到沒有個體可再調整為止。
(三) 對結果進行解釋和驗證
為確保群集分析的結果符合標準設定的目標，因此應對結果進行驗證和解 釋，驗證方式包括（林奕宏等人，2013）：
1. 與外在效標的關係：如受試者在相同領域的其他表現指標，如在校成績 等。
2. 跨樣本比較：將現有樣本隨機分成兩個子樣本，分別進行群集分析，比 較結果是否相似。
3. 與既定標準的關係：進行標準設定前，已建立受試者表現等級，用以說 明不同能力等級的受試者在作答反應上的特徵。
(四) 決定切點
獲得分類結果後，即可以分類結果尋找適合的切點分數。林亦宏等人
（2013）採用臨界組法(borderline group method)找切點分數，當相鄰兩組 有許多受試者分類在不同組但卻具有相同分數時，找出這些受試者得分 的中位數，作為切點分數。
群集分析後，針對分群結果進行適當的描述，並將每群命名適當的名稱，倘 若命名不恰當，可能因此造成閱讀不易與產生誤解。標準設定過程中，群集分析 的結果可以協助研究者獲得不同的分類方法，藉此分類受試者所在之學習層級。
32
叁、屬性層級方法
屬性層級方法是一種心理測量方法，對於受試者測驗試題反應分類成一組結 構化的屬性模式，從認知模型組成部分的作答表現。AHM 可連接認知理論與心 理測量，以及分析教育、心理測驗。AHM 分析對受試者認知能力具有幫助，可 將測驗結果連接到特定的認知屬性進而推斷受試者的知識和技能，因此 AHM 具 有診斷的價值。
一、 規則空間模式
認知診斷模式在近十年中已擴增為心理計量模型，這種模式大部分來自 1980 年代起 Tatsuoka 所開發的，他認為試題的總分在某些特定域中，往往掩蓋學生用 來解決問題的重要診斷訊息屬性。Tatsuoka (1983)發展出規則空間模式(rule space model, RSM)解決此問題，RSM 藉由受試者在試題評量中的試題反應組型(item response pattern)，推論受試者所具有的潛在知識狀態(latent knowledge state)。RSM 評量方法包括五個步驟：定義試題的認知屬性、將認知屬性組合成試題、決定出 各種試題反應組型、形成分類空間、對受設者的反應進行分類。茲將說明五個步 驟如下（涂金堂，2003；Katz, Martinez, Sheehan, & Tatsuoka, 1998）：
(一) 定義試題的認知屬性(attribute)
試題的認知屬性是構成認知診斷評量的基礎，它包含陳述性知識、程序 性知識或是解題的策略等。根據受試者在評量中的表現評斷是否擁有該認知 屬性，施測者才能進而推論受試者可能的知識狀態。
(二) 將認知屬性組合成試題
試題編製過程中，需藉由認知屬性的相似程度與難易程度組合成試題。
試題與認知屬性的關係，可從關聯矩陣(incidence matrix, 以 Q 表示)來表示。
假設有三道試題 I1、I2、I3，有兩個認知屬性 A1及 A2，其中 I1含有認知屬性 A1，I2含有認知屬性 A2，I3 含有認知屬性 A1。因此，舉例來說，若想答對 I2，則需具備認知屬性 A2的知識。而該份試題的關聯矩陣 Q 為(2x3)矩陣，
33
如圖 2-5。
圖 2-5 三道試題與兩個認知屬性所構成的關聯矩陣 (三) 決定出各種試題反應組型
藉由排列組合將認知屬性排出各種不同的知識狀態，知識狀態的類型是 透過關聯矩陣 Q 所決定的。受試者的知識狀態必須由試題反應組型進行推 估。由圖 2-5 的例子，I1、I2、I3三道試題經由排列組合可能會有八種不同的 試題反應組型，分別是(0,0,0)、(1,0,0)、(0,1,0)、(0,0,1)、(1,1,0)、(1,0,1)、(0,1,1)、
(1,1,1)，其中 1 代表答對，0 代表答錯。由上述例子中，構成了四種的可能 知識狀態，如表 2-9：
表 2-9
認知屬性關聯矩陣 Q(2x3)所產生的四種知識狀態
知識狀態 說明
(1,0,1) 受試者具備認知屬性 A1 (0,1,0) 受試者具備認知屬性 A2
(0,0,0) 受試者同時不具備認知屬性 A1、A2 (1,1,1) 受試者同時具備認知屬性 A1、A2
若受試者的知識狀態為表 2-9 以上四種，則屬於典型試題反應組型(ideal item-response pattern)，若受試者的知識狀態是(1,0,0)、(0,0,1)、(1,1,0)、(0,1,1)，
則屬於非典型試題反應組型。施測者可根據典型試題反應組型，清楚掌握受 試者具有或缺乏哪些認知屬性，如果受試者屬於非典型試題反應組型，可能
則屬於非典型試題反應組型。施測者可根據典型試題反應組型，清楚掌握受 試者具有或缺乏哪些認知屬性，如果受試者屬於非典型試題反應組型，可能