高層次認知能力測驗的實施

壹、 正式測驗

經過預試試題修正後，測驗共分為 3 大題，7 小題，測驗時間為 50 分鐘，

實驗組與控制組學生在同一天進行本測驗。試題皆為論文題，以李茂興（2002）

《教育測驗與評量》書中對論文題的分類作為範例，本測驗試題皆屬論文題中的 應用題。受試者在答題時，須將規則、法則或原理應用到試題的情境之中。各題 的測驗目標均與教學目標具有關聯性，並且皆需要受試者運用高層次認知能力作 答。

以第一大題第 1 小題為例：「根據表中所顯示的出生率與死亡率資料，判斷 巴、布兩國分別處於「人口轉型模式」的哪一個階段。請分別描述巴、布兩國的 出生率與死亡率，並寫出判斷兩國「人口轉型模式」的標準」。此題所對應的具 體教學目標為第八章的 1-7「能應用人口成長要素分析一地區的人口轉型歷程」。

實驗組與控制組學生在接受測驗之前，在教學過程中從未經歷過與題目相類似的 任務情境。受試者需先閱讀人口資料，透過巴拉圭與布吉納法索兩國的出生率與 死亡率變化趨勢，分析兩國分別處於人口轉型歷程中的哪一階段。由於，題目中 出生率與死亡率資料取自於美國 CIA World Fact Book 的原始資料，數值的變動趨 勢依實際國家內部情勢而有所變動，受試者需依據整體時間尺度，區辨數據資料 中有代表性的數值，判斷出生率與死亡率的整體變化趨勢，並說明此趨勢在人口 種型模式當中的意義，進一步分析巴、布兩國分別處於人口轉型模式中的哪一階 段。此題在認知歷程向度上屬於高層次認知能力「分析」中的 4.1 區辨。若受試 者僅寫出巴、布兩國的人口轉型階段，沒有寫出判斷依據或是無法正確判斷兩國 的人口轉型歷程階段，則表示受試者未達到認知歷程向度中高層次認知能力「分 析」的程度（表 3-4）。

表 3-4：高層次認知能力論文題測驗第一大題

題目

具體目標 認知歷 程向度 一. 巴拉圭與布吉納法索皆是中華民國重要的邦交國，下列圖

表為巴拉圭與布吉納法索的人口資料，試根據資料回答以下問 題。(30 分)

1.根據表中所顯示的出生率與死亡率資料，判斷巴、布兩國分 別處於「人口轉型模式」的哪一個階段(4 分)。請分別描述巴、

布兩國的出生率與死亡率，並寫出判斷兩國「人口轉型模式」

的標準。(12 分)

2.當一國的經濟生產力不足時，將會產生推力，促使人民移出 前往他國工作謀生。相反的，當國家經濟發展較興盛時，便會 產生拉力，使他國人民移入該國工作。請依據 2012 年巴拉圭 與布吉納法索的人口資料，計算出巴、布兩國在 2012 年哪一 國的推力較強(2 分)。需寫出計算過程(8 分)，並說明判斷依據 (4 分)。

第八章：

1-7

第八章：

1-2、1-3

4.1 區辨

3.2 實行

貳、 試題評分標準

李茂興（2002）《教育測驗與評量》中指出改進論文題的評量方法，分為三 個步驟：1.先依據測驗的目標決定答案的重點；2.就每個答案的要點進行配分；

3.先批改所有試卷在同一道題目上的作答，然後再批改另一道題目。依據上述步 驟在批改論文題試卷之前，需先列出每個答案的批改要點，以及各項要點的配分。

本測驗屬標準參照測驗，因此根據答題所達到的評分要點次數，將每題答案的得 分分為 A、B、C 三等第。A 等第為精熟，代表受試者熟練使用原理、法則或規準，

精確、完整地回答試題。B 等第為基礎，代表受試者有使用原理、法則或規準回 答試題。C 等第為未達標準，代表受試者未使用，或未正確使用原理、法則或規 準回答試題。

以表 3-4 中第一大題第一小題為例，依據表 3-5 中的批改要點，若受者在該 題未作答，或者在答案中未正確描述出生率與死亡率的變化關係，且未同時正確 寫出巴國與布國的人口轉型歷程階段，則受試者在該題的得分為 C（未達到）等 地。若受者能正確描述出生率與死亡率的變化關係，且正確寫出巴國與布國的人 口轉型歷程階段，則可以達到 B（基礎）等第。另外，若受者還可以引用數據描 述出生率與死亡率，以及使用 30‰標準定義高出生、高死亡，10‰標準定義低出 生、低死亡，則受者在該題的得分將達到 A（精熟）等第。學生實際答題的內容 見表 3-6。

表 3-5：高層次認知能力論文題第一大題評分標準 (1) 能正確描述出生率、死亡率的趨勢(2 分)

(2) 能依據自己對於數據的描述判斷巴國處於「人口轉型模式」的哪一個階 段(2 分)

(3) 能依據自己對於數據的描述判斷布國處於「人口轉型模式」的哪一個階 段(2 分)

(4) 能寫出巴國為晚期擴張(2 分) (5) 能寫出布國為早期擴張(2 分)

(6) 能引用數據描述出生率、死亡率的變化趨勢(2 分) (7) 能使用 30‰標準定義高出生、高死亡(2 分)

(8) 能使用 10‰標準定義低出生、低死亡(2 分) C=未達到分析層次(0～8 分，未能同時達到(1)～(5)項)

1. 未作答

2. 僅描述或錯誤描述出生率與死亡率的變化關係，且未寫出或未正確寫 出巴國與布國的人口轉型歷程階段。

3. 未描述或錯誤描述出生率與死亡率的變化關係，但正確寫出巴國與布 國的人口轉型歷程階段。

B=達到基礎的分析層次(9～11 分，同時達到(1)～(5)項)

正確描述出生率與死亡率的變化關係，且正確寫出巴國與布國的人口轉型 歷程階段。

A=達到精熟的分析層次(12 分以上，同時達到(1)～(5)項，及(6)～(8)任一項) 正確描述出生率與死亡率的變化關係，且正確寫出巴國與布國的人口轉型 歷程階段，以及能引用數據描述出生率與死亡率，與使用 30‰標準定義高 出生、高死亡，10‰標準定義低出生、低死亡。

表 3-7：學生答案範例

學生 學生答案 評分

甲

16 分 A(精熟)

乙

10 分 B(基礎)

丙

6 分 C(未達到)

第三節 小結

本研究所設計的高層次認知能力論文題測驗，主要目的在於評量實驗組與控 制組學生，經歷不同的教學活動之後，兩者之間的學習成效，是否出現顯著差異。

因此，本測驗依測驗的目的分類屬於總結性評量，此外，本測驗旨在檢驗學生經 過教學活動之後，是否具備高層次認知能力，故在試題的設計上，屬於測驗學生 最小能力及精熟程度的標準參照測驗。

為能有效評量學生高層次認知能力，本測驗選用論文題作為測驗的試題類型，

其好處在於受試者答題反應的自由度較高，可有效測量複雜的學習成就。但缺點 在於論文題的信度普遍偏低，為解決信度偏低的問題，本測驗在批改之前先建立 試題的批改要點，依據要點進行評分，增加信度。

此外，為使測驗能夠順利進行，在正式測驗之前，需先舉辦預試，本測驗的 預試對象為國立臺灣師範大學 103 學年度的大四師培生。預試結束後，將測驗結 果進行試題分析，以難易度分析作為試題修正的依據，難度指數低於.750 的試題 予以修正或刪除。

正式測驗實施的試題共三大題，七小題。每題得分以受試者答案達到批改要 點的次數，作為評分依據，共分 A（精熟）、B（基礎）、C（未達到）三等第。若 受試者的作答得到 A（精熟）等地或 B（基礎）等地，皆表示受試者通過標準，

具備高層次認知能力。本測驗的結果將在第四章進行分析。