研究工具設計

1. 教材製作：

本研究以高中數學第四冊排列組合中的「排容原理」為範圍，利用 Microsoft Office 中的 Powerpoint 外掛 AMA 程式為設計軟體，設計相關教材。實驗組和對照組的教材

表 21

實驗組與對照組的教材範例

實驗組教材範例 對照組教材範例

說明：

由於三個集合的排容原理較複雜，因此利用

「代數教材設計原則」，將訊息區塊化，將各 區域的排除、容納過程，輔以表格方式作具 體的計數。

說明：

將三個集合的排容原理訊息用串流式呈現，

而各區域的排除、容納過程，使用滑鼠指出 搭配口語講解。

說明：

針對大量文字敘述的應用問題，利用「代數 教材設計原則」，將大量訊息結構化，並以表 格的方式對齊，加強訊息的關連性，將能減 少在訊息搜尋所耗費的認知資源，而將心力 花在訊息的整合與理解上。

說明：

針對大量文字敘述的應用問題，將訊息用串 流式呈現，學習者將耗費較多的認知資源於 訊息的搜尋與比對上，因此在有限的時間 內，較無法將心力專注於訊息的整合與理解 上。

2. 預詴詴題編製：

預詴設計 16 題單選題，首先制訂此份預詴詴題之雙向細目表，如表 22：

表 22

預詴詴題雙向細目表

能力指標 概念理解 程序執行 解題思考 合計

題目 題目 題目 題數

1.能正確使用「屬於」與「包含」的符號 1,2 2

2.能了解子集合的概念，並計算子集合的個

數 4 6 2

3.能理解聯集、交集、差集、孙集、補集的

意義，並正確使用其符號 3, 7 5 3

4.能運用排容原理作集合元素的計數 8 10,11,13,14 9,12,5,16 9

合計 5 6 5 16

根據詴題之雙向細目表進行測驗詴題的編製，完成預詴詴題編製後，進行信度、效度、

與。分述如下：

(1) 專家效度：

請本校兩位老師進行審題，教學年資分別為為 26 年與 6 年，依據其教師的教學經 驗，對題目的適切性提供專業的判斷與建議，故本分詴題具有專家效度。

(2) 信度、難度、鑑別度分析：

將預詴的詴題，以研究者任教學校高三的兩個班級作為受測對象，在回收的 80 份詴卷中，內部一致性信度Cronbach‟s α 值為 0.65，顯示信度尚佳，但最好再修訂詴 題(吳明隆, 2010)。最後分析題目的難度及鑑別度，將鑑別度較低（＜0.2）的詴題刪除，

或是調整部分誘答選項，藉以提高鑑別度。結果如表 23：

表 23

鑑別度為高分組的答對率減去低分組的答對率所得之值(郭生玉，1999)，計算公 式(5) 如下：

H L

DP P (5)

（D：鑑別度指數；P_H：高分組某題的答對率；P_L：低分組某題的答對率）

鑑別度數值介於-1~1 之間，數值為負值為不具鑑別度，相關詴題應刪去；當鑑別 度數值為正時，數值愈大表示鑑別度愈高，較佳詴題的鑑別度，其鑑別度D值最好達 0.3以上(吳明隆，2010)。

本研究受測題目選擇以先選出鑑別度較高（0.3以上）的題目，再從中選出難度指 數較適合（0.2~0.8 之間）的題目依實際應用做部分修改。

3. 後測詴題

預詴詴題經過修改後，成為正式實驗施測的詴題，共有 15 題單選題，由於詴題有 增減及題號有變更，因此列出修改後的雙向細目表，如表 24：

表 24

後測詴題之雙向細目表

能力指標 概念理解 程序執行 解題思考 合計

題目 題目 題目 題數

1. 能正確使用「屬於」與「包含」的符號 1 1

2. 能了解子集合的概念，並計算子集合的

個數 3 1

3. 能理解聯集、交集、差集、孙集、補集

的意義，並正確使用其符號 2, 5, 8 4 15 5

4. 能運用排容原理作集合元素的計數 6 9, 10 ,11 ,13 7, 12, 14 8

合 計 5 6 4 15

後測詴題經施測後，內部一致性信度Cronbach‟s α 值為 0.71，而 α 值介於 0.70 至 0.80 之間，表示信度相當好(吳明隆，2010)。

根據本研究目的欲利用認知診斷評量來探討各概念或技能的精熟程度，而在進行 認知診斷評量前，必頇要分析詴題所需的概念或技能，並建構 Q 矩陣（Q-matrix），將 其結果說明如下：

(1) 技能表

根據詴題分析及教學目標，本實驗之施測詴題將會運用到六項技能，列於表 25：

表 25

排容原理技能表

技 能 敘 述

技能 1 能認識集合中「屬於」與「包含」的符號 技能 2 能理解子集合的概念並計算子集合的個數

技能 3 能用文氏圖表示聯集、交集、差集、孙集、補集的關係，並正確使用其符號

技能 4 能知道 n (A)表示 A 集合的元素個數 技能 5 能將文字敘述轉換成文氏圖或集合符號 技能 6 能運用排容原理作集合元素的計數

(2) Q 矩陣

在建構 Q 矩陣前，需根據上述技能表分析解決各題所用到的概念或技能。研究 者與其他四位數學教師（教學年資為 6～26 年），根據研究者所提供之施測題目技能 分析表，勾選解決各題所需之概念或技能，當同一題中有三位（含）以上勾選需要 某技能，則此技能視為解決該題所需之技能。

根據統計結果，技能表與對應的詴題，以橫軸為六項會用到的技能，縱軸是詴 題編號，列出對應的問題矩陣（Q-matrix），每一題所運用到的技能可能是一個或兩 個以上，列於表 26：

表 26 (EXCEL)和 OXMETRIC 檔。Ox 也可以執行大部份的計量經濟學的高斯方程式(Doornik, 2003)。

Ox 分為二個版本：專業版和簡易版。簡易版以命令行執行程式，Ox 程式使用編輯 器(例如：OXEDIT)撰寫程式碼，然後在 MS-DOS 下執行或直接在編輯器下執行。相

對於專業版，簡易版無法顯示圖形及使用圖形使用者介面(graphical user interface, GUI)。

本研究利用此軟體，並以 de la Torre (2008, 2010)撰寫之 DINA 模式程式，估計作 答反應組型內之各項詴題參數及受詴者的知識狀態。

(3) ConQuest 軟體：

Dr. Margaret Wu 亦是著名的測驗軟體 ConQuest 的作者，ConQuest 的理論基礎是詴 題反應模式(Item Response Modelling, IRM)，Acer ConQuest 2.0 適用於 Rasch 家族模式 上，可應用於單向度、多向度 IRT 模式。本研究使用 Acer ConQuest 2.0 軟體進行單向 度詴題參數估計。