研究程序

第四節資料分析，第五節系統開發工具。

第一節 研究架構

本研究以「教師資格檢定考試線上適性測驗系統開發之研究—以教育測驗與 教學評量學習概念為例」為主題進行研究。前章進行文獻探討，作為本研究的理 論基礎，形成初步研究架構(參見圖 3-1)。

圖 3-1 研究架構圖

第二節 研究對象

第三節 研究程序

為蒐集研究資料，本研究蒐集「九十四至九十八年度高級中等以下學校及幼 稚園教師資格檢定考試」的國民小學部分試題，其中所勾選的試題是與測驗評量 概念相關之題目，經過重新編製之後進行紙筆測驗，施測對象為國立台東大學大 一至大四學生，之後將所蒐集的測驗卷進行資料分析，包含CTT以及IRT分析，接 著開發線上適性測驗系統，在系統完成之後進行實際上線測驗，最後將測驗結果 進行比較分析並撰寫研究報告，本研究的研究流程圖如圖3-2所示。

蒐集

第四節 資料分析程式

一、CTT題目分析：TESTER

TESTER for Windows 程式 2.0 版可執行古典測驗理論(CTT)下的試題分析、

測驗分析、和學生問題表分析。

本程式使用的最大容量範圍限制：學生數在 10000 人以內、試題數在 250 題以內、5 個選項以內的單選題之選擇型試題、且每題的輸入資料格式必須是數 值型(numerical)的作答反應資料(例如：即使選項為 A、B、C、D 的文字格式，

也必須轉成 1、2、3、4 的數字格式來輸入)。此外本程式的 S-P 表繪圖功能，僅 限於學生數 60 人、試題數在 50 題以內的資料，才能啟動使用。

利用 TESTER for Windows 2.0 版程式進行 S-P 表分析，計算注意係數與判 定類別。根據學生的注意係數當作橫軸，學生得分之百分比當作縱軸，繪製學生 診斷分析圖，並將學生的學習狀況分為六大類：學習穩定型（A）、粗心大意型

（A'）、努力不足型（B）、欠缺充分型（B'）、學力不足型（C）與學習異常型（C'）， 這六種種學習類型各有不同的學習特性（余民寧，2002）。

二、IRT 題目分析：BILOG-MG

BILOG 是二元試題 logistic 模式的題目分析和測驗統計(item analysis and test scoring with binary logistic model)，適用於二元計分試題的傳統及 IRT 題目分析。由於 BILOG 同時兼具傳統及題目反應理論之題目分析功能，而且 使用者可作的選擇很多，又可同時分析多個分測驗，是一個相當好用的題目及測 驗分析軟體。

第五節 系統開發工具

一、Apache 簡介

Apache 是 Linux 系統上最廣泛用來架設 WWW 伺服器的架站軟體，由 Apache Group 在開發維護，1999 年 6 月 30 日成立 Apache Software Foundation。從原 本的業餘玩家所組成的 Apache Group，到現在有幾家主要的公司如 IBM、Sun Microsystem、Oracle 等在背後支持後續的計畫，使得 Apache 伺服器可以持續 的發展。

PHP 的全名為 Hypertext Preprocessor，它是個被廣泛運用在網頁程式撰寫 的語言，尤其是它能適用於網頁程式的開發及能夠嵌入 HTML 文件之中，它的語

“MySQL”中的 SQL 代表“Structured Query Language”（結構化查詢語 言）。一個數據庫是一個結構化的數據集合。它可以是從一個簡單的銷售表到一

開始

受試者(學生) 前端 後端

題庫

測驗說明

初始題

金字塔選題策略 選題

受試者作答

估計能力值

終止條件 是否滿足

顯示測驗結果 (學號)(級分)

結束測驗 YES

NO

輸入學號

資料庫

記錄 ID(學號)、級分

圖 3-3 本研究線上適性測驗系統開發流程圖

第四章 研究結果分析

本研究目的在開發一個「教師資格檢定考試線上適性測驗系統」，以提供教 師一個增進教學效能的輔助工具，並能幫助學生量身訂做一個適合個人能力的測 驗。本章的重點在於題庫的建置，利用金字塔式的適性排列設計成符合學生能力 的適性題庫，還有教師資格檢定考試線上適性測驗系統的開發，最後並比較紙筆 測驗與線上適性測驗之差異。

第一節 教師資格檢定考試線上適性測驗題庫建置

本題庫測驗的建置利用 TESTER 2.0 以及 Bilog MG 3.0 來進行題目的篩選分 析，再與適性測驗整合，成為符合學生能力的教師資格檢定考試線上適性測驗題 庫。

一、初試題庫建置過程

在試題方面，此測驗中的題目皆為「民國 94 至 98 年度高級中等以下學校及 幼稚園教師資格檢定考試」中的題目所選出來，並從「國民小學課程與教學」、「兒 童發展與輔導」、「教育原理與制度」三科目中挑選與「教育測驗與評量」相關的 題目，挑選過後，共有單選選擇題四十五題。

二、紙筆題庫初試結果分析

分為以下「受試樣本」、「分析軟體」以及「試題分析」三部分。

1. 受試樣本

紙筆測驗題庫初試的樣本為有修習「教育測驗與評量」的學生，包含大二共 選、大四共選(班級) 教育測驗與評量(科目) 教育專業課程(類別)有社教系、語 教系、特教系、教育系、美勞系、自教系，受試者共有 84 人。

2. 分析軟體

使用 TESTER for Windows 程式 2.0 版軟體、Bilog MG 3.0 軟體

3. 試題分析

表 4-2 軟體分析結果統整表(續)

表 4-2 軟體分析結果統整表(續)

表 4-3 正式施測題庫表(續)

表 4-3 正式施測題庫表(續)

表 4-3 正式施測題庫表(續)

表 4-3 正式施測題庫表(續)

表 4-3 正式施測題庫表(續)

後留下的試題依照難度的高低，並依照金字塔適性測驗理論的題目排序方式，由

表 4-4 b 值轉換成百分數表

b 值 Z T T 轉換+30 新分數 <b >b

2.64 1.12 61.17 91.17 99.96 99 100 2.5 1.03 60.31 90.31 97.04 93 98 1.95 0.69 56.93 86.93 85.57 82 89 1.4 0.36 53.56 83.56 74.1 70 78 0.62 -0.12 48.77 78.77 57.83 50 65 -0.09 -0.56 44.42 74.42 43.02 40 46 -0.31 -0.69 43.07 73.07 38.43 37 39 -2.14 -1.82 31.84 61.84 0.26 0 20 其轉換方程式為新分數=62+34Z

級分(滿分為 16 級分)、分數(滿分為 100 分) 與一般分數對照，其中的轉換 分數為使用上面轉換方程式所得的新分數，一般分數為滿分除以題數，為 100 分分成 16 等分(一題一等分，共 16 題)。

表 4-5 分數對照表 級分 轉換分數 一般分數

1 0 6.25 2 20 12.5 3 37 18.75 4 39 25 5 40 31.25 6 46 37.5 7 50 43.75 8 65 50 9 70 56.25 10 78 62.5 11 82 68.75 12 89 75 13 93 81.25 14 98 87.5 15 99 93.75 16 100 100

以級分的概念來看，所轉換成的分數會比我們一般測驗所用的一般分數成績 都來的高，以 2 級分來看同樣是對一題但是得分卻不同，為 20 和 12.5，是有些 差距，但是以第 15 級分來看同樣都是錯一題，分數為 99 與 93.75，所代表的是 錯一題為 99 分與全對的 100 分其實能力值是差不多的。

第二節 教師資格檢定考試線上適性測驗系統發展建置

本研究所設計的教師資格檢定考試線上適性測驗系統目的在利用電腦作為 施測工具，以「教育測驗與評量」為測驗內容，期能更準確的評估學生的能力以 及減少測驗題數和時間。

一、系統的硬體部分 1. 研究者端

(1) CPU : AMD Athlon II X2 245 (2) RAM : 2 GB

(3) HDD : WD 500GB (4) 網路卡： 10/100Mbps 2.使用者端

(1) CPU : Intel Core 2 Duo Processor E4400 (2) RAM : 2 GB

(3) HDD : WD 250GB (4) 網路卡： 10/100Mbps

二、系統的軟體部分

1. 研究者端

(1) Apache HTTP server (2) MySQL

(3) PHP

2.使用者端

(1) 作業系統：Microsoft Windows XP (2) 瀏覽器：Internet Explorer 三、測驗方式

1. 如圖 4-2 所示，開頭畫面說明測驗範圍及測驗題數，按下藍色開始按鈕 後即可作答。

圖 4-2 教師資格檢定考試線上適性測驗之事項說明

2. 如圖 4-3 所示，難度中等的測驗初始題。若答對這題則下一題會往難度 更難的題目繼續作答，若答錯這題則下一題會往難度更簡單的題目繼續 作答。

圖 4-3 教師資格檢定考試線上適性測驗之初始題

3. 如圖 4-4 所示，當作完八個題目之後，就會出現此畫面。

圖 4-4 教師資格檢定考試線上適性測驗之輸入學號

4. 如圖 4-5 所示，輸入學號 0000001 作測試。

圖 4-5 教師資格檢定考試線上適性測驗之輸入學號 0000001 測試

5. 如圖 4-6 所示，顯示測驗的結果，包含所輸入之學號乙級測驗所得之級 分，共分為 1 至 16 級，級分越高代表答對的題目越多，也就代表學生的

「教育測驗與評量」的能力越高，反之越低。

圖 4-6 教師資格檢定考試線上適性測驗之測驗結果

第三節 比較傳統紙筆測驗與線上適性測驗之差異

本節在探討傳統紙筆測驗與所開發之教師資格檢定考試線上適性測驗兩者 間的差異。

研究者於民國 九十九年 六月 七日至 十四日這一周實施線上適性測驗的 實測。施測人數二班，兩次測驗都有參與的共有 81 人，並針對兩次測驗的答對 題數，比較傳統紙筆測驗與線上適性測驗的差異。從表中看出兩者整體平均有明 顯差異，說明了線上適性測驗的可行性，其中線上適性測驗的題數較少，也可節 省答題時間，符合經濟及成本效益，且以研究者的從旁觀察，不管測驗結果的高 低，學生願意接受線上適性測驗的接受度較傳統紙筆測驗的意願高。

表 4-6 傳統紙筆測驗與線上適性測驗比較表

傳統紙筆測驗 線上適性測驗 時間(分) 40 5

測驗題數 45 8 平均答對題數 18.70 4.38 平均答錯題數 26.3 3.62 平均答對率 41.56 54.78 平均答錯率 58.44 45.22

使用SPSS軟體分析傳統紙筆測驗與線上性測驗的結果，根據相依樣本t檢 定，將受試者分成大二共選、大四共選兩班，大二共選的班級共有32人，大四共 選的班級共有49人，分別比較紙筆答對率和線上適性測驗。

表 4-7 成對樣本統計量與檢定結果

平均數 人數 SD t 大二共選 紙筆答對率 40.83 32 8.95 -4.24***

線上答對率 49.21 32 12.67

大四共選 紙筆答對率 42.04 49 11.35 -7.21***

線上答對率 58.41 49 16.01

***p<.001

表 4-7 顯示大二共選的傳統紙筆答對率和線上適性測驗 p<0.001，代表傳統 紙筆測驗答對率和線上適性測驗答對率有顯著的差異，由平均數可看出，大二共 選的線上適性測驗答對率顯著高於傳統紙筆測驗答對率，因此本研究的研究對象 使用線上適性測驗的答對率(M=49.21)顯著高於傳統紙筆測驗的答對率

(M=40.83)，可見有其教學成效；大四共選的傳統紙筆測驗答對率和線上適性測 驗 p<0.001，代表傳統紙筆測驗答對率和線上適性測驗答對率有顯著的差異，由 平均數可看出，大四共選的線上適性測驗答對率顯著高於傳統紙筆測驗答對率，

因此本研究的研究對象使用線上適性測驗的答對率(M=58.41)顯著高於傳統紙筆 測驗的答對率(M=42.04)，可見有其教學成效。大四共選的線上適性測驗答對率 (M=58.41)和傳統紙筆測驗的答對率(M=42.04)皆高於大二共選的線上適性測驗 答對率(M=49.21)和傳統紙筆測驗的答對率(M=40.83)，可見大四共選班級學生的 平均能力明顯高於大二共選班級學生的平均能力。

將兩個班級的測驗結果合在一起，只有比較傳統紙筆測驗答對率和線上適性

將兩個班級的測驗結果合在一起，只有比較傳統紙筆測驗答對率和線上適性