中 華 大 學 碩 士 論 文
題目：線上適性測驗系統之建置─以中華大學英 語字彙測驗為例
Establishment of the Online Adaptive Test System─An Application to the English
Vocabulary Test at Chung Hua University
系 所 別：資訊管理學系碩士班 學號姓名：M09410007 陳宏璋 指導教授：羅 家 駿 博 士 共同指導：羅 琪 博 士
中華民國 九十六 年 八 月
i
摘要
隨著電腦科技及網際網路的快速發展，電腦化測驗早已取代傳統的紙筆測 驗，而GRE 等測驗發展至電腦化適性測驗(computerized adaptive test; CAT)更是 目前的趨勢，因為能夠使用比傳統測驗較少的試題，就能精確地估算受試者的能 力水準。另外由於網路技術的發展成熟，線上課程如雨後春筍般的出現，故線上 適性測驗(online adaptive test)更有其需要性。
本研究主要是結合測驗理論、項目反應理論(item response theory; IRT)、網 路 技 術 及 資 料 庫 管 理 技 術 等 ， 建 置 線 上 適 性 測 驗 系 統(online adaptive test system)，以提供中華大學實施線上英語測驗的另一種選擇。所有受試者透過瀏覽 器(browser)介面同時進行受測，系統會依受試者的能力而挑出最適合受試者的試 題，並重新評估受試者的能力值。因此藉由本系統能夠達到個別化適性測驗，並 能節省測驗的時間而不失測驗的精準度。本研究以英語字彙分級測驗為例，建置 出線上適性測驗系統，未來將推廣至文法、聽力及閱讀測驗，最終將發展出完整 的適性化線上英語分級測驗系統。
英語字彙題目的產生，是由外文系吳文舜老師，參考了多本的大考題庫、
語意題庫、專業英語字彙字典，從英文字彙題目中，挑選不同難度、不同詞性、
不同範疇的題目200 題，再找不同科系、不同年級約 4 千位學生做英語字彙紙筆 測驗，將所有答題的有效樣本2134 份輸入電腦，做為 IRT 模式項目參數估計所 用。再利用建立出來的題庫跟題目的參數，建立出適性化英語字彙測驗系統，建 立完系統再找107 個學生來做實驗。
由實驗結果的分析發現，利用項目反應理論建置的適性化測驗系統，的確 能夠有效的估算出受測者的能力，並且對於能力較高的同學更能夠有效的區分出 來，系統給予的能力值也能夠有效的當作英文能力的分級測驗使用，實驗出來的 能力高低，與學校分級的能力高低大致相符。
關鍵詞：電腦化適性測驗(CAT)、線上適性測驗系統、分級測驗(placement test)、
項目反應理論(IRT)
iii
Abstract
With the rapid development of computer technology and Internet, computerized tests have gradually replaced traditional paper-and-pencil tests. Furthermore, computer adaptive test (CAT), one type of computerized tests, is predicted to be the mainstream of educational measurement because the result of CAT, using fewer test items, can reflect examinees’ ability level with precision. CAT-based GRE general test developed and administered by Educational Testing Service is the best representation of CAT. In addition, because of recent advances in computer network, e-learning courses have sprung up all over the world, which has made online adaptive tests indispensable.
This research is focused on the integration of test theory, item response theory (IRT), network technology, and database management into an online adaptive test system developed by members of our team project, offering a financially viable and technically feasible option to the English placement test at Chung Hua University. All the examinees at CHU can take the placement exam through a user-friendly web-based interface. The online adaptive test system will elect and present test items to examinees according to the estimated level of the examinees’ language ability; the computer algorithm based on IRT will adjust the selection of the items interactively to the successful or failed responses of the test taker. Therefore, in a CAT, each examinee takes a unique test that is tailored to his or her own ability level. Hopefully, this online adaptive test can give time-saving and valid placement tests to our students. The emphasis of the research will tentatively be put on vocabulary comprehension of the English placement test. A prototype of online adaptive vocabulary test system will be developed by the end of this team project. Modules of grammar, listening
comprehension, and reading comprehension will also be planned to be included in the future so that the ultimate goal of the research is to develop a fully functioned English placement test system for Chung Hua University.
Keywords: computerized adaptive test, online adaptive test system, placement test, item response theory
v
致謝
首先誠摯的感謝指導教授羅家駿博士及羅琪博士，兩位老師悉心的教導使 我得以一窺適性化測驗領域的深奧，不時的討論並指點我正確的方向，使我在這 些年中獲益匪淺。老師對學問的嚴謹更是我輩學習的典範。
本論文的完成亦得感謝中華大學外文系的吳文舜老師試題級測驗工作的安 排上的大力協助，另外還要感謝中華大學外文系全體老師的支持，以及有修英文 課的大學部同學在紙筆測驗的支援與配合。因為有你們的體諒及幫忙，使得本論 文能夠順利取得資料。
兩年裡的日子，實驗室裡共同的生活點滴，學術上的討論、言不及義的閒 扯、讓人又愛又怕的宵夜、趕作業的革命情感、因為睡太晚而遮遮掩掩閃進實驗 室...，感謝眾位學長姐、同學、學弟妹的共同砥礪(墮落?)，你/妳們的陪伴讓 兩年的研究生活變得絢麗多彩。
感謝黃政嘉學長、張准榕學姐們不厭其煩的指出我研究中的缺失，且總能 在我迷惘時為我解惑，也感謝杜筱涵同學的幫忙，恭喜我們順利走過這兩年。實 驗室的王英傑學弟、詹雅珍學妹們當然也不能忘記，妳的幫忙及搞笑我銘感在心。
最後，謹以此文獻給我摯愛的雙親。
陳宏璋 謹於 中華大學 中華民國九十六年八月
目錄
摘要 ... i
Abstract ... iii
致謝 ... v
目錄 ... vi
圖目錄 ... viii
表目錄 ... x
第一章 緒論... 1
1.1、研究背景與動機...1
1.2、研究目的...2
1.3、研究流程...2
第二章 文獻探討... 4
2.1、電腦測驗的發展...4
2.2、項目反應理論...5
2.2.1、基本概念...5
2.2.2、基本假定...6
2.2.3、項目特徵曲線模式(item characteristic cure model)...7
2.2.4、項目特徵曲線(item characteristic cure; ICC)...9
第三章 題庫建立與樣本分析 ... 11
3.1、題庫建立... 11
3.2、參數估計...12
3.3、樣本分析...14
第四章 實驗設計與評估... 33
4.1、系統環境與架構...33
4.2、系統介面...34
vii
4.2.1、受測者介面...34
4.2.2、教師介面...40
4.3、實驗設計...44
4.4、實驗系統規格...46
4.5、線上施測的流程...46
4.6、實驗結果...49
第五章 結論與未來發展... 60
5.1、結論...60
5.1.1、研究結果...60
5.1.2、研究貢獻...62
5.2、未來發展...62
參考文獻 ... 64
附錄 A 參數訓練結果... 66
圖目錄
圖1-1、研究流程圖 ...3
圖2-1、三條區別度相同難易度不同的項目特徵曲線 ...10
圖2-2、三條難易度相同區別度不同的項目特徵曲線 ...10
圖3-1、分組示意圖 ...12
圖3-2、第一題估計的項目特徵曲線 ...13
圖3-3、第二題估計的項目特徵曲線 ...13
圖3-4、學院分佈長條圖 ...17
圖3-5、級別分佈長條圖 ...18
圖3-6、年級分佈長條圖 ...19
圖3-7、按系所分組的 200 題總分的盒子圖 ...20
圖3-8、按學院分組的 200 題總分的盒子圖 ...21
圖3-9、按級別分組的 200 題總分的盒子圖 ...21
圖3-10、按年級分組的 200 題總分的盒子圖 ...22
圖3-11、200 題總分的直方圖 ...23
圖3-12、1-50 題總分的直方圖...23
圖3-13、51-100 題總分的直方圖...24
圖3-14、101-150 題總分的直方圖...24
圖3-15、151-200 題總分的直方圖...25
圖4-1、線上適性測驗系統架構 ...33
圖4-2、受測者登入畫面 ...36
圖4-3、建立新測驗畫面 ...36
圖4-4、做答須知 ...37
圖4-5、起始測驗畫面 ...37
圖4-6、後續測驗畫面 ...38
圖4-7、鎖鍵盤功能 ...38
圖4-8、測驗結束畫面 ...39
圖4-9、傳統英語字彙測驗畫面 ...39
圖4-10、教師登入畫面 ...40
圖4-11、建立新題目 ...41
圖4-12、題目列表 ...41
圖4-13、修改題目頁面 ...42
圖4-14、新增受測者帳號 ...42
圖4-15、學生資訊 ...43
圖4-16、條件搜尋 ...43
ix
圖4-17、實驗流程圖 ...45
圖4-18、前五題的情報函數圖 ...47
圖4-19、傳統測驗分數的直方圖(全部樣本)...49
圖4-20、適性測驗能力值的直方圖(全部樣本)...50
圖4-21、分數散佈圖(全部樣本)...50
圖4-22、適性測驗能力值(樣本=88) ...52
圖4-23、傳統測驗分數(樣本=88) ...52
圖4-24、分數散佈圖(樣本=88) ...53
圖4-25、適性測驗能力值(外文系)...54
圖4-26、傳統測驗分數(外文系)...54
圖4-27、分數散佈圖(外文系)...55
圖4-28、適性測驗能力值(非外文系)...56
圖4-29、傳統測驗分數(非外文系)...57
圖4-30、分數散佈圖(非外文系)...57
表目錄
表3-1、有效樣本與遺失值的個數統計表 ...15
表3-2、系所的次數分配表 ...16
表3-3、學院的次數分配表 ...17
表3-4、級別的次數分配表 ...17
表3-5、年級的次數分配表 ...18
表3-6、按年級分組的 200 題總分的敘述統計表 ...26
表3-7、變異數檢定(年級)...26
表3-8、平均數檢定(年級)...27
表3-9、按級別分組的 200 題總分的敘述統計表 ...27
表3-10、變異數檢定(級別)...27
表3-11、平均數檢定(級別)...28
表3-12、按學院分組的 200 題總分的敘述統計表 ...29
表3-13、變異數檢定(學院)...29
表3-14、平均數檢定(學院)...30
表3-15、按系所分組的 200 題總分的敘述統計表 ...31
表3-16、變異數檢定(系所)...32
表3-17、平均數檢定(系所)...32
表4-1、敘述性統計(全部樣本)...51
表4-2、相關性分析(全部樣本)...51
表4-3、敘述性統計(樣本=88) ...53
表4-4、相關性分析(樣本=88) ...53
表4-5、敘述性統計(外文系)...55
表4-6、相關性分析(外文系)...56
表4-7、敘述性統計(非外文系)...58
表4-8、相關性分析(非外文系)...58
表4-9、敘述性統計(50,200,能力值)...58
表4-10、相關性分析(50,200,能力值)...59
1
第一章 緒論
1.1、研究背景與動機
電腦化測驗(computerized tests)是測驗隨著電腦科技發展的產物。測驗與電 腦的關係最早是表現在電腦計分及施測的方式，ㄧ直到最近發展的電腦化適性測 驗，線上等化(on-line equating)等等，這些發展都是不可抗拒也是不可避免的趨 勢(何榮桂，1997)。
中華大學從民國90 年新生入學時開始實施電腦英文分級測驗到現在已經五 年，這個舉動可以說是國內大學的先驅。英語教學的專家都知道能力分級、因材 施教的重要性。但是在新生入學榜單拿到後，距離開學僅有短短的兩週左右的時 間，而在新生報到後到開學，更只有兩天左右的時間。如何能在這麼短的時間內 舉行分級測驗，並將1500 位左右的大一新生的英文能力分班作業完成，轉檔到 學生選課資料庫，大概只能靠電腦化英語能力分級測驗才有可能。然而，目前中 華大學實施的網路化英語能力分級測驗有以下可改進的地方：
(1) 目前和中華大學合作的資訊廠商並沒有提供他們資料庫英文考題的數量、可 靠度(reliability)和效度(validity)的參考數據，也沒有充分利用網路測驗的優 勢–電腦化適性測驗。
(2) 資訊廠商幫本校實施的網路化英語能力分級測驗，每位學生每次英文分級測 驗的費用是NT$180，若以一個年級 1,500 位學生計，學校一年約需花費八十 萬台幣做英文分級測驗，但是外語系對測驗的英文試題並沒有主控權。
(3) 電腦化適性測驗能夠使用較少的試題，就能精確地估算受試者的能力水準，
結合項目反應理論可以實施個別化適性測驗，並能精確分析各試題的特性，
測驗的評分更為客觀及公正，容易蒐集學生作答訊息以進行學習診斷。
(4) 電腦化適性測驗可以應用在不同功能的測驗，例如「分級測驗」(placement
tests)、「成就測驗」(achievement tests)、「能力測驗」(proficiency tests)和「診 斷測驗」(diagnostic tests)等，如果在電腦程式設計時搭配良好的題目編碼(item codes)，除了能做分級測驗外，也可以概略知道學生在那一方面的英語能力較 弱，可以提供日後英文老師教學之改進。
1.2、研究目的
本論文的研究目的包括以下幾點：
1. 建置線上適性測驗系統，提供受試者(學生)線上受測的環境。
2. 建置線上適性測驗系統，提供教師線上實施測驗的環境。
3. 透過線上適性測驗，節省施測的時間，並精確估計出受試者的能力值。
4. 透過試題反應理論(IRT)分析試題的特性，供教師作為出題的參考。
5. 目前先以英語字彙分級測驗為範圍，設計出線上適性測驗系統的雛型。
6. 未來再推廣至文法、聽力及閱讀測驗。
7. 最終將取代目前花錢委託外面廠商施測的方式，對學校及學生有很大的 貢獻。
1.3、研究流程
研究的流程主要是先收集文獻，將測驗系統所預計要使用的主要的核心理論先了 解之後，再進行題庫的建立跟大型的紙筆測驗，接下來就是要建立測驗系統。由 於系統使用項目反應理論，必須要先藉由作答結果的輸入才能做參數的估計，有 題庫跟每個題目的個別參數後，才能夠順利的建立出適性化測驗系統，系統的建 立跟參數的估計上面需要花不少的精神。系統依照規則建立好後要經過多次的測 試，由於有些設定文獻上面並沒有詳細說明值要設為多少，所以要經過多次測試
3
跟論文的撰寫。本研究的研究步驟與流程如圖1-1 所示。
圖1-1、研究流程圖 研究動機和研究目的
文獻探討
建立題庫
實施大量紙筆測驗
建立試題資料庫
建置測驗系統
測試系統
實施適性化測驗
測驗結果分析 估計試題參數
論文撰寫
第二章 文獻探討
本章節主要是說明研究跟系統使用的一些文獻依據，主要分為兩大部分，就 是電腦測驗的發展，以及系統所使用的核心部分的項目反應理論，在本章節一一 做說明。
2.1、電腦測驗的發展
電腦技術的快速發展，帶動了電腦化測驗的興起，電腦測驗的發展可以分成 四個階段(林鴻源，1999；葉千綺，1999；王淑敏、邱美秀、柳玉清等譯，1997)：
1.電腦化測驗(Computerized Testing，CT)
單純的將傳統的紙筆測驗應用到電腦上，改進的重點僅在於是題目的呈現技 術的開發，例如文字、圖形如何呈現在螢幕上，近年來由於多媒體的發展，逐漸 加入聲音與動畫。另外一個重點在於如何管理題目、題庫與資料庫的應用，提供 測驗的編製和列印是電腦化測驗系統開發時主要的問題。
2.電腦化適性測驗(Computerized Adaptive Testing，CAT)
所謂的適性測驗呢，就是在測驗的初始給予受測者難度相等的考題，再根據 受測者的答題表現，調整下一個題目的內容，根據不同能力的受測者會給予不同 難度的題目，電腦適性化測驗最大的優點就是能運用最少的題目測出受測者的真 正能力，在美國的GRE(Graduate Record Examination)就是屬於這一類的電腦化測 驗。電腦適性化測驗的發展重點在於題庫的建立，題庫的建立是既費時又費力的 工作，再加上需要複雜的運算與線上即時的能力，所以運算速度的快慢將會影響 到施測的速度，這些因素都是需要系統設計者依照測驗的需求來決定。
5
3.連續性測驗(Continuous Measurement，CM)
除了具有適性測驗的特點外，連續性測驗是與教學場景互相的結合，試題的 安排是出現在課程中的，並強調測驗是用來監控學生學習，所以連續性測驗的重 點在於開發多元化的試題與作業，所以需要投入更多的心力。
4.智慧型測驗(Intelligent Measurement，IM)
智慧型測驗，不但可以建立學生個人的學習模式，還可以進行個人學習成長 的追蹤，並且提供即時的補救建議與個體的分析，這樣的測驗使得教學與評量能 夠充份的配合，提供最佳的學習環境。但是智慧型測驗的開發，除了遇到連續性 測驗所遇到的問題外，還需要建立專家的知識庫與個人學習模式，所以不但需要 花費更多心力，更要與具有此一方面電腦專業素養的專家通力合作才能完成。
結合了以上四種線上測驗的發展類型，最符合我們需求的就是電腦適性化測 驗，所以根據電腦適性化測驗的理論，在下一節會介紹論文最主要使用的核心理 論─項目反應理論。
2.2、項目反應理論
本節分成四小節來說明項目反應理論，主要分成：基本概念、基本假定、
項目特徵曲線模式、項目特徵曲線四個小節來說明。
2.2.1、基本概念
項目反應理論，全名Item Response Theory 縮寫成 IRT，主要用於適性化測 驗上面，最近幾年已經普遍使用於許多的大型測驗上，像TOEFL 也是採用項目 反應理論來建立適性化測驗，另外項目反應理論也廣泛用於其他領域，例如能有
效的做醫療上的智能評估(Jeanne A. Teresia,b,* ,2006)。以下說明項目反應理論的基 本概念( Hambleton, R. K., & Swamination, H. ,1985)：
1.受試者在某測驗試題上的表現情形，可由一組因素來加以預測或解釋，這 組因素稱為潛在特質(latent traits)或能力(abilities)，用 θ 代表， θ 的測量值是放 在中心點為0、單位為 1 的尺度上， θ 的可能值介於∞ 到 ∞− 之間，但實務上大 多介於-3 到 3 之間。
2.受試者的表現和這組潛在特質之間的關係，可透過一條連續嚴格遞增 (monotonically increasing)的函數來加以詮釋，此函數稱為項目特徵函數(item characteristic function; ICF)，而把不同能力的學生在某項目(item)的得分期望連結 成線，此曲線稱為項目特徵曲線(item characteristic cure; ICC)。
3.項目反應理論的目的在於提供能力的估計值(θ)且具有群體不變性(group invariance)。由於 IRT 是針對古典測驗理論的缺失而發展出來的，所以它有下面 幾項特色( Hambleton, R. K., & Swamination, H. ,1985)：
(1)在受試母群中，項目參數估計值是不受取樣波動(sampling fluction)的影 響，不同的取樣結果，只呈現ICC 的局部區間，連結了不同的取樣結果，
則可呈現完整的ICC 圖。
(2)在試題的選擇中，受試者能力估計值不受取樣波動的影響。
(3)能力可以確切估計求出。
2.2.2、基本假定
要分析試題及受測者的資料，必須要在下面這些假設都成立的前提下，所
7
1.單維度(unidimensionality):
影響測驗結果的因素是單一的還是多個的，一直是測驗界相當困擾的問 題。但長久以來，傳統測驗理論和IRT 試題反應理論都認為，一種應該只測量一 種潛在特質或能力，換言之，測驗的試題應該集中在評定某一特定的能力或特 質，此便是單維度的假設。但事實上，在實際的測驗情境中是很難完全符合這個 假設的，因為受試者在試題上的表現是很難只受一種因素的影響。「單維度」假 設的實際意義是指影響測驗的表現，由一個主要成分(principle component)或因素 所支配(dominate)，這個主要的成分或因素，就是測驗所測量到的能力或潛在特 質。至於其他能力因素的影響都是隨機的，可歸納為誤差。
2.局部獨立(local independence):
當影響測驗結果的能力固定時，受試者對測驗上某一試題的作答情形不受 其他試題作答的影響。此假設成立時才能採用最大概似法(maximum likelihood method)來得到最大概似估計值(maximum likelihood estimator; MLE)。
3.非速度測驗:
在項目反應理論有一隱含式的假定，即受試者在試題上的反應，不應受時 間因素的影響。換言之，受試者不應有時間不夠而無法答完所題目的現象產生。
受試者沒有回答的題目是因為他的能力不足所造成的，而不是受時間的限制。
2.2.3、項目特徵曲線模式(item characteristic cure model)
項目反應理論(IRT)以項目特徵函數(ICF)表達受試者能力和項目反應(答對 此item 的機率)間之關係，因函數中所採用的參數個數不同，可區分為不同的模 式，常用的數學模式有一個參數、兩個參數及三個參數等三種，各模式之項目特
徵函數如下所示(Baker, F. ,2001)。
ㄧ個參數的羅吉斯模式
)
1 (
) 1
( b
e− −
= + θ θ
Ρ
二個參數的羅吉斯模式
)
1 (
) 1
( a b
e− −
= + θ θ
Ρ
三個參數的羅吉斯模式
)
1 (
) 1 1 ( )
( a b
c e
c − −
− + +
= θ
θ Ρ
a 為區別參數(discrimination parameter)、
b 為難度參數(difficulty parameter)、
c 為猜測參數(guessing parameter)、
θ 為能力(ability level)、
) (θ
Ρ 是能力為θ 時答對此 item 的機率。
難度參數(difficulty parameter) b 代表當P(θ)=0.5時的θ 值，b 的理論值介於
∞
− 到 ∞ 之間，但實際上大多介於-3 到 3 之間( Hambleton, R. K., & Swamination, H. ,1985)。區別參數(discrimination parameter)a 與P(θ)在θ =b時的斜率
) 4
'( a
b
P =
成比例，所以為解釋方便可說區別參數 a 為P(θ)在θ =b時的斜率，a 的理論值 介於− 到 ∞ 之間，但實際上大多介於-2.8 到 2.8 之間。猜測參數 c 是指這個題∞ 目在完全沒看題目就直接猜測的情況下猜對的機率，在實驗內的題目都是四個選 項選一個正確的，所以猜測參數就是1/4 = 0.25。
單一個參數的羅吉斯模式，只單純的考慮難度參數，而學生回答問題不單 只是因為難度而會影響成績，所以單一參數的羅吉斯模式公式比較簡單，只適合 簡單的題目難度分析。
9
兩個參數的羅吉斯模式則加入了區別參數，對於每個題目能夠對能力高低 的程度的測驗者，能有多少的區別能力，這個部份非常符合建立適性化測驗的需 求，所以兩個參數的羅吉斯模式比一個參數的羅吉斯模式考慮到更多的一層，也 更符合我們要建立適性化測驗系統的需求。
而三個參數的羅吉斯模式，更加入了猜測參數，如果同學在不會的題目都 不回答的話，那兩個參數的羅吉斯模式，可以說已經很符合要建立適性化測驗系 統的需求，但是實際上情況並不是如此；在每個學生答題時，都會想要得到高成 績，所以在答錯不到扣的測驗機制下，每個學生在不會的題目上面，都會用猜測 的下去做回答，而我們測驗在沒有成績壓力下，同學們猜測的情況更是嚴重，所 以我們選擇了使用三個參數的羅吉斯模式，來建立我們的適性化英語字彙測驗系 統，讓我們變數的估計以及適性化的程度能夠更加的完善。
2.2.4、項目特徵曲線(item characteristic cure; ICC)
項目特徵曲線，是指每一個題目當其難度參數以及區別參數確定以後，利 用函數的方式，建立出每個不同能力的受測者，在能力值為多少的時候，在該題 回答表現的正確機率有多少，而繪製出來的一條連續的曲線。在正常的項目特徵 曲線下，是一條嚴格連續遞增的曲線，表示同一題目下，能力較高的受測者的答 對機率一定比較高，而如果有出現連續遞減的項目特徵曲線，表示題目出錯或者 是答案不正確，才會使得能力越高，而答對機率反而會降低。以下就針對參數有 詳細的說明( Baker, F. ,2001)：
圖2-1 代表三條有相同區別度但難易度不同的項目特徵曲線，圖 2-2 則代表 三條有相同難易度但區別度不同的項目特徵曲線。
圖2-1、三條區別度相同難易度不同的項目特徵曲線
圖2-2、三條難易度相同區別度不同的項目特徵曲線 易
難 中
低 高
中
11
第三章 題庫建立與樣本分析
本研究最主要的目的就是建置出一套適性化線上測驗系統，能夠提供老師 與學生有一個線上測驗的環境。而要達成適性化英語字彙測驗系統，最基本同時 也是最重要的就是題庫的建置，本章節主要就是敘述題庫的建置過程，以及參數 的估計方法。
系統題庫的建置是相當浩大的一個工程，由於系統的題目的呈現是要用三 個參數的羅吉斯模式，所以需要大量的樣本來估計出題目的參數，本研究在這個 部分受到外文系吳文舜老師的大力幫助，順利得到了200 題的題目，並且在外文 系老師的全力配合下，請修課學生每人做4 次的 50 題英語字彙測驗，一共得到 了2134 份的有效樣本，再利用數理統計方法中的最大概似法來計算出每個題目 的難度與區別參數。
3.1、題庫建立
英語字彙題目的產生，是由外文系吳文舜老師，參考了多本的大考題庫、
語意題庫、專業英語字彙字典，從英文字彙題目中，挑選不同難度，不同詞性(e.g.
動詞、名詞、形容詞)，不同範疇(e.g.工程、人文、經濟、科技、法律、環保等) 的題目200 題。再找不同科系、不同年級約 4 千位學生做英語字彙紙筆測驗，將 所有答題的有效樣本2134 位學生的答題結果輸入電腦，做為 IRT 模式項目參數 估計所用。
因為顧及學生一次回答 200 題花太多時間而不耐煩，共分 4 次施測，每次 測驗間隔一個禮拜。另外，希望學生能認真做答以詳實反應學生的能力和找出 IRT 所需要的參數，我們有和任課老師商量，將這 4 次的紙筆測驗做為學期成績 的一部份。為了考試的公平性和題目的安全性，在每次施測都有老師或工讀生全
程參與，以確保施測時沒有人作弊，考卷數量也完整無缺，以避免題目外洩。
3.2、參數估計
由於系統是採用三個參數的羅吉斯模式，所以每個題目都要有三個參數，
分 別 是 a 為 區 別 參 數 (discrimination parameter) 、 b 為 難 度 參 數 (difficulty parameter)、c 為猜測參數(guessing parameter)，有了每個題目的這三個參數之後，
才能夠帶入公式求得能力值，所以再進行測驗之前必須要先把每個題目的三個參 數的值都建立起來，本小節主要敘述每個題目的參數估計方式。
為了估計參數所實施的大型紙筆測驗共有M = 2134 人參加，題目共有 N = 200 題，第 i 題的項目參數估計方法如下( Baker, F. ,2001)：
將M = 2134 人按考試總成績標準化後分成 J = 28 組，每組有m 個人，其中j
rj個人答對第i 題，
∑
= J =
j
j M
m
1
，假設在第j 組的人都有相同的能力(ability) θj，
θj等於第j 組的m 個人的平均標準化分數，用(j θj,p(θj)), j=1 L,2, ,J個點來估
計 ( )
1 ) 1 1 ( )
( j a b
e j
c c
P − −
− + +
= θ
θ ，也就是估計項目參數a、b。
圖3-1、分組示意圖
j θj m j r j ( )j j
j
p r θ =m
1 θ1 m 1 r 1 1 1
1
( ) r pθ = m
2 θ2 m 2 r 2 2 2
2
( ) r pθ =m
M M M M M
J θJ m J r J ( )J J
J
p r θ =m
13
估計的方法是用最大概似法，先給a、b 任意起始值，然後用數值分析中的 迭代法(iterative method)得到 a、b 估計值。因為考題是選擇題答案是四選一所以 猜測參數c = 1/4 = 0.25。如此依照上述之方法，對每一題都估計其項目參數，直 到N = 200 題都完成為止( Hambleton, R. K., & Swamination, H. ,1985)。
第一題
theta
8 6 4 2 0 -2
P(theta)
1.2
1.0
.8
.6
.4
.2
0.0 -.2
估計值 實際值
圖3-2、第一題估計的項目特徵曲線
第二題
theta
8 6 4 2 0 -2
P(theta)
1.2
1.0
.8
.6
.4
.2
-.0 -.2
估計值 實際值
圖3-3、第二題估計的項目特徵曲線
由數值的結果得到第一題的估計的項目特徵曲線(圖 3-2)及區別參數 a = 0.513769、難度參數 b = 1.229218 的估計值。另外亦得到第二題的估計的項目特 徵曲線(圖 3-3)及區別參數 a = 0.879273、難度參數 b =0.312738 的估計值。由此 可知第二題的區別度比第一題高而第二題比第一題容易。
3.3、樣本分析
本節主要是針對收集來的大量紙筆測驗樣本做基本敘述統計分析，為了了 解有效樣本數及樣本數當中的系所分佈、學院分佈、級別分佈、年級分佈狀況，
以及檢定年級間、學院間、系所間以及級別間的200 題平均總分是否有明顯的差 異。結果由SPSS 的報表得知，英語字彙測驗資料統計分析如下：
首先由敘述性統計報表，得知參與測驗的有效樣本一共有2134 人；然後依 系所分類的統計表，得到參與這次測驗的系所共有22 個，其中人數最多的是資 工系的231 人，其次是工管系的 180 人與機械系的 178 人；至於參與人數最少的 是微電子系的38 人。接著依據學院分類，可發現參與的學院共有五個，其中人 數最多的是工學院的660 人(佔 30.9%)，其次是管理學院的 539 人(佔 25.3%)，最 少的是人文社會學院的190 人(佔 8.9%)。然後依照英文級別來分類，最多的是 B 級的1095 人(佔 51.3%)，其次是 A 級的 582 人(佔 27.3%)，最少的是 C 級的 457 人(佔 21.4%)。最後依照年級來分類，可知最多的是大一的 905 人(佔 42.4%)，其 次是大二的661 人(佔 31.0%)，最少的是大五的 25 人(佔 1.2%)。
接著總分分佈的盒子圖可看出，依照系所來分，可發現外文系明顯的比其 他系來的高，另外國貿、餐旅、景觀的分數也比其他系高一點，其餘的系表現則 是都差不多。接著依照學院分，可以發現人文社會學院明顯的比其他學院來的高 分。然後依照級別來分，很合理的，級別A 明顯高於級別 B，級別 B 也明顯高 於級別C，顯示測驗結果與學校英文分級的結果相差不大。依照年級分，則是大 一略高於大二，大二略高於大三，大三略高於大四，大五略高於大四，總而言之，
大四表現最差。
然後根據 200 題總分分佈的直方圖，可看出分數的分佈明顯右偏，表示學 生英語字彙能力普遍低落。1-50 題總分分佈的直方圖，則略為右偏。51-100 題 總分分佈的直方圖，略為右偏。101-150 題總分分佈的直方圖，也略為右偏。
15
最後是一因子變異數分析。先依年級分類做變異數檢定，H0 假設變異數完 全相等，H1假設變異數不全相等，由SPSS 報表得到，檢定統計量 Levene Statistic
= 21.632，p-value ≒ 0，因為 p-value < α = 0.05，所以 Reject H0，表示大一到大 五學生英語字彙測驗分數的變異數不全相等。然後依年級分類做平均數檢定，
H0假設平均數完全相等，H1假設平均數不全相等，由 SPSS 報表得到，檢定統 計量Brown-Forsythe = 20.983，p-value ≒ 0，因為 p-value < α = 0.05，所以 Reject H0，表示大一到大五學生英語字彙測驗分數的平均數不全相等。
若依學院、級別、系所做一因子變異數分析，也得到相同的結果，也就是 不同學院學生英語字彙測驗的平均分數不全相等，不同級別學生的英語字彙測驗 的平均分數不全相等，不同系所學生的英語字彙測驗的平均分數也不全相等。
以下為個別分析的SPSS 報表：
測驗數據統計報表分析
表3-1、有效樣本與遺失值的個數統計表
系所 學院 級別 年級
N Valid 2134 2134 2134 2134
Missing 0 0 0 0
由表3-1 可知，參與測驗的有效樣本一共 2134 人，資料中沒有遺失值(missing value)。
表3-2、系所的次數分配表
系所 Frequency Percent
土木 170 8.0
工管 180 8.4
外文 111 5.2
生資 73 3.4
休閒 58 2.7
企管 72 3.4
行管 79 3.7
建築 125 5.9
科管 68 3.2
財管 66 3.1
國貿 52 2.4
通訊 46 2.2
景觀 72 3.4
微電子 38 1.8
資工 231 10.8
資管 123 5.8
運輸與物流管理 49 2.3
電機 170 8.0
機械 178 8.3
餐旅 52 2.4
應數 58 2.7
營建 63 3.0
Total 2134 100.0
表3-2 是系所的次數分配表，由表 3-2 可知參與這次測驗一共有 22 個系所，
其中人數最高的是資工系的231 人，其次是工管系的 180 人跟機械系的 178 人；
參與人數比較少的是微電子系的38 人。
17
表3-3、學院的次數分配表
學院 Frequency Percent
人文社會學院 190 8.9
工學院 660 30.9
建築與規劃學院 318 14.9
資訊學院 427 20.0
管理學院 539 25.3
Total 2134 100.0
長條圖
學院
管理 資訊
建築規劃 工
人文社會
Percent
40
30
20
10
0
25 20
15 31
9
圖3-4、學院分佈長條圖
由表3-3 學院的次數分配表與圖 3-4 學院分配長條圖，可發現參與的學院一 共有五個學院，其中人數最多的是工學院的660 人(佔 30.9%)，其次是管理學院 的539 人(佔 25.3%)，最少的是人文社會學院的 190 人(佔 8.9%)。
表3-4、級別的次數分配表
級別 Frequency Percent
A 582 27.3
B 1095 51.3
C 457 21.4
Total 2134 100.0
長條圖
級別
C B
A
Percent
60
50
40
30
20
10
0
21 51
27
圖3-5、級別分佈長條圖
表3-4 與圖 3-5 是級別的次數分配表與長條圖，由圖表可看出樣本中最多的 是B 級的 1095 人(佔 51.3%)，其次是 A 級的 582 人(佔 27.3%)，最少的是 C 級的 457 人(21.4%)。
表3-5、年級的次數分配表
年級 Frequency Percent
大一 905 42.4
大二 661 31.0
大三 416 19.5
大四 127 6.0
大五 25 1.2
Total 2134 100.0
19
長條圖
年級
大五 大四
大三 大二
大一
Percent
50
40
30
20
10
0
6 19
31 42
圖3-6、年級分佈長條圖
表3-5 與圖 3-6 是年級的次數分配表與長條圖，由圖表可知樣本中最多的是 大一的905 人(佔 42.4%)，其次是大二的 661 人(佔 31.0%)，最少的是大五的 25 人(只佔 1.2%)。
下面圖3-7~圖 3-10 是按系所、學院、級別與年級分組的 200 題總分分佈的盒子 圖，各圖解釋如下：
68 52 49 52 66 72 180 58 63 125 72 79 111 73 123 231 38 46 58 170 178 170 N =
盒子圖
系所
科管 餐旅 運輸與物流管理 國貿 財管 企管 工管 休閒 營建 建築 景觀 行管 外文 生資 資管 資工 微電子 通訊 應數 土木 機械 電機
1-200
200 175
150 125 100
75 50
25 0
圖3-7、按系所分組的 200 題總分的盒子圖
依照系所來分，可發現外文系的英語字彙能力明顯地比其他系來的高，另 外國貿、餐旅、景觀的分數也比其他系高一點，其餘的系表現則是都差不多。此 外，圖中”＊”代表非常極端的極端值(extreme outlier)，＂Ο＂代表溫和的極端值 (mild outlier)，盒子中間的粗黑絲代表中位數，盒子的中央部分代表平均數，由 圖可知除應數、國貿、餐旅外，大部份的系都有高分的極端值，這些學生雖然非 主修外文，但英語字彙能力卻相當不錯。
21
539 427
318 660
190 N =
盒子圖
學院
管理學院 資訊學院
建築與規 工學院
人文社會
1-200
200 175 150
125 100 75
50
25 0
圖3-8、按學院分組的 200 題總分的盒子圖
依照學院分，可以發現人文社會學院的英語字彙能力 200 題總分明顯地比 其他學院來的高分。同理，各學院均有一些高分的極端值。
457 1095
582 N =
盒子圖
級別
C B
A
1-200
200 175 150
125 100 75
50
25 0
圖3-9、按級別分組的 200 題總分的盒子圖
依照級別來分，很合理的，級別 A 的 200 題總分明顯高於級別 B，級別 B 也明顯高於級別C，顯示測驗結果與學校英文分級的結果相差不大。
25 127
416 661
905 N =
盒子圖
年級
大五 大四
大三 大二
大一
1-200
200 175 150
125 100 75
50
25 0
圖3-10、按年級分組的 200 題總分的盒子圖
依照年級分，則是大一學生的 200 題總分略大於大二，大二略大於大三，
大三略大於大四，大五略大於大四。會出現此現象，可能的情況有兩種可能，一 種是學生上大學後，專業領域的英語字彙能力可能會漸漸增加，但一般性英語字 彙能力卻逐漸下降，這也與中華大學的英語課程較重視日常生活會話，並未特別 重視閱讀能力有關。另一種可能是我們樣本調查的對象是正在修英語課的學生，
大二、大三、大四程度好的同學以不必再修英語課，所以正在修課的大二、大三、
大四學生都是程度比較差的學生。
下面圖3-11~3-15 分別是 200 題總分分數、1-50 級總分分數、51-100 題總分分數、
101-150 題總分分數以及 151-200 題總分分數的直方圖，主要目的是了解分數的 分佈狀況。
23 1-200
190 180 170 160 150 140 130 120 110 100 90 80 70 60 50 40 30
直方圖
800
600
400
200
0
Std. Dev = 18.39 Mean = 63 N = 2134.00
圖3-11、200 題總分的直方圖
首先由 200 題總分分數分佈的直方圖可知，分數的分佈明顯右偏，表示學 生英語字彙能力普遍低落，200 題題目平均只答對 63 題，標準差為 18.39 題。
1-50
50 45 40 35 30 25 20 15 10 5 0
直方圖
1000
800
600
400
200
0
Std. Dev = 6.19 Mean = 17 N = 2134.00
圖3-12、1-50 題總分的直方圖
接著由1-50 題總分分數分佈的直方圖，如圖 3-12 可知，分數的分佈略為右 偏。
51-100
50 45 40 35 30 25 20 15 10 5 0
直方圖
1000
800
600
400
200
0
Std. Dev = 5.23 Mean = 15 N = 2134.00
圖3-13、51-100 題總分的直方圖
由51-100 題總分分數分佈的直方圖，可看出分數的分佈也略為右偏。
101-150
50 45 40 35 30 25 20 15 10 5 0
直方圖
1000
800
600
400
200
0
Std. Dev = 5.44 Mean = 15 N = 2134.00
圖3-14、101-150 題總分的直方圖
接著由101-150 題總分分數分佈的直方圖，一樣可以看出分數的分佈仍略為 右偏。
25 151-200
50 45 40 35 30 25 20 15 10 5 0
直方圖
1200
1000
800
600
400
200
0
Std. Dev = 5.02 Mean = 15 N = 2134.00
圖3-15、151-200 題總分的直方圖
最後由151-200 題總分分數分佈的直方圖，可知分數的分佈也略為右偏。綜 合以上四個直方圖可知只有第一次測驗50 題的平均分數為 17 較高，第二、第三、
第四次測驗50 題的平均分數都只有 15，標準差則是第一次較大，第四次最小，
四次測驗分數的分佈均略為右偏，由以上可知中華大學學生英語字彙能力普遍較 低。
由前面圖與表可看出年級間、級別間、學院間及系所間的 200 題平均總分 有存再差億，但差異是否顯著仍需用正式的檢定來確認，因此下面將用一因子變 異數分析(One-Way ANOVA)來檢定，檢定時，先做分組的敘述性統計，然後用 Levene 統計量，檢定變異數是否全等，若全等就用 F 統計量檢定平均數是否全 等，若變異數不全等，可用Welch 或 Brown-Forsythe 統計量檢定平均數是否全等。
下面就是檢定的結果與解釋：
表3-6、按年級分組的 200 題總分的敘述統計表
年級 N Mean Std. Deviation Std. Error
95% Confidence Interval for Mean
Minimu m
Maximu m Lower Bound Upper Bound
大一 905 66.34 21.149 .703 64.96 67.72 28 189
大二 661 62.25 16.944 .659 60.96 63.55 34 161
大三 416 59.76 14.638 .718 58.35 61.17 30 137
大四 127 56.48 9.774 .867 54.76 58.20 37 89
大五 25 59.80 16.081 3.216 53.16 66.44 40 117
Total 2134 63.13 18.391 .398 62.34 63.91 28 189
⎪⎩
⎪⎨
⎧ = = = =
Η 不全相等 Η
2 5 2 4 2 3 2 2 2 1 1
2 5 2 4 2 3 2 2 2 1 0
, , , , : :
σ σ σ σ σ
σ σ σ σ σ
表3-7、變異數檢定(年級)
Levene Statistic df1 df2 Sig.
21.632 4 2129 .000
由SPSS 報表得到，
檢定統計量Levene Statistic = 21.632，p-value ≒ 0，
因為p-value < α = 0.05，
所以Reject H0，
表示大一到大五學生英語字彙測驗分數的變異數不全相等。
⎪⎩
⎪⎨
⎧ = = = =
5不全相等
4 3 2 1 1
5 4 3 2 1 0
, , , , :
:
µ µ µ µ µ
µ µ µ µ µ Η H
27
表3-8、平均數檢定(年級)
Statistic(a) df1 df2 Sig.
Welch 21.750 4 164.109 .000
Brown-Forsythe 20.983 4 317.084 .000
a Asymptotically F distributed.
由SPSS 報表得到，
檢定統計量Brown-Forsythe = 20.983，Welch = 21.750，p-value ≒ 0，
因為p-value < α = 0.05，
所以Reject H0，
表示大一到大五學生英語字彙測驗分數的平均數不全相等。
表3-9、按級別分組的 200 題總分的敘述統計表
級別 N Mean Std. Deviation Std. Error
95% Confidence Interval for Mean
Minimu m
Maximu m Lower Bound Upper Bound
A 582 76.84 24.451 1.014 74.85 78.83 35 189
B 1095 59.73 12.726 .385 58.97 60.48 30 142
C 457 53.80 8.769 .410 53.00 54.61 28 99
Total 2134 63.13 18.391 .398 62.34 63.91 28 189
⎪⎩
⎪⎨
⎧ = =
Η 不全相等 Η
2 3 2 2 2 1 1
2 3 2 2 2 1 0
, , :
:
σ σ σ
σ σ σ
表3-10、變異數檢定(級別)
Levene Statistic df1 df2 Sig.
246.892 2 2131 .000
由SPSS 報表得到，
檢定統計量Levene Statistic = 246.892，p-value ≒ 0，
因為p-value < α = 0.05，
所以Reject H0，
表示 A、B、C 三個級別的學生英語字彙測驗分數的變異數不全相等。
⎪⎩
⎪⎨
⎧ = =
Η 不全相等 H
3 2 1 1
3 2 1 0
, , :
:
µ µ µ
µ µ µ
表3-11、平均數檢定(級別)
Statistic(a) df1 df2 Sig.
Welch 234.108 2 1101.962 .000
Brown-Forsythe 281.901 2 971.975 .000
a Asymptotically F distributed.
由SPSS 報表得到，
檢定統計量Brown-Forsythe = 281.901，Welch = 234.108，p-value ≒ 0，
因為p-value < α = 0.05，
所以Reject H0，
表示 A、B、C 三個級別的學生英語字彙測驗分數的平均數不全相等。
29
表3-12、按學院分組的 200 題總分的敘述統計表
學院 N Mean
Std.
Deviation Std. Error
95% Confidence Interval for
Mean Minimum Maximum
Lower Bound Upper Bound
工學院 660 59.05 14.877 .579 57.91 60.18 35 143
管理學院 539 64.56 16.929 .729 63.12 65.99 28 157
建築與規劃學院 318 60.82 15.731 .882 59.08 62.55 34 156
人文社會學院 190 77.65 29.191 2.118 73.47 81.82 40 189
資訊學院 427 62.88 17.336 .839 61.23 64.53 34 164
Total 2134 63.13 18.391 .398 62.34 63.91 28 189
⎪⎩
⎪⎨
⎧ = = = =
Η 不全相等 Η
2 5 2 4 2 3 2 2 2 1 1
2 5 2 4 2 3 2 2 2 1 0
, , , , : :
σ σ σ σ σ
σ σ σ σ σ
表3-13、變異數檢定(學院)
Levene Statistic df1 df2 Sig.
47.452 4 2129 .000
由SPSS 報表得到，
檢定統計量Levene Statistic = 47.452，p-value ≒ 0，
因為p-value < α = 0.05，
所以Reject H0，
表示五個學院的學生英語字彙測驗分數的變異數不全相等。
⎪⎩
⎪⎨
⎧ = = = =
5不全相等
4 3 2 1 1
5 4 3 2 1 0
, , , , :
:
µ µ µ µ µ
µ µ µ µ µ Η H
表3-14、平均數檢定(學院)
Statistic(a) df1 df2 Sig.
Welch 23.874 4 768.518 .000
Brown-Forsythe 33.794 4 709.121 .000
a Asymptotically F distributed.
由SPSS 報表得到，
檢定統計量Brown-Forsythe =33.794，Welch = 23.874，p-value ≒ 0，
因為p-value < α = 0.05，
所以Reject H0，
表示五個學院的學生英語字彙測驗分數的平均數不全相等。
31
表3-15、按系所分組的 200 題總分的敘述統計表
系所 N Mean
Std.
Deviation Std. Error
95% Confidence Interval for
Mean Minimum Maximum
Lower Bound Upper Bound
電機 170 60.46 15.677 1.202 58.09 62.84 38 123
機械 178 60.56 15.144 1.135 58.32 62.80 39 116
土木 170 57.38 14.170 1.087 55.24 59.53 35 143
應數 58 52.64 7.904 1.038 50.56 54.72 35 72
通訊 46 60.37 16.791 2.476 55.38 65.36 38 127
微電子 38 61.21 16.175 2.624 55.89 66.53 42 116
資工 231 63.93 18.325 1.206 61.55 66.30 34 139
資管 123 64.13 17.179 1.549 61.06 67.20 41 164
生資 73 57.48 13.025 1.524 54.44 60.52 41 107
外文 111 91.11 30.589 2.903 85.35 96.86 44 189
行管 79 58.73 11.181 1.258 56.23 61.24 40 94
景觀 72 68.13 20.996 2.474 63.19 73.06 34 156
建築 125 59.96 14.949 1.337 57.31 62.61 39 134
營建 63 54.81 9.009 1.135 52.54 57.08 38 85
休閒 58 60.12 11.971 1.572 56.97 63.27 40 96
工管 180 59.75 13.118 .978 57.82 61.68 28 102
企管 72 68.56 19.837 2.338 63.89 73.22 37 157
財管 66 65.41 16.007 1.970 61.47 69.34 34 111
國貿 52 72.06 17.758 2.463 67.11 77.00 39 112
運輸與物流管理 49 62.20 15.043 2.149 57.88 66.52 40 122
餐旅 52 71.77 21.255 2.948 65.85 77.69 44 120
科管 68 62.66 16.066 1.948 58.77 66.55 30 106
Total 2134 63.13 18.391 .398 62.34 63.91 28 189
⎪⎩
⎪⎨
⎧
=
=
=
=
=
=
=
=
=
=
=
=
=
=
=
=
=
=
=
=
=
不全相等
２: Η
: Η
2 1
2 22 2 21 2 20 2 19 2 18
2 17 2 16 2 15 2 14 2 13 2 12 2 11 2 10 2 9 2 8 2 7 2 6 2 5 2 4 2 3 2 2 2 1 0
2 22 2 21 2 20 2 19 2 18 2 17 2 16 2 15 2 14 2 13 2 12 2 11 2 10 2 9 2 8 2 7 2 6 2 5 2 4 2 3 2
2, , , , , , , , , , , , , , , , , , , ,
,σ σ σ σ σ σ σ σ σ σ σ σ σ σ σ σ σ σ σ σ σ σ
σ σ σ σ σ
σ σ σ σ σ σ σ σ σ σ σ σ σ σ σ σ σ
