第二章 文獻探討
第三節 線上診斷測驗
使用電腦為媒介的測驗方式已有超過20年的歷史,這種測驗方式的優點在於 節省測驗時間與即時計算測驗成績。測驗的核心部分是試題,而試題品質的優劣 將會影響整個測驗的良窳,線上診斷測驗對教學者有下列的好處(王榕榆,2006):
(1)提供回饋給學習者:透過測驗的結果去判斷學習者的學習障礙,進而調整 自己的學習方法。
(2)提供回饋給教學者:可提供教學者知道學習者的學習障礙,有助於實施團 體或個別的補救教學,或額外提供補救教材,進而改善教學的成效。
(3)提供改進課程的依據:教師可以觀察到每位學生的學習障礙,若有單元是
(1)提升施測與批閱給分效率,讓教師能有較多時間在教學研究上;
(2)便於教師蒐集受試反應資訊,以協助教師做測驗難度與效度分析;
(3)提供具一致性的測驗準備與試題製作,使施測更趨於標準化;
(4)有利於發展網路多媒體測驗之呈現型態;
(5)有利於適性測驗的發展;
(6)減少紙上作業,降低人工作業出錯的機率;
(7)易於反覆練習,迅速提供施測結果與正確性的回饋導引資訊;
(8)易於建立競爭式環境,提供學習動機與成效。
由上述,我們可得知線上診斷測驗,不僅可以給學生即時回饋,且具有計分 快速之優點。藉由電腦能儲存大量訊息之優勢,記錄學生相關作答歷程,可以獲 得更豐富之學生作答訊息以更精確的推論學生之相關能力,提昇教師的教學品質 及 學 生 的 學 習 成 效 。 以 下 將 分 為 國 外 「 網 路 實 作 技 能 系 統 」(Networking Performance Skill System,簡稱NetPASS)線上診斷測驗及本研究團隊所研發的線 上診斷測驗系統兩部分分別闡述。
壹、網路實作技能系統
NetPASS是一套由Cisco Networking Academy Program(CNAP)研發的系統,
用於電腦網路設計、結構和偵測錯誤的評量及訓練。為了評量學生是否可以在網 路運作,所以評量的設計必須在深度及廣度上都必須超越其他的線上測驗。此系 統可供學生練習電腦網路技巧並從學生作答反應得到回饋,亦可由學生作答反應 得到之證據,並可估計及儲存學生多次作答反應之技能及能力。NetPASS的模擬 環境是以完善的心理學為基礎用以支援學習,當學生第一次登入時,可於頁面上 選擇範圍(設計、結構或偵測錯誤)及不同的難度等級(簡單、中級、困難);
在學生作答完成後,NetPASS針對學生的錯誤予以回饋(Behrens, Mislevy, Bauer, Williamson, & Levy, 2004)。因此,本研究將參考NetPASS來建置電腦化測驗系統。
貳、本研究團隊所研發之線上診斷測驗系統
過去本研究團隊已研發多種測驗理論為基礎的線上診斷測驗系統,包含
「MFT數學健檢」(Mathematic for Taiwan)、「以試題反應理論為基礎之適性測驗 系統」及「以知識結構為基礎之適性化測驗系統(Knowledge Structure based Adaptive Test,簡稱KSAT)」。以下將分別闡述三個線上診斷測驗系統。
一、MFT 數學健檢
MFT(Mathematics for Taiwan)是針對台灣的文化特色與教育背景,對每 一個不同的主題做出適合的數學健檢。系統已於2007 年由本校臺中教育大學與 台電通股份有限公司簽訂產學合作計畫「國小五、六年級數學領域題庫建置」,
並技術轉移「線上診斷測驗與適性學習系統」。系統介面如圖2-3-1、2-3-2、2-3-3、
2-3-4 所示。
圖 2-3-1 MFT 數學健檢首頁
圖 2-3-2 MFT 數學健檢結果—學習概況分析圖
圖 2-3-3 MFT 數學健檢結果—概念診斷報告
圖 2-3-4 MFT 數學健檢結果—錯誤題目列表
二、以試題反應理論為基礎之適性測驗系統
試題反應理論(item response theory,IRT)是現代測驗理論重要的基礎,
依據受試者的測驗表現結果,經數學模式的運算,評估受試者能力和測驗反應 間之關係,亦即觀察其測驗反應結果,再經數學模式的運算,即可估計受試者 的能力(ability)或心理特質(latent traits)。
(一)本團隊發展現況
1. 已發展出以試題反應理論為基礎的題庫系統、測驗系統、補救教學系 統(王淑卿,2005;鄧景麟,2005;劉泰成,2005)。
2. 以試題反應理論為基礎之適性化測驗系統圖,如圖 2-3-5、2-3-6、2-3-7 所示。
圖 2-3-5 學生進行測驗介面
圖 2-3-6 補救教學介面
圖 2-3-7 學生測驗結果瀏覽介面
三、以知識結構為基礎之適性化測驗系統
KSAT 為國科會補助研究計畫「國小數學科電腦化適性診斷測驗(I)(II)
(III)(郭伯臣,2003-2005)」之技術轉移及國立臺中教育大學、亞洲大學與 階梯數位科技股份有限公司建教合作計畫「以試題結構理論為基礎之國小五、
六年級數學領域電腦適性診斷測驗與適性補救教學模式」之共同研究成果,其 中研發及技術轉移時間共計四年。
(一)KSAT 特點
KSAT 根據學生知識結構設計適性施測流程,可依不同受試者的作答情形 而給予適當的試題,藉此節省大量的試題並可對學生的剖面圖得到精確的估 計,發展具有診斷學生錯誤概念的電腦化適性測驗,透過此系統能將學生課堂 後的評量數位化及網路化,藉此達到「因材施測」及「因材施教」(郭伯臣、
謝友振、張峻豪、蔡坤穎,2005)。
KSAT 優於其它電腦測驗系統之處為:
1. 可診斷同分不同錯誤類型之學生,便於因材施教。
2. 「評量」、「診斷」與「補救教學」皆適性化、個別化,達到「因材施測」、
「因材施教」的目的。
3. 網路化,可達到隨時檢測的目的。
4. 與施測全部紙筆測驗試題情境比較,當預測精準度設定為 0.95 時,KSAT 平均可節省50%以上的施測題目。
5. 節省學生大量測驗時間,可把時間用於適性補救教學。
(二)本團隊發展現況
1. KSAT 內各單元試題(含能力指標)已經成為上萬題的題庫。
平均可節省50%以上的施測題目(黃珮璇、王暄博、郭伯臣、劉湘川,2006;
楊智為、張雅媛、郭伯臣、許天維,2006)。
4. KSAT 已經結合數位個別指導模式,進行補救教學成效良好(林立敏、白曉 珊、郭伯臣、劉育隆,2006;白曉珊、劉育隆、郭伯臣、施慶麟,2006;
許天維、楊智為、盧炎成、郭伯臣,2006;莊惠萍、劉育隆、郭伯臣、曾彥 鈞,2006;趙琬津,2006;盧炎成,2006)。
5. 本研究團隊已經將試題結構理論之電腦化適性測驗系統及動畫補救教學模 組符合SCORM2004 規格(陳建岳,2004;李淑娟,2006)。
6. 以知識結構為基礎之適性化測驗系統圖,如圖 2-3-8、2-3-9、2-3-10 所示。
圖2-3-8 進行測驗介面
圖2-3-9 學生測驗結果查詢介面
圖2-3-10 學習診斷報告
由於電腦化適性測驗足以應付大量的受試者,所以非常受到現代大型測驗 的青睞,但在大量受試者使用過後,便會產生試題安全性的問題,本團隊亦有 發展具有曝光率控制之電腦化適性測驗(錢永財, 2005;陳昇座,2007;蔡曜仲,