• 沒有找到結果。

教育測驗統計可視化軟體系統開發

N/A
N/A
Protected

Academic year: 2021

Share "教育測驗統計可視化軟體系統開發"

Copied!
148
0
0

加載中.... (立即查看全文)

全文

(1)國立臺中教育大學教育資訊與測驗統計研究所 博士論文. 指導教授:許天維. 博士. 永井正武. 博士. 教育測驗統計可視化軟體系統開發 The Development of Visualization Software System for Educational Measurement and Statistics. 研究生:范德孝. 中. 華. 民. 國. 一. ○. 撰. 四. 年. 五. 月.

(2)

(3) 謝辭 國立臺中教育大學教育資訊與測驗統計研究所博士班論文答辯口試已於 5 月 30 日通過與完成,專業精進大功告成。對個人生涯學習所以有成,衷心感謝 師長的指導與同窗同學的共學與遠在越南家人的精神支持。 首先,感謝許天維博士與永井正武博士的細心指導與耐心指正,在兩位教 授指導下,一方面開啟專業研究新的一頁,另一方面順利完成博士論文撰寫與 答辯。 其次,感謝口試委員林進財教授、林江龍教授、溫坤禮教授、龔昶元教授 與梁榮進教授等給予的指正與肯定。 複次,感謝何慧群副教授與蔡清斌學長在研究時給予的幫助,同時感謝同 窗共學的同學,尤其是與來自家鄉的阮逢選與阮福海同學的共勉與互助。 最後,感謝父母的關懷、妻子的包容,以及兒子范德孝誠(Phạm Đức Hiếu Thành)與女兒范孝穎(Phạm Hiếu Ngân)的期待,得以如期完成學業與專業學 習。. 范德孝 謹誌 中華民國一○四年五月.

(4)

(5) 摘要 測驗與評量在教學過程是重要的活動。評量的目的是針對教學結果進行資 訊蒐集與分析,一則挖掘受試者在學習過程潛在的資訊,二則助益教學者推進 受試者效益性學習。近年,學生-試題表(Student-Problem Chart, S-P Chart)分 析 法 、 灰 學 生 - 試 題 表 ( Grey Student-Problem Chart, GSP Chart ) 分 析 法 、 RaschGSP 分析法等用於評估與診斷受試者學業成就、學習狀況與試題設計品質。 在診斷與規劃二次教學上,Nagai 繼研發 GSP Chart、RaschGSP、RaschGSP IRT 後,進一步發展分析測驗工具中不完全理解概念方法,如迷思區構造、迷思概 念次序分析法與迷思概念粗糙集分析法。除此之外,提案透過詮釋結構模式 (Interpretive Structural Modeling, ISM)、灰結構模式(Grey Structural Modeling, GSM)與多重矩陣詮釋結構模式(Matrix Based Interpretive Structural Modeling, MSM)等方法,表徵學生、試題與迷思概念等結構分析,以利教學者篩選與規 劃相對適切的試題設計與教學路徑。今為協助與提供教學者與教育工作者順利 運用上述方法於測驗評量上,開發教育資訊與測驗統計可視化軟體系統即為本 研 究 的 目 的 。 VSSEMS ( Visualization Software System for Educational Measurement and Statistics)系統分為:(1)針對上述分析方法之數理算式分別 編寫 MATLAB 軟體程式語言,(2)各套裝軟體程式涵蓋演算與測試、資料視 覺化與可讀性、結構分析等,(3)系統性與結構性整合多元測驗與評量套裝軟 體。本研究開發軟體如下:(1)診斷受試者學習狀況與判定試題品質的可視化 軟體,包括:S-P 表軟體、GSP 表軟體與 RaschGSP IRT 軟體;(2)評估迷思概 念可視化軟體,包括迷思概念次序分析軟體與迷思概念粗糙集分析軟體;(3) 結構分析可視化軟體,包括 MSM 軟體、GSM 軟體與可達灰結構模式軟體 (Reachable GSM, RGSM)。. 關鍵字:測驗與評量、可視化、RaschGSP IRT、迷思概念粗糙集分析軟體、可 達灰結構模式軟體. I.

(6) Abstract Testing and assessment are the important activities in the teaching process. The purpose of these activities is to collect data, analyze the received data, for finding the latent information that can help the process of teachers teaching and learning process of students. In recent years, the Student-Problem (S-P) Chart Analysis, Grey StudentProblem (GSP) Chart Analysis and RaschGSP IRT Analysis were used to assess student achievement, diagnose student’s learning state and diagnose item quality in testing and assessment. In diagnosing and planning for remedial instruction, after the proposals of GSP Chart, RaschGSP and RaschGSP IRT methods, M. Nagai continued to develop the new methods that are used to study misconceptions, such as Misconceptions Domain Analysis, Misconceptions Order Analysis and Rough Set Analysis for Misconceptions. In addition, proposed characterizing the structures of students, questions and misconceptions through the ISM (Interpretive Structure Modeling), GSM (Grey Structural Modeling) and MSM (Matrix Based Interpretive Structural Modeling) methods, to help teachers can select the appropriate items for assessment and choose the suitable path for teaching. In order to help teachers and educators in the use of the above methods, this study developed an educational measurement. and. statistics. visualization. software. system. called. VSSEMS. (Visuallization Software System for Education Measurement and Statistics). The VSSEMS system has features described as follows: (1) The programs are developed by MATLAB programming language according to the basic theory of the above analysis methods; (2) The programs cover many functions such as calculation and testing, data visualization and data readability, and structural analysis; (3) The systemic and structural integration of software packages can perform polytomous testing and assessment. The softwares developed in the VSSEMS system include: (1) The visualization softwares for diagnosing students’ status and items quality, including: S-P Chart software, GSP Chart software and RaschGSP IRT software; (2) The visualization softwares for assessing misconceptions, including: Misconceptions Order Analysis software and Misconceptions’ Rough Set Analysis software; (3) The. II.

(7) visualization softwares for structural analysis, including: GSM-RGSM software and MSM software.. Keywords: Testing and assessment, Visualization, RaschGSP IRT, Misconceptions rough set analysis software, RGSM software. III.

(8) 總結 研究目的 本研究之目的為開發教育資訊與測驗統計可視化軟體系統。 研究方法 本研究以 S-P 表分析法、GSP 表分析法、RaschGSP IRT 理論、迷思區構造 分析法、迷思概念次序分析法、迷思概念粗糙集分析法、GSM、ISM 與 MSM 等為基礎理論,運用 MATLAB 軟體編寫程式語言,進行軟體系統設計。 研究結果 本研 究 設計出 VSSEMS 系統 。 系統 內 有 S-P 表 軟體 、GSP 表 軟體 、 RaschGSP IRT 軟體、迷思次序分析軟體、迷思概念之粗糙集分析軟體、GSMRGSM 軟體與 MSM 軟體。VSSEMS 系統的功能包括:診斷受試者學習狀況與判 定試題品質、評估迷思概念與結構分析。 研究結論 本研究設計的 VSSEMS 系統適用於教育測驗與評量。系統可就資料進行分 析、研究與視覺化表徵,提供教師與學生有效資訊,是有效的教育測驗與評量 工具。. IV.

(9) Summary Research purpose The purpose of this study is to develop a visuallization software system for education measurement and statistics. Research method Based on the basic theory of S-P Chart Analysis, GSP Chart Analysis, RaschGSP IRT Analysis, Misconceptions Domain Analysis, Misconceptions Order Analysis, Rough Set Analysis for Misconceptions, GSM, ISM and MSM, this study uses MATLAB programming language to develop the software system. Result The study has developed VSSEMS systems. This software system contains the following softwares: S-P Chart, GSP Chart, RaschGSP IRT, Misconceptions Order Analysis, Misconceptions’ Rough Set Analysis, GSM-RGSM, and MSM. Its main functions include: diagnosing students’status, diagnosing items’ quality, assessing misconceptions, and structural analysis. Conclusion VSSEMS system developed by this study is suitable foreducation measurement and statistics. It can analyze the test data and present the analytical results, so it provides valid information for teachers and students. VSSEMS system is an effective tool in education measurement and statistics.. V.

(10) 目錄 摘要........................................................................................................................ Abstract................................................................................................................... 總結........................................................................................................................ Summary................................................................................................................. 目錄........................................................................................................................ 表目錄.................................................................................................................... 圖目錄.................................................................................................................... 符號……................................................................................................................. 頁次 I II IV V VI VIII X XII. 第一章 緒論........................................................................................................... 第一節 研究動機........................................................................................... 第二節 研究問題........................................................................................... 第三節 研究目的........................................................................................... 第四節 研究方法........................................................................................... 第五節 研究架搆圖....................................................................................... 第六節 名詞解釋............................................................................................ 1 1 2 2 3 5 6. 第二章相關文獻與基礎理論……………............................................................ 第一節 理論發展過程………...................................................................... 第二節 學生-試題表分析理論………......................................................... 第三節 灰關聯分析法………....................................................................... 第四節 GSP 表與 RaschGSP IRT 理論..…………..…................................ 第五節 迷思概念次序分析法...................................................................... 第六節 迷思概念粗糙集分析法.................................................................. 第七節 詮釋結構模式................................................................................... 第八節 灰色結構模式................................................................................... 第九節 多重矩陣詮釋結構模式................................................................... 第十節 本章小結........................................................................................... 9 9 11 16 18 28 32 34 37 40 41. 第三章 VSSEMS 系統設計................................................................................ 第一節 VSSEMS 系統概述………............................................................... 第二節 S-P 表軟體………............................................................................ 第三節 GSP 表軟體..……………................................................................. 第四節 RaschGSP IRT 軟體......................................................................... 第五節 迷思概念次序分析軟體.................................................................. 第六節 迷思概念粗糙集分析軟體................................................................ 43 43 46 50 54 58 62. VI.

(11) 第七節 GSM-RGSM 軟體............................................................................ 第八節 MSM 軟體......................................................................................... 第九節 本章小結............................................................................................ 66 71 74. 第四章 軟體系統應用實例................................................................................... 77 第一節 S-P 表軟體實例………..................................................................... 77 第二節 GSP 表軟體實例..……………......................................................... 80 第三節 RaschGSP IRT 軟體實例................................................................. 84 第四節 迷思概念次序分析軟體實例.......................................................... 91 第五節 迷思概念粗糙集分析軟體實例....................................................... 95 第六節 GSM - RGSM 軟體實例.................................................................. 97 第七節 MSM 軟體實例................................................................................. 100 第八節 本章小結.......................................................................................... 103 第五章 結論…………………............................................................................... 105 第一節 結論................................................................................................... 105 第二節 未來發展........................................................................................... 107 參考文獻................................................................................................................ 中文部分........................................................................................................ 英文部分........................................................................................................ 日文部分......................................................................................................... 109 109 112 121. 附錄……………………………………………………………………………… 附錄 A 個人簡歷............................................................................................ 附錄 B 獲獎暨榮譽........................................................................................ 附錄 C 學術論文著作…................................................................................. 123 123 124 125. VII.

(12) 表目錄 表 2-1 表 2-2 表 2-3 表 2-4 表 2-5 表 2-6 表 2-7 表 2-8 表 2-9 表 2-10 表 2-11 表 2-12 表 2-13 表 3-1 表 3-2 表 3-3 表 3-4 表 3-5 表 3-6 表 3-7 表 3-8 表 3-9 表 3-10 表 3-11 表 3-12 表 3-13 表 3-14 表 4-1 表 4-2 表 4-3 表 4-4 表 4-5 表 4-6 表 4-7 表 4-8 表 4-9. 結構圖相關論文………………………………….…………............ S-P 表構造………………………………………….…………......... S-P 表範例............................……………………….………………. GSP 表構造........................…………………………………………. 二元計分試題反應模式數學公式………………………………..... RaschGSP IRT 模型之 logit 轉換數學公式………..…………..... 迷思學生表........................………………………………………..... 迷思學生-試題表........................…………………………………... 試題-概念表........................………………………………………... 迷思概念表........................…………………………………………. 試題逆反應表........................………………………………………. 學生條件屬性表............................…………………………………. 學生條件-決策屬性表........................……………………………... VSSEMS 系統軟體分類...................................…………………….. VSSEMS 系統需要的原始資料........................…..……………….. 二元計分 S-P 原表檔格式.................................…..……………….. 部分給分 S-P 原表檔格式...............................................………….. P-C 表檔格式...........................................................................…….. 數列表檔格式...........................................................................…….. 因素-因素關係表檔格式..........................................................…….. S-P 表軟體菜單功能........................……………………………….. GSP 表軟體菜單功能...........................................………………….. RaschGSP IRT 軟體菜單功能..........................................………….. 迷思概念次序分析軟體菜單功能...........................................…….. 迷思概念粗糙集軟體菜單功能.......................................………….. GSM-RGSM 軟體菜單功能.......................................……………… MSM 軟體菜單功能...........................................................………… S-P 表軟體實例測試資料............................................…………….. GSP 表軟體實例在部分給分模式測試資料......................……….. RaschGSP IRT 軟體實例的 A 班測試資料.....................………….. A 班常模參照評量特徵值...........................................…………….. RaschGSP IRT 軟體實例的 B 班測試資料.....................………….. A 班與 B 班效標參照評量特徵值..............................……………... 迷思概念次序分析軟體原始學生-試題表......................…………. 迷思概念次序分析軟體試題-概念表..............................…………. 迷思概念次序分析軟體實例概念表................................………….. VIII. 頁次 10 15 15 23 25 26 29 30 31 31 33 33 34 43 44 44 45 45 45 46 46 51 55 59 63 67 73 78 82 85 87 88 90 92 92 93.

(13) 表 4-10 表 4-11 表 4-12. GSM-RGSM 軟體測試資料...........................................…………... ISM 實例因素-因素關係表....................................………………... MSM 實例因素-因素關係表........................................…………….. IX. 97 100 102.

(14) 圖目錄 圖 1-1 圖 2-1 圖 2-2 圖 2-3 圖 2-4 圖 2-5 圖 2-6 圖 2-7 圖 2-8 圖 2-9 圖 2-10 圖 2-11 圖 2-12 圖 3-1 圖 3-2 圖 3-3 圖 3-4 圖 3-5 圖 3-6 圖 3-7 圖 3-8 圖 3-9 圖 3-10 圖 3-11 圖 3-12 圖 3-13 圖 3-14 圖 3-15 圖 4-1 圖 4-2 圖 4-3 圖 4-4 圖 4-5 圖 4-6 圖 4-7 圖 4-8. 研究架構圖……...………………………………………………….. 理論發展過程結構圖……........……………………...…………….. 學生診斷分析圖…………………………………………................. 試題診斷分析圖…………………………………………................. GS 曲線與 GP 曲線範例……...……………………...…………….. 12 位學生的 GS 曲線跟次數圖相比………………...…………….. 在 Rasch 模式三個試題的試題特徵曲線…………...…………….. 四參數對數型模式之試題特徵曲線的基本形狀…...…………….. 二參數與四參數 RaschGSP IRT 模式之特徵曲線的比較.……….. 生成層次結構圖的過程.……………………………………….….. GSM 圖與 RGSM 圖的比較.………………………..………….….. MSM 結構性系統模擬.……………………………..………….….. 基礎理論與 VSSEMS 之關係圖…………………………................ VSSEMS 系統主介面…...………………………………….......…... S-P 表軟體介面範例……………………….………………………. S-P 表軟體主程序流程圖………………………………………….. GSP 表軟體介面範例………………………...…………………….. GSP 表軟體主程序流程圖…………………...…………………….. RaschGSP IRT 軟體介面範例.………………………...…………… RaschGSP IRT 軟體主程序流程圖………………..…...………..…. 迷思概念次序分析軟體介面範例…………………………………. 迷思概念次序分析軟體主程序流程圖……………………………. 粗糙集軟體主程序流程圖…………………………………………. 迷思概念粗糙集軟體介面………………………...……………….. GSM-RGSM 軟體介面範例…………….………………………….. GSM-RGSM 軟體主程序流程圖……………….………………….. MSM 軟體介面……………………………….……..……………… MSM 軟體主程序流程圖…..……………………….……………… S-P 表軟體 S-P 表分析結果…………………………….………….. S-P 表軟體 S 曲線-P 曲線圖…………………….………...……….. S-P 表軟體學生成績分佈與試題難度分佈……………………….. S-P 表軟體學生診斷圖與試題診斷圖…………………………….. 二元計分模式 GS 曲線與 GP 曲線圖………..…………...……….. GSP 表軟體分析結果……………………….….………………….. 部分給分模式 GSP 表分析結果……………………….….………. 部分給分模式 GS 曲線與 GP 曲線圖……………….…………….. X. 頁次 5 9 14 14 20 21 24 25 28 36 39 41 42 43 47 47 51 52 54 55 58 59 63 64 67 68 72 72 78 79 79 80 81 81 83 83.

(15) 圖 4-9 圖 4-10 圖 4-11 圖 4-12 圖 4-13 圖 4-14 圖 4-15 圖 4-16 圖 4-17 圖 4-18 圖 4-19 圖 4-20 圖 4-21 圖 4-22 圖 4-23 圖 4-24 圖 4-25 圖 4-26 圖 4-27 圖 4-28 圖 4-29. 部分給分模式學生成績分佈與試題難度分佈………………...…. A 班常模參照評量 LGRG-S 值分佈與 LGRG-P 值分佈………… A 班常模參照評量 RaschGSP IRT 圖………….……...………...… A 班效標參照評量 LGRG-S 值分佈與 LGRG-P 值分佈………… B 班效標參照評量 LGRG-S 值分佈與 LGRG-P 值分佈………… A 班效標參照評量 RaschGSP IRT 圖……………….…….….…… B 班效標參照評量 RaschGSP IRT 圖…………….…..…………… 第一選法迷思區構造…………………………………………...…. 第二選法迷思區構造…………...…………………………………. 第一選法迷思概念序…...........……………………..……………... 第二選法迷思概念序………...……………………………………. 粗糙集分析軟體實例的學生條件-決策屬性表.………………… 下近似集、上近似集、邊界區、正區、負區…………………... C 的 D -核…………...………………………………..…………….. C 中不可分辨關係與 C  D 中不可分辨關係………………..….. 學生關連結構 GSM 圖………...……………….………………….. 學生關連結構 RGSM 圖.……………………………………….…. 試題關連結構 GSM 圖……………………….…………………..... 試題關連結構 RGSM 圖……….......………………...……………. 學習興趣結構圖……..…………………………………………...... MSM 的決策結構圖……..………………………………………….. XI. 84 86 86 89 89 90 90 93 94 94 94 95 96 96 96 98 98 99 99 101 102.

(16) 符號 本研究使用的參數,依英文小寫、英文大寫、希臘字母等之順序所排序。. f mi mi Rm j mi R m j. mij x0 xi. yij. yi  y j. A. B CPj. CSi D D* GPj. GSi I. M Md P Md S. MSM(M , T , f ) Pˆ Pi ( ) Pj. P( si ) Q( s i ) R Si. Sˆ i T U. ~ U. 可達函數。 MSM 中, M 的第 i 個因素。 mi 與 m j 之間存在因果關係。 mi 與 m j 之間不存在因果關係。 MSM 中, M 的第 i 個因素映射到第 j 個因素的值。 GRA 中,參考數列。 GRA 中,第 i 個比較數列。 S-P 表中,學生 i 對試題 j 的答題反應。 學生 i 的總分。 答對試題 j 的總人數。 ISM 與 MSM 中,關係矩陣。 ISM 與 MSM 中,鄰接矩陣。 試題 j 的注意係數。 學生 i 的注意係數。 學生決策屬性矩陣。 S-P 表中,差異係數。 GSP 表中,試題 j 的局部性灰關聯分析數值。 GSP 表中,學生 i 的局部性灰關聯分析數值。 單位矩陣。 MSM 中,聯合集合。 GSP 圖中,GP 曲線與 x  0.5 直線的相交點的縱坐標。 GSP 圖中,GS 曲線與 x  0.5 直線的相交點的縱坐標。 MSM 結構性系統。 迷思試題矩陣。 IRT 理論中,能力  的學生答對試題 i 的機率。 S-P 表與 GSP 表中,試題 j 的號碼。 ISM 中,元素 i 可達集合。 ISM 中,元素 i 先行集合。 二元關係。 S-P 表與 GSP 表中,學生 i 的號碼。 為迷思學生集合。 ISM 與 MSM 中,可達矩陣。 迷思概念矩陣。 學生條件屬性矩陣。 XII.

(17) W Y ~ Y Yˆ Z. P S.  oi  ij. 0i ij. P P( j) S S (i)  0i.  ij.  k . MSM 的結構性系統。 S-P 表與 GSP 表中,試題反應矩陣。 試題逆反應矩陣。 迷思學生-試題矩陣。 試題-概念矩陣。 RaschGSP IRT 中,試題難度特徵值。 RaschGSP IRT 中,學生能力特徵值。 GSM 中,第 i 個比較數列的局部性灰關聯分析數值。 GSM 中,第 i 個比較數列與第 j 個比較數列。 之整體性灰關聯分析數值。 GRA 中,第 i 個比較數列的局部性灰關聯分析數值。 GRA 中,第 i 個比較數列與第 j 個比較數列。 之整體性灰關聯分析數值。 GSP 表與 RaschGSP IRT 中,試題灰關聯分析數值的集合。 GSP 表與 RaschGSP IRT 中,第 j 試題的灰關聯分析數值。 GSP 表與 RaschGSP IRT 中,學生灰關聯分析數值的集合。 GSP 表與 RaschGSP IRT 中,第 i 位學生的灰關聯分析數值。 GRA 中,第 i 個比較數列與原點之絕對差。 GRA 中,第 i 個比較數列與第 j 個比較數列之絕對差。 GSM 中,階層係數。 概念 k 之迷思率。 GSM 中,共同係數。. XIII.

(18)

(19) 第一章. 緒論. 評量是教與學歷程中不可或缺的,教育測驗統計可視化軟體系統開發是研 究主旨,藉以提供教學者施行認知診斷與針對性二次教學。本章針對研究問題 進行說明,共六節:第一節為研究動機,第二節為研究問題,第三節為研究目 的,第四節為研究方法,第五節為研究架構圖以及第六節名詞解釋。. 第一節. 研究動機. 教育測驗與評量在教學過程中是不可缺少的專業活動。林敏芳 (2005) 認 為學習未經評量機制檢核,學習將變得膚淺,一則學習成效及其影響因素無從 得知,二則學習策略與學習活動亦無從規劃起。教育測驗與評量不僅是測量每 個學生進步與否的工具,同時也傳達了教師的能力、學校和教育系統的質量 (Baker, 1988; Braun, Kanjee, Bettinger, & Kremer, 2006; Fenwick, 2001; 張德銳, 2006)。評估目的不僅是為了學生排名或證實學習的最終成果,也是為了幫助 學生的學習和提高教師的培訓效果(Shepard, 2000)。因此,結合統計理論,教 育測驗與評量可以獲得許多研究成果。運用統計方法,教師和教育研究者可正 確地實施測驗、解釋測驗結果、明瞭教育研究或實驗結果的績效與缺失(余民寧, 2012;周東山,1997)。 統計法在教育測驗與評量上大致分為兩個部分:定量分析方法 (Quantitative Techniques)和圖解分析方法(Graphical Techniques)。定量分析 方法是指通過統計操作程序產生數值型或表格型,圖解分析方法則是利用可視 化(Visualization)技術進行數據的分析與處理(余民寧,2012;李德治、林孟 儒、童惠玲,2012 ; 周東山,1997)。可視化是利用圖形和圖像處理技術,將 數據轉換成圖形或圖像(Chen et al., 2009)。可視化在教育測驗上有非常重要的 作用。透過可視化過程的結果,研究者可探索數據集的內容,尋找數據集中的 結構,檢查統計模型的假設或傳送資料分析過程的結果(Chen, Hrdle, & Unwin, 2008; Keim, 2002; Solka, Marchette, & Wallet, 2000; Ware, 2004) 。 1.

(20) 本研究根據教師和研究者在教育評量上的需求進行教育測驗統計可視化軟 體系統開發。這軟體系統的主要功能為執行學生成績評估與學習診斷。軟體可 以進行資料分析,透過可視化技術,提供老師們與研究者進行教育測驗與評量 時有效解決問題。. 第二節. 研究問題. 爲了設計出可幫助教師的教學活動與學生的學習活動,開發一個有效的軟 體工具,可以協助研究工作的可視性核準確性,本研究提出三項研究問題,進 行設計研究,說明如下: 一、使用者(教師與學生)對軟體系統要求的是什麼? 二、軟體系統的結構如何?是否具備有效性? 三、如何編寫程式語言執行最適合軟體的設計開發?. 第三節. 研究目的. 經由第二節研究問題的說明,本研究提出研究目的如下:. 一、 S-P 表軟體、GSP 表軟體與 RaschGSP IRT 軟體開發 應用 MATLAB 程序語言,本研究設計出 S-P 表軟體、GSP 表軟體與 RaschGSP IRT 軟體。這些軟體針對答題結果進行處理,可以提供診斷學生學習 狀況與診斷試題品質。. 二、迷思次序分析軟體與迷思概念之粗糙集分析軟體開發 應用 MATLAB 程序語言,本研究設計出迷思次序分析與迷思概念之粗糙 集分析兩個軟體。這些軟體都可進行資料處理,以找出學生的迷思資訊。迷思 資訊透過軟體的計算分析,教師可以找到需要補救的學生和規劃補救課程內容。. 2.

(21) 三、MSM 軟體與 GSM-RGSM 軟體開發 應用 MATLAB 程序語言,本研究設計 GSM-RGSM 軟體和 MSM 軟體。 透過此兩個軟體的處理過程,使用者可得到問題結構或概念結構,助益教師篩 選出適當的試題與選擇較適的教學路徑。. 第四節. 研究方法. 根據上述的研究目的,本研究設計軟體系統的步驟,說明如下:. 一、需求確定 需求確定是軟體系統設計的第一階段。需求確定過程包括三個步驟如下: 步驟一:意見蒐集 本研究蒐集教師和教育研究者對於軟體系統的要求。蒐集內容包括系統的 要求要求與軟體系統的內容結構調查。 步驟二:需求分析 本研究在此步驟針對使用者的意見進行資料分析,從而確定功能需求和非 功能需求、可行需求和不可行需求,以及一般需求和特殊要求的分析與處理。 步驟三:綜合需求 經由步驟二需求分析結果,建立軟體系統必頇滿足的要求項目表。這個表 格即為設計內容項目的細項。. 二、軟體系統設計 依照軟體開發目的、內容與設計項目,提出可執行方案計劃,主要工作包 括建立軟體系統架構、建立每個軟體流程圖及發展演算法。其中,每個軟體流 程圖都將通過 Crocodile ICT 605 軟體檢查與測試。. 3.

(22) 三、軟體編程 軟體編寫是軟 體系統發展 最重要的建 構 活動。根據程 式流程圖, 應用 MATLAB 軟體(de Sá, 2007; Hahn, & Valentine, 2010; Martinez, & Martinez, 2001; MathWorks, 2012; Moore, 2012)編寫本研究研發之軟體系統。值得一提的是, MATLAB 是一種用於計算開發、數據可視化、數據分析以及數值計算的高級計 算語言和交互式環境。事實是,MATLAB 軟體已被許多程式人員應用於軟體編 寫過程可用工具(Kazianka, 2013; Ko, & Shang, 2013; Sheu, Nguyen, Nguyen, & Pham, 2013; Sheu, Pham, Nguyen, & Nguyen, 2013; Wen, 2008; You, & Wen, 2005)。本研究軟體編寫採用 MATLAB 7.10 版本(MathWorks, 2005, 2008), 編寫過程包括三個階段:編寫副程式、軟體編寫程式及建立使用者介面。. 四、軟體測試 軟體測試是對軟體系統進行操作,一則發現程式錯誤之處,二則衡量軟體 系統品質,並對其是否能滿足設計要求進行診斷與評估。軟體測試分成兩個階 段: 第一階段:程式設計師測試 在此階段,每個軟體都被測試 50 次,每次都是不同的數據。通過測試,設 計師可以找出錯誤之處以利修改,檢查測試軟體在於要求軟體的完整性。 第二階段:使用者測試 將系統軟體提供給選定的一組使用者。透過使用者使用軟體系統,軟體可 再一次被評估檢驗,而可以達到設計要求。同時,這過程也可以收集使用者的 建議而能達到軟體的完整性。. 五、完整與包裝 應用 MATLAB® Compiler™ 工具箱(MathWorks, 2002, 2011, 2014)將整個 軟體系統轉成執行檔。. 4.

(23) 第五節. 研究架構圖. 本研究經由上述研究動機與研究目的的說明,提出以 MATLAB 軟體為編寫 工具,進行開發教育測驗與統計軟體系統的研究執行。研究執行過程:(1)針 對研究問題,進行相關資料蒐集與文獻探討,(2)進行蒐集教師和教育研究者 對於軟體系統的要求,依照使用者需求的分析結果進行設計軟體系統,(3)透 過真實教育測量之應用與驗證,藉以凸顯軟體設計可用性與信賴性。 本研究之研究架構流程,如圖 1-1 所示。 軟體開發目標 研究目的 軟體開發目標 相關文獻與基礎理論 軟體開發目標 軟體系統設計應用需求分析 軟體開發目標 設計決策擬定 建立軟體設計流程圖. 不正確. 軟 體 系 統 設 計. 流程圖 檢視? 正確 程式設計執行. 不可行. 軟體可行 性分析? 可行 軟體系統測試. 軟體系統 檢驗?. 不通過. 通過 結論與建議. 圖 1-1 研究架構圖. 5.

(24) 第六節. 名詞解釋. 為增加研究的可讀性,本節列出十個與研究內容相關的名詞進行解釋,說 明如下:. 一、學生-試題表 學生-試題表(Student-Problem Chart, S-P Chart),簡稱為 S-P 表,是 T. Sato 於 1969 年提出,其以二元化計分方式,將受試者試題作答結果予以數值化 處理,據以提供診斷用訊息與構造具溝通性之圖示。Sato 以受試者注意係數、 試題注意係數構造作答反應組型與判斷反應有無異常指標,除此之外,其以測 驗卷差異係數作為試卷品質判斷指數,前者構造受試者差異學習類型,後者呈 現試題與試卷品質(Sato, 1974)。. 二、灰關聯分析 灰關聯分析(Grey Relational Analysis, GRA)是灰色系統理論的有效數學 工具。它的主要功能是計算的分散數的序列之間,從而評估因素之間的關聯度。 灰關聯分析係針對系統動態發展趨勢進行相似性度量分析,據以鑑別系統因素 發展趨勢相似或相異程度(永井正武、山口大輔,2004;溫坤禮等,2003)。系統 中,離散數列發展趨勢愈接近,關聯程度愈大,對應之灰關聯度數值亦愈大, 反之亦然。. 三、灰學生-試題表 灰學生-試題表(Grey Student-Problem Chart, GSP Chart),簡稱為 GSP 表, 由 M. Nagai 於 2010 年提出,其結合灰關聯分析與 S-P 表形成的新模式,是為 GSP 表,藉以補強 S-P 表的弱點(曾建維,2013)。GSP 表的特色:(1)受試 者能力高低與試題難易序列正規化與數值化,(2)結構性與數值性判讀學習不 利者與試題難題,(3)二者相輔相成相得益彰,判讀結果更具正確與精準。. 6.

(25) 四、RaschGSP IRT RaschGSP IRT 理論由 M. Nagai 於 2010 年首次提出,其結合 GSP 表與 Rasch 模式構造之,亦即透過邏輯迴歸,(1)研究學生成績排列順序與學生灰 關聯分析數值兩組數列之間的關係,(2)診斷試題難度排列順序與試題灰關聯 分析數值兩組數列之間的關係,(3)提出算式演算與衡量學生成績、班級成績、 試題難度與考卷難度(曾建維,2013)。. 五、迷思概念 迷思概念(Misconception),指學生在科學概念組織中的認知,不同於科 學領域有效知識體系公認的思考邏輯與結論(Köse, 2008; Aufschnaiter, & Rogge, 2010; 李雁冰、刁彭成,2006)。正視與確認迷思概念現象在認知理解或學習 上的意義:(1)瞭解學習者學習起點的固著性思維邏輯及其經驗、(2)規劃 教學策略與教學設計的依據,藉以坐收「事半功倍」的教學效益(Gooding, & Metz, 2011; Wenning, 2008; 王全興,2010)。. 六、粗糙集理論 粗糙集理論(Rough Sets Theory)是 Z. I. Pawlak 於 1982 年提出。粗糙集理 論用於處理不精確、不確定與不完全數據的工學模式(Pawlak, 1982)。粗糙集 及其理論在運用上,不需要任何先驗假設或額外的相關數據資料,相反的,其 依據掌握或觀察數據進行分類、度量與評價的數理工具(Pawlak, 1997; Pawlak, 2002)。. 七、詮釋結構模式 詮釋結構模式(Interpretative Structural Modeling, ISM)是 J. N. Warfield 於 1973 年提出,其針對複雜社會經濟系統進行分解的結構分析法。ISM 結合圖學 論(Graph Theory),一方面就複雜的系統中不同類型的要素之間的關係進行分 析,另一方面要素間關係表徵予以有向階層結構化。 7.

(26) ISM 透過人們的經驗、知識以及電腦的輔助,可將複雜的系統構成一個多 級遞階結構模型。值得一提的是,ISM 可以將模糊不清的思想轉化為直觀且具 有良好結構關係的模型(蔡清斌,2014)。. 八、多重矩陣詮釋結構模式 多重矩陣詮釋結構模式(Matrix Based Interpretive Structural Modeling, MSM) 是 Nagai 於 2013 年提出(永井正武、蔡清斌、陳姿良,2013;Nagai, & Tsai, 2013)。此結構模式不僅可以涵蓋一般可達矩陣所建立之結構演算法,並且可 針對系統與系統之間釐清其結構關係,根據不同系統的矩陣運算,形成一種適 用於可達矩陣運算的結構分析方法(蔡清斌,2014)。. 九、灰結構模式 灰結構模式(Grey Structural Modeling, GSM)是 Nagai, Yamaguchi, & Li (2005)提出 GSM 是依據 Nagai 以 Minkowski 距離計算局部性灰關聯分析 (Local Grey Relational Analysis, LGRA)與整體性灰關聯分析(Global Grey Relational Analysis, GGRA)數值構造之,藉以進行要素之結構分析。其次,依 據灰關聯程度大小進行比較,當其中的一方有較大數值時,即可被認定為較重 要的項目,甚或可成為結構系統排列的準則。. 十、可達灰結構模式 可達灰結構模式(Reachable Grey Structural Modeling, RGSM)由永井正武、 蔡清斌、許天維(2014)提出。這模式把詮釋結構模式的可達矩陣運算方式應 用在灰結構模式,形成一個簡化灰結構模式圖。. 8.

(27) 第二章. 相關文獻與基礎理論. 本章針對相關文獻與基礎理論進行整理與分析。本章共十節,第一節理論 發展過程,第二節學生-試題表分析理論,第三節灰關聯分析法,第四節 GSP 表 分析法與 RaschGSP IRT 理論,第五節迷思概念次序分析法,第六節迷思概念粗 糙集分析法,第七節 GSM 與 RGSM 理論,第八節 ISM 理論,第九節 MSM 理 論,以及第十節小結。. 第一節. 理論發展過程. 本研究以 S-P 表分析法、灰關聯分析法、GSP 表分析法、RaschGSP IRT 理 論、迷思概念次序分析法、迷思概念粗糙集分析法、ISM、MSM 與 GSM 等為 基礎理論。這些理論的發展過程與相關文獻整理如圖 2-1 與表 2-1。. 圖 2-1 理論發展過程結構圖 9.

(28) 表 2-1 結構圖相關論文 編號 作者(年代) 1 Thurstone(1925). 2. Fischer, & Molenaar (1995). 3. Boone, Staver, & Yale (2014). 4. 王文中(2004). 5. Lord(1952). 6 7 8 9. Linden, & Hambleton(1997) Baker(2001) 佐藤隆博(1996) Warfield(1976). 10 Deng(1982). 11 Pawlak(1982). 12 Yamaguchi, Li, & Nagai(2005) 13 Nagai, Yamaguchi, & Li(2005). 14. 許天維、曾建維、 梁榮進、王 柏婷、永井正武(2010). 15. 許天維、曾建維、 梁榮進、王 柏婷、永井正武(2011). 主要內容 這文章是 IRT 理論的開端。在文章中,Thurstone 提供 一個把 Binet 與 Simon 測驗的項目放置在年齡分級量表 的解決方案。 這本書是由 Rasch 模式領域的各位專家編寫,目的是介 紹 Rasch 模式的現狀。 這本書提供 Rasch 模式之關鍵概念與資源,並且說明以 Rasch 模式來分析衡量能力,態度和人格特質等的方 法。 這文章闡述 Rasch 模式之基本原理、發展、應用與網路 資源。 這文章描述二元計分的二參數常態肩形模型、參數的估 計與應用。 這本書描述 IRT 理論及其在教育與心理測試的應用。 這本書提供 IRT 理論的基本概念。 這本書提供 S-P 表分析理論的基本概念。 這本書介紹 ISM,包含:理論,方法及應用。ISM 是一 種可以將複雜系統中,不同類型元素之間的關係,轉變 為關聯構造階層結構的數理方法。 該研究提出灰色理論,針對系統模型的不明確性或不完 整性進行關聯分析,藉由預測與決策等方法來探究整體 系統。 該研究提出粗糙集理論,其主要是處理含糊性和不確定 性問題的數學工具。該理論假設所分析的物件集合本身 即隱含著知識;而知識被認為是一種對於物件的分類能 力。 該文章提出新灰關聯分析。新方法是基於拓撲背景,以 敏考斯基的數學方式執行灰關聯分析。 該文章提出 GSM 結構分析理論,根據局部灰關聯度與 整體灰關聯度以及排序,以 Y 軸為 LGRA,以 X 軸為 GGRA 演算出來的二維帄面圖,其可以進行集群分析, 並找到圖形的階層關係。 該研究提案以 Rasch 模式的參數模式,呈現受測者的 難度認定狀態,成為客觀數據判讀的方式,以灰關聯 分析法結合 S-P 表建立 GSP 表結構成分析法。 該研究以多項式迴歸建立的趨勢線,提出 Rasch GSP 三參數對數型模式,可針對學生與試題之鑑別度,以 及學生測驗帄均值與試題難度進行分析,並且能實際 呈現出整體的評量結果。. (續下頁). 10.

(29) 編號 作者(年代) 主要內容 16 Sheu, Tsai, Tzeng, Chen, 該研究根據粗糙集理論的約簡和核計算出學生共同的迷 Chiang, Liu, & Nagai(2012) 思,並將迷思概念對應到 ISM 圖,決定迷思次序的結 構。 17 Sheu, Chen, Tsai, Tzeng, Deng, 該研究分析學生迷思概念基於粗糙集理論和詮釋結構模 & Nagai(2013) 式相結合。該研究提出三種方法來掌握學生迷思概念: 「刪除條件屬性」、「使用布爾邏輯來計算可分辨矩 陣」及「計算條件屬性的重要度」。 18 Sheu, Tsai, Tzeng, Chen, & 該研究提出迷思序,其選取 GSP 表之學生 Gamma 值為 Nagai(2013) 0.5 附近的學生,定義為學習迷思學生,對迷思學生的答 題狀況進行分析,選取迷思學生不同時答對與不同時答 錯的題目,表示為其易產生迷思之試題,並將之定義為 迷思試題,透過教師所建立之試題概念表,可對照出迷 思概念,即可計算出迷思率與迷思序。這方法可精準的 預測學生概念迷思所在。 19 許天維、陳姿良、蔡清斌、曾 該研究提出迷思區分析法。研究提案部分計分 S-P 表分 建維、劉維玲、永井正武 析法,採用 GSP 表與 GSM 並結合注意係數,探討此份 (2012) 試題對於學生是否具有鑑別力,並找出學生的迷思區。 20 Nagai, & Tsai(2013) 該文章提出多重矩陣詮釋結構模式,並且把多重矩陣詮 釋結構模式應用在粗糙集結構模型法。 21 永井正武、蔡清斌、許天維 該文章提出 RGSM。RGSM 是將傳統灰結構模式,透過 (2014) 可達矩陣的運算形成 ISM 的路徑聯結。最後,經過整體 最簡簡約路徑處理,形成 GSM 簡式結構圖。 22 Pham, Sheu, Tsai, Nguyen, 該研究依照 GSM 與 RGSM 開發了一個 GSM-RGSM 軟 Nguyen, & Nagai(2014) 體,並且說明該軟體在教育的實際應用。 23 Pham, Sheu, Nguyen, Tsai, 該研究的主要目的是依照 GSP 表分析法與 RaschGSP 分 Nguyen, & Nagai(2014) 析 法 開 發 一 個 Matlab 工 具 箱 。 研 究 首 次 提 出 以 RaschGSP 來比較各班學習成績的方法。這方法從整體 學生計算出的學生能力特徵值與鑑別度當成評估標準, 承認整體鑑別度也是每班鑑別度,計算出每班能力特徵 值。 24 Sheu, Nguyen, Pham, Nguyen, 該文章提出以 RaschGSP 來評估試題難度的新方法。這 & Nagai(2014) 方法結合灰關聯排序、學生注意係數排序與試題注意係 數排序進行試題排序,再重新計算新灰關聯數值。新灰 關聯數值代表試題難度。. 資料來源:研究者整理. 第二節. 學生-試題表分析理論. 學生-試題表分析法(Student-Problem Chart Analysis),簡稱為 S-P 表分析 法,T. Sato 於 1970 年代提案與證成,這是一種將學生的作答反應狀況予以「表 化」、離散數據、「圖形化」的分析方法(佐藤隆博,1996a、1997; 余民寧,. 11.

(30) 2011)。它是診斷學生學習狀況與試題品質的有效的工具(McArthur, 1983; Sato, 1974; Wu, 1998;余民寧,2011)。S-P 表分析法提供兩種注意係數:其一是學 生注意係數,其二是問題注意係數;根據這兩種係數數值,可以選擇適當之問 題,據以了解學生的理解程度與學習特點(游森期、余民寧,2006)。S-P 表分 析法是一種屬於無母數統計方法,最適合用於形成形評量的測驗資料分析(余 民寧,2011)。S-P 表分析法重要概念敘述如下:. 一、試題反應矩陣(Item Response Matrix, IRM) 定義1:試題反應矩陣 假設教師從某班級中蒐集到一筆 m 名學生在 n 個試題上的作答反應資料,經 過評分之後,得到一個矩陣 Y :.  1 , 若學生i 答對試題 j 0 , 若學生i 答錯試題 j. Y  [ yij ]mn ,其中 yij  . (2-1). 則稱 Y 為試題反應矩陣。. 二、S-P表反應矩陣(S-P Chart Response Matrix) 定義2:S-P表反應矩陣 n. 假設有一個試題反應矩陣 Y  [ yij ]mn ,令第 i 位學生的總分為 yi   yij ,且 j 1. m. 第 j 試題的答對人數為 y j   yij ,若 Y 滿足下列兩個條件: i 1. y1  y2    ym 與 y1  y2    yn 則稱 Y 為S-P表反應矩陣。. 三、S 曲線與 P 曲線 根據每位學生答對的題數,從左向右數出與總分相同之試題個數,並在右 邊畫上一條分界線,再將這些分界線的下方利用直線連接,則會形成一階梯狀 之曲線,此曲線稱為「S曲線」。 12.

(31) 同上,依據每道試題的答對人數,從上往下數出與答對人數相同之學生個 數,並在其下邊畫上一條分界線,由左端往右端畫出每道試題之答對人數所對 應的分界線,則會形成一階梯狀之曲線,此曲線稱為「P曲線」。. 四、差異係數 定義 3:差異係數 在人數為 m ,試題數為 n ,帄均答對率為 P 條件下,令 S(m, n, P ) 為實際 S-P 表中兩曲線所包圍的部分面積, SB (m, n, P ) 為兩曲線皆呈累加二項分配曲線所包 圍的部分面積。差異係數為:. D* . S (m, n, P ) SB (m, n, P ). (2-2). 五、學生注意係數與試題注意係數 定義 4:學生注意係數(Caution Index for Student) 假設S-P表反應矩陣 Y  [ yij ]mn ,令第 i 位學生注意係數為 n. CSi  1 .  ( yij )( y j )  ( yi)( y) j 1. l.  ( y j )  ( yi)( y). ,其中 y  1  y j , l  yi   yij n. n j 1. n. j 1. (2-3). j 1. 定義 5:試題注意係數(Caution Index for Item) 假設S-P表反應矩陣 Y  [ yij ]mn ,令第 j 個試題注意係數為 m.  ( yij )( yi)  ( y j )( y). CPj  1  i 1 l'.  ( yi)  ( y j )( y). m m ,其中 y  1  yi , l'  y j   yij. m i 1. i 1. i 1. (2-4) 當注意係數越大時,表示反應組型為不尋常或有異常之情況較嚴重。相反 的,當注意係數越小,表示不尋常之現象較不嚴重,在容許的誤差範圍之內, Sato提出學生判斷標準(見圖2-2與圖2-3)。. 13.

(32) 100%. 答對率. 75%. 50%. (A). (A’). 學習良好 穩定性高. 粗心大意,不 細心造成錯誤. (B). (B’). 學習尚稱穩定, 需要再用功一點. 偶爾粗心,準備不 充分,需要再努力. (C). (C’). 學力不足,學習不夠充 分,需要更加努力用功. 學習極不穩定,具有隨 興讀書習慣,對考試内 容沒有充分準備. 0. 0.5 學生注意係數. 1. 圖 2-2 學生診斷分析圖 資料來源:余民寧 (2011)。教育測驗與評量-成就測驗與教學評量(頁 378)。 台北:心理出版社。. 100% (A’). (A). 答對率. 試題相當適當,可以用 作區別低成就者與其他 學生的不同. 試題含有異質成分, 需要局部修正,或 試題中含有拙劣的 選項. 50%. 0. (B). (B’). 試題困難度高, 適合用作區別高 成就者的好試題. 試題極爲拙劣,含有相 當異質成分在内,可能 資料登錄錯誤或題意含 糊不清,必頇加以修改. 0.5 試題注意係數. 1. 圖 2-3 試題診斷分析圖 資料來源:余民寧 (2011)。教育測驗與評量-成就測驗與教學評量(頁 375)。 台北:心理出版社。. 六、S-P表結構 S-P 表結構如表 2-2 所示,範例見表 2-3。. 14.

(33) 表 2-2 S-P 表結構 試題號碼 Pj , j  1,2,, n. 學生\試題. 總分. 學生注意係數. 高. 學生號碼 Si , i  1,2,, m. Y  [ yij ]mn. yi. CSi. 低 多. 答對人數 試題注意係數. m. n. i 1. j 1.  yi   y j. y j 少 CPj. 資料來源:McArthur(1983). 表 2-3 S-P 表範例 學生\試題 題 3. 題 1 題 10 題 7. 題2 題5. 題9. 題8. 題 4 題 6 總分. 學生得分 學生注 類型 百分比 意係數 1.00 0.00 A. 學生 03. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 10. 學生 01. 1. 1. 1. 1. 1. 1. 1. 1. 0. 1. 9. 0.90. 0.00. A. 學生 02. 1. 1. 1. 1. 1. 1. 1. 1. 1. 0. 9. 0.90. 0.00. A. 學生 11. 1. 1. 1. 1. 1. 1. 1. 1. 0. 0. 8. 0.80. 0.00. A. 學生 10. 1. 1. 1. 0. 1. 1. 0. 1. 0. 1. 7. 0.70. 0.63. B'. 學生 12. 1. 1. 1. 1. 1. 1. 1. 0. 0. 0. 7. 0.70. 0.00. B. 學生 05. 1. 1. 0. 1. 1. 0. 1. 1. 0. 0. 6. 0.60. 0.42. B. 學生 08. 1. 1. 1. 1. 1. 0. 1. 0. 0. 0. 6. 0.60. 0.08. B. 學生 09. 1. 1. 1. 1. 0. 1. 0. 0. 0. 0. 5. 0.50. 0.00. B. 學生 06. 1. 1. 1. 0. 0. 1. 0. 0. 0. 0. 4. 0.40. 0.09. C. 學生 07. 1. 1. 1. 0. 0. 0. 0. 0. 1. 0. 4. 0.40. 0.54. C'. 學生 04. 1. 0. 0. 1. 0. 0. 0. 0. 0. 0. 2. 0.20. 0.26. C. 答對人數 答對人數 百分比 試題注意 係數 類型. 12. 11. 10. 9. 8. 8. 7. 6. 3. 3. 77. 1.00 0.92 0.83 0.75 0.67 0.67 0.58 0.50 0.25 0.25 0.00 0.00 0.29 0.54 0.00 0.28 0.09 0.09 0.57 0.23 A. A. A. A'. A. A. A. : S 曲線 : P 曲線. A. B'. B. 學生人數:12 位 試題總數:10 題. 15.

(34) 近年,S-P 表分析法在教學領域成為協助教學者與研究者檢驗學習效果的有 效工具。值得關注的是,S-P 表分析法結合其他理論得以擴大其應用範圍(Yih, Lin, & Sheu, 2008)。黄玉梅、翁上锦、施政文(2009)應用 S-P 表分析法於線上 學習(E-learning)的診斷,許天維等(2013)則將 S-P 表分析法擴張為部分給分 S-P 表分析法(Partial Credit S-P Chart Analysis)。. 第三節. 灰關聯分析法. 灰關聯分析法(Grey Relational Analysis, GRA),灰色系統理論中的重要數 學工具(永井正武、山口大輔,2004),針對離散數據進行測度計算,透過灰關 聯分析數值大小衡量因素間關聯程度的方法(溫坤禮等,2003; 羅慶成、徐國 新,1989)。灰關聯分析法操作簡易,運用於社會科學與自然科學領域案例多 ( Gupta, & Kumar, 2013; Lai, Lin, & Yeh, 2005; Sreenivasulu, & Rao, 2013; Thanigaivelan, & Arunachalam, 2013; 李正忠、李妍蓉,2012)。 灰關聯分析過程如下: 步驟一:建立原始數列. x1  (x1(1), x1(2),, x1( j),, x1(m)) x2  (x2(1), x2(2), , x2( j),, x2(m))  xi  (xi (1), xi (2),, xi ( j),, xi (m))  xn  (xn (1), xn (2),, xn ( j),, xn (m)). (2-5). 步驟二:建立參考數列. x0  (x0(1), x0(2),, x0( j),, x0(m)). (2-6). 步驟三:灰關聯生成 將數據進行正規化,其中,數列建立條件:無因次性(Non-dimension)、 同等級性(Scaling)與同極性(Polarization)。其次,進行「生成」與「數據標. 16.

(35) 準化」處理,包含望大(Larger-the-Better)、望目(Nominal-the-Better)與望小 (Smaller-the-Better)三種方法。 望大生成公式: xi*(k) . xi (k)  min xi (k) i max xi (k)  min xi (k ) i i. (2-7). 望小生成公式: xi*(k) . xi (k)  xi (k) max i max xi (k)  min xi (k ) i i. (2-8). 望目生成公式: xi*(k) . max ei (k)  ei (k) i max ei (k)  min ei (k) i i. 其中 ei (k ) . (2-9). OB  xi (k ) , min xi (k)  OB  max xi (k) , OB  0 i i OB. 步驟四:灰關聯分析數值計算 灰關聯分析是針對離散數據進行數據間之關係程度予以數值化處理(溫坤禮 等,2003)。灰關聯分析數值化處理分為局部性灰關聯分析與整體性灰關聯分析 兩種,本文採用 Nagai 提案的公式(Yamaguchi et al., 2006; Yamaguchi, Li, & Nagai, 2005; Yamaguchi, Li, & Nagai, 2007),其特色是以 Minkowski 距離為依據 的計算,亦即以原點(0,0)為基準,利用計算取得數值,或謂絕對距離,一則 正確定位,二則進行評比。 局部性灰關聯分析數值(LGRG)公式:. 0i  (x0, xi )  max  0i , i  1,2,, n max  min n. (2-10). 1. 其中  0i  x0  xi   ( [0i ( j)] )  表示比較數列 xi 與參考數列 x0 之絕對差, j 1. max 與 min 為 0i 最 大 值 與 最 小 值 。   1 , 若   1 , 0i 為 曼 哈 頓 距 離. (Manhattan Distance);若   2 , 0i 為歐氏距離(Euclidean Distance) 整體性灰關聯分析數值(GGRG)公式: 17.

(36) ij  (xi, x j )  1 . ij , i, j  1,2,, n max. (2-11). 1. 其中 ij  ( [ij (k)] )  表示 xi 與 x j 之間的絕對差, max 為 ij 最大值 m. k 1. 步驟五: 灰關聯分析排序(Grey Relational Ordinal) 將整體比較數列依據灰關聯分析數值大小排序,可得灰關聯分析序,其中, 0i  0 j 表示 xi 對 x0 的關聯程度大於 x j 對 x0 的關聯程度。. 第四節. GSP 表與 RaschGSP IRT 理論. S-P 表分析法是瞭解學生作答反應狀況的有效方法,但是,這理論只針對二 元計分(Dichotomous Scoring)情況加以探討,為提升 S-P 表分析法可用廣度, 2010 年,Nagai 提出 GSP 表分析法與 RaschGSP IRT 理論。GSP 表分析法是把灰 關聯分析和 S-P 表分析法結合起來,成為一種不確定因素的判斷方法。GSP 表 分析法是結合 GRA 與 S-P 表分析法的新分析法,一則成為分析不確定因素的判 斷方法(曾建維,2013) ,二則擴大 S-P 表分析法可用範圍。RaschGSP IRT 理論, 透過邏輯迴歸(Logistic Regression),一方面研究學生成績排列順序與學生灰 關聯分析數值兩組數列之間的關係,另一方面診斷試題難度排列順序與試題灰 關聯分析數值兩組數列之間的關係。RaschGSP IRT 理論透過建立代表所有數據 的一個 函數, 據以 找出衡 量班 級的成 績 與考卷 的難度 的 數 值( Sheu, Pham, Nguyen, et al., 2014)。GSP 表與 RaschGSP IRT 相互支援相得益彰,提供教學者 從中讀取部分與整體多元訊息,作為後續教學規劃依據。 一、學生灰關聯分析(LGRG-S) 定義6:學生灰關聯分析數值 假設試題反應矩陣 Y  [ yij ]mn ,令第 i 位學生的灰關聯分析數值為 S (i)  ( yS , yS )  S max  S S max  S min. (2-12). 0i. 0. i. ( yi1), max ( yi2),, max ( yin)) 其中 yS  ( yi1, yi2,, yin) , yS0  (max i i i i. 18.

(37) S  yS  yS 0i. 0. 1. n. i. .  (  [0i ( j)] )  ,   1 j 1. 二、試題灰關聯分析(LGRG-P) 定義7:試題灰關聯分析數值 假設試題反應矩陣 Y  [ yij ]mn ,令第 j 試題的灰關聯分析數值為 P ( j)  ( yP , yP )  0. j. P max  P P max  P min. (2-13). 0j. 其中 yP  ( y1 j , y2 j ,, ymj ) , yP  (max( y1 j ), max( y2 j ),, max( ymj )) j. 0. P  yP  yP 0j. 0. j. j. j. 1.  ( [0 j (i)] )  ,   1 m. . j. i 1. 三、GSP表反應矩陣 定義 8:GSP表反應矩陣 假設試題反應矩陣 Y  [ yij ]mn ,令第 i 位學生灰關聯分析數值為 S (i) ,且第 j 試題灰關聯分析數值為 P ( j) ,若 Y 滿足下列兩個條件:. S (1) S (2)   S (i)   S (m) 與 P (1) P (2)   P ( j)   P (n) 則稱 Y 為GSP表反應矩陣。. 四、GS曲線與GP曲線 首先,將受試者依據 LGRG-S 數值從少到多進行排序,可得學生成績順序 量尺。其次,將順序量尺換算 0% 到 100 % 的量尺,可得學生成績的百分等級。 在直角坐標系中,在横軸上表達學生成績的百分等級與在縱軸上表達 LGRG-S, 即第 i 學生成績表記方式是:由横坐標為學生 i 成績百分等級與縱坐標為 S (i) 的 唯一點表示,最後,再將所有的學生的代表點以直線予以連接,則會形成一折 線,是謂 GS 曲線。 同上,把所有的試題依據 LGRG-P 數值從少到多進行排序,可得試題難度 順序量尺;其次,將順序量尺換算成 0% 到 100 % 的量尺值,可得試題難度的百. 19.

(38) 分等級。在直角坐標系中,在横軸上表達試題難度的百分等級與在縱軸上表達 LGRG-P,即第 j 試題表記方式是:横坐標為試題 j 百分等級與縱坐標為 P ( j) 的 唯一點表示。最後,將所有的學生的試題點以直線予以連接,則會形成一折線, 是謂 GP 曲線。 圖 2-4 為 GS 曲線與 GP 曲線的範例。. 圖 2-4 GS 曲線與 GP 曲線範例 依據上述描述,本研究提出兩個定理如下: 定理 1 : GS 曲線表達學生成績之累積分佈。 GP 曲線表達試題難度之累積分佈。 證明: 基於 GS 曲線與 GP 曲線證明方式相同,本文只針對 GS 曲線進行證明。 以 A 表示 LGRG-S 從少到多排序與 B 表示學生成績百分等級的集合,學生 有 m 位,則: Card( A)  Card(B)  m 和,. A  {S (1), S (2),, S (i),, S (m)} 、 B  {PR1, PR2,, PRi,, PRm} ,其中 PRi 為學生 i 成績的百分等級. 20.

(39) 令 F 為累積分佈函數,在 A 集合中: F (S (i))  f (LGRG  S (i))  i , m 依據上述定義 4 的算法,可知: PRi  i  1 , m 1 公式: xi  PRi  m  1  1 ,據以進行坐標轉換。 m m 1 此時, B 成為新集合,. B'  {x1, x2,, xi,, xm},其中 xi  i ,亦即 B' 為 F 的值的集合。 (證明完畢) m. 定理 1 範例: 在圖 2-4 中,第 i 位學生灰關聯分析數值為 S (i) 。 S (i) 值越高,第 i 位學生的 成績越好。GS 曲線表達 12 位學生成績之累積分佈。以下是 GS 曲線跟次數圖相 比。. 圖 2-5 12 位學生的 GS 曲線跟次數圖相比 定理 2 : 令 MdS 為 GS 曲線與 x  0.5 直線的相交點的縱坐標,LGRG-S 值的集合的中 位數或是 MdS ,或是最接近 MdS 的值。 21.

(40) 令 MdP 為 GP 曲線與 x  0.5 直線的相交點的縱坐標,LGRG-P 值的集合的中 位數或是 MdP ,或是最接近 MdP 的值。 證明: 基於 GS 曲線與 GP 曲線證明方法相同,本文只針對 GS 曲線進行證明。 依據上述在定義 4 的算法,LGRG-S 值的集合與學生成績百分等級的集合 予以換算於排序。這兩集合具對應關係,LGRG-S 值的集合的中位數與學生成績 百分等級的中位數是相對應的,因此,我們只要證明:在學生成績百分等級的 集合中,中位數或是 0.5,或是最接近 0.5 的值。 假設學生有 m 位與以 B 表示學生成績的百分等級的集合,則. B  {PR1, PR2,, PRi,, PRm} ,其中 PRi  i  1 , Card(B)  m m 1. 若 m 是奇數,則 m 不是整數,依計算中位數公式, B 的中位數為 PR m  1 。 2  2 . m m  1  1 。因此, B 的中位數為 PR m 是奇數     1   m  1   2  2  2 . m 1 1 1 2  0.5 。 m 1. 若 m 是偶數,則 m 是整數,依計算中位數公式, B 的中位數有兩個: 2 m 1 m 1 1 m 1  1 1 1 2 2  0.5  PRm   0.5   2 與 PRm 1  2 m  1 2 ( m  1 ) m  1 m  1 2 ( m  1) 2 2 PRm 與 PRm 1 在 B 中是最接近 0.5 的值。 2. (證明完畢). 2. 定理 2 範例: 在統計學上,帄均數是一個代表全體資料的中央趨勢量數。但是,計算帄 均數非常容易受到極端值所影響。所以,若一租資料存在極端值,採用帄均數 來代表這組資料的中央趨勢是不可靠的。此時,以中位數來代表全體資料的中 央趨勢更有意義。除此之外,中位數可幫研究者很知道某一筆資料在全體資料 的做落位置,至少可以知道這筆資料是在全體資料的前 50%或後 50%。 圖 2-5 顯示,GS 曲線顯示 LGRG-S 值的中位數 MdS  0.5 。這表示這組學生 的成績比較好。學生 S09 的灰關聯分析小於中位數,該學生成就表現相對較差, 22.

(41) 其成績在全班上落在成績比較低的 50%。S11 的灰關聯分析大於中位數,該學生 成就表現較好,其成績在全班上落在成績比較高的 50%。. 五、GSP表結構 GSP 表結構如表 2-4 所示。 表 2-4 GSP 表構造 學生\試題. 試題號碼 Pj , j  1,2,, n. 總分. LGRG-S. 學生注意係數. 高. 學生號碼 Si , i  1,2,, m. Y  [ yij ]mn. 答對人數. y j. S (i). yi. CSi. 低. 多. LGRG-P. P ( j). 試題注意係數. CPj. m. n. i 1. j 1.  yi   y j. 少. 資料來源:Sheu, Pham, Tsai, et al. (2014). 六、RaschGSP IRT 理論 二元計分的Rasch模式於1960年代由Georg Rasch所推展,的目的是希望通過 受試者的作答反應,得到等距和客觀量尺。當測驗資料滿足此模式所頇之問項 具有單向度與局部獨立性時,此理論透過「對數勝率」(Log Odds)之觀念, 將每個題目之每個選項,藉由受試者整體之回應估計出該題目難度。同時,當 考卷中各個題目藉由此模式估計出各自的難度後,亦可藉由每位受試者在各種 難易不同之題目上所表現的答題狀況,得到受試者在此份考卷上之評量分數。 假設受試者的潛在特質的程度為  ' ,試題 i 的特性為 a'i , X i 表達受試者在試題 i. 23.

(42) 的答題情況( X i  1 表示答對, X i  0 表示答錯), P( X i  1 |  ) 和 P( X i  0 |  ) 分 別是受試者在試題 i 的答題情況是1和0的機率。在Rasch模式裡,勝率定義為:. oddsi . P( X i  1 |  )  '  ,其中, P( X i  1 |  )  P( X i  0 |  )  1 (I) P( X i  0 |  ) a'i. 通過logit轉換,(I)可以表達為: P( X i  1 |  ) log(oddsi )  log( )  log( ' )  log( ' )  log(a'i )    ai (II) 1  P( X i  1 |  ) a'i. 其中,   log( ' ) 定義為學生的能力, ai  log(a'i ) 定義為試題的難度。 從(II)可以推導出在Rasch模式對數型模式的數學公式為: (  a ) P( X i  1 |  )  e ( a ) 1 e i. i. 整確答對機率. 由圖2-6可見, Rasch 模式三個試題的試題特徵曲線。. 題2. 題1. 題3. 能力 圖2-6 在Rasch模式三個試題的試題特徵曲線 資料來源:王文中(2004). 在二元計分方式,因變數是一個分類變數(Categorical Variable)。在定量 分析的實際研究中最流行的線性迴歸模型(Linear Regression Model)不適合, 因為線性迴歸需要因變數是一個連續變數(Continuous Variable)。當因變數是 二元因變數時,最常用的分析方法有兩個:一個是依logistic分佈來分析,對應. 24.

(43) 的是logit模型,另一個是依標準常態分佈(Normal Distribution)來分析,對應 的是probit模型。Rasch模式就屬於第一方法。以第二方法來解決就是試題反應理 論(Item Response Theory, IRT)的開始。表2-5是IRT理論對二元計分的數學公 式,圖2-7是四參數對數型模式之試題特徵曲線的範例。 表 2-5 二元計分試題反應模式數學公式 參數 一參數 二參數 三參數 四參數. 數學公式 常態肩形模式 Pi( )  (b ) 1 e z / 2dz 2 Pi( )  a( b ) 1 e z / 2dz 2 Pi( )  ci  (1  ci)a( b ) 1 e z / 2dz 2 Pi( )  ci  (di  ci)a( b ) 1 e z / 2dz 2. D( b ) Pi( )  e D( b ) 1 e Da ( b ) Pi( )  e Da ( b ) 1 e Da (  b ) Pi( )  ci  (1  ci) e Da ( b ) 1 e Da ( b ) Pi( )  ci  (di  ci) e Da ( b ) 1 e. 2. i. i. 對數型模式 i. i. 2. i. i. i. i. i. 2. i. i. i. i. i. i. i. 2. i. 資料來源:余民寧(2009). 整確答對機率. d. (d+c)/2. 斜率=0.425a(d-c). b. 能力 圖2-7 四參數對數型模式之試題特徵曲線的基本形狀. 25. i. i. 註: ai 是鑑別度參數, bi 是難度參數, ci 是猜測度參數, di 是疏忽參數, D  1.7 。. c. i. i.

(44) 在 GSP 表分析法中,學生灰關聯分析數值或試題灰關聯分析數值只是一種 順序量尺。依照這種量尺只可以比較各個學生成績高低。兩位學生灰關聯分析 數值的差異沒有意義。因此,Nagai 在 2010 年提出 RaschGSP 分析法,也繼續發 展到 2015 年,成為 RaschGSP IRT 理論。RaschGSP IRT 理論的目的是把灰關聯 分析數值的順序量尺轉換成一個等距量尺,這方式可找出學生能力特徵值、試 題難度特徵值、全班成績特徵值與考卷難度特徵值。到目前為止,RaschGSP IRT 理論已有二參數模型與三參數模型。但是,這些模型只能在一個班級進行評 估與比較學生成績,不能比較多個班級(Sheu, Pham, Tsai, et al., 2014)。因此, 本研究提案以四參數 RaschGSP IRT 模型來兩班以上的成績。在進行學生灰關聯 分析前,需要把各班的學生成績合起來,成為一個大班,然後以大班的考試資 料來計算學生灰關聯分析數值。此時,任何學生的答題反應組型有共同參考數 列,所以可依照學生灰關聯分析數值比較不同班級的兩位學生的學習成就。但 是,常見的現象是在一個班級學生灰關聯分析的最少值大於 0,而學生灰關聯分 析的最大值小於 1。因此,以四參數 RaschGSP IRT 模型來分析資料比較適合。 RaschGSP IRT 理論的二參數模型、三參數模型輿四參數模型整理如表 2-6。 表 2-6 RaschGSP IRT 模型之 logit 轉換數學公式 參數. 學生的RaschGSP IRT模型 試題的RaschGSP IRT模型  (i)   ( j)  log S  D S (xS  S ) log P 二參數    D P (xP  P ) 1  S (i)  1  P ( j)   S (i)   S   P ( j)   P      1  1  P      D P (xP   P ) log  D  ( x   ) log 三參數 S S S  1  S (i)   S   1  P ( j)   P  1 S  1  P     S (i)   S   P ( j)   P          S S P P      D P (xP   P ) log  D  ( x   ) log 四參數 S S S  1  S (i)   S   1  P ( j)   P  S   S  P   P    註:  、  、  、  、  、  、  與  是各參數, D  1.7 。 P P S S S P S P i. j. i. j. i. j. 資料來源:研究者整理。. 26.

參考文獻

相關文件

The International Conference on Innovation and Management 2012 (IAM 2012) is an annual conference on Innovation and management since 1999, organized and sponsored by the

Lange, “An Object-Oriented Design Method for Hypermedia Information Systems”, Proceedings of the Twenty-seventh annual Hawaii International Conference on System Sciences, 1994,

Hsueh (1996), “A Dynamic User-Optimal Route Choice Problem Using a Link-Based Variational Inequality Formulation,”. Paper Presented at The 5th World Congress of the RSAI

When? Where? What? A Real-Time System for Detecting and Tracking People.’’ Proc. International Conference on Face and Gesture Recognotion, April, pp. Pentland, “Pfinder:

(英文) The Sixth International Conference on Intelligent Information Hiding and Multimedia Signal Processing (IIHMSP 2010). 發表 論文

 神經系統 (nervous system) 由解剖構造與胚胎發育來源上可分為中樞神經系統 (central nervous system - CNS) 及周圍神經系統 (peripheral nervous system -

Moriya-cho, Kanagawa-ku, Yokohama-shi, Kanagawa(2001), “A Human Interface Design of Multiple Collision Warning System,” Paper presented at the International Symposium on

In this paper, we first applied grey relational analysis and grey prediction of grey system theory to analyze the ranking of IT industry competitiveness and e-readiness of