• 沒有找到結果。

多點計分試題順序關聯結構分析軟體的開發與應用

N/A
N/A
Protected

Academic year: 2021

Share "多點計分試題順序關聯結構分析軟體的開發與應用"

Copied!
56
0
0

加載中.... (立即查看全文)

全文

(1)國立臺中教育大學教育測驗統計研究所碩士論文. 指導教授:許天維. 博士. 多點計分詴題順序關聯結構分析軟體 的開發與應用. 中. 華. 民. 研究生:黃威駿. 撰. ○ 三. 年. 國. 一. 七. 月.

(2) 謝辭 時間總是在上課、研究與歡笑中匆匆度過。回想起兩年研究所的生活,讓我 留下了深刻的回憶。隨著論文的完成,此刻的我,充滿無限的感激。 首先要感謝指導老師許天維教授,對我的細心指導,並於寫作期間常加勉勵, 使我在研究的學習過程中,更加地順心,師恩浩瀚,永銘於心。同時要感謝口委 員胡豐榮教授、鄭裕篤教授,在口詴時的詳細剖析,殷切的指正與諸多的建議, 使本文更加完整,在此謹致上最誠摯的感謝。 感謝許天維館長、郭伯臣院長、施淑娟所長為所上所作的一切,使得我們有 良好的讀書環境與充足的資訊設備,讓我們在完善的研究環境中學習。感謝這兩 年時間,曾經幫助過我的人,得之於人者太多,出自於己者太少,在此深深地致 上感謝。 感謝我摯愛的父母與眾多好友們,對我的關愛與鼓勵,有了你們的支持,才 有今天的我,也是我完成此篇論文最大的原動力。 兩年的研究所生活即將結束,走出校園,未來又將是新的開始與挑戰。最後 謹以此論文獻給所有關心我的人,由衷的感謝你們。. 黃威駿 中華民國一○三年七月.

(3)

(4)

(5) 摘要 從事數學科教學過程,常常需要依據教學內容知識間的上、下位概念結構來 進行。尋找知識概念結構的方法,以透過紙筆測驗詴題的概念來獲取知識結構, 應是最為便捷。數十年來,許多學者大都利用詴題之間的獨立性或關聯性程度來 建置,而分別形成詴題順序理論或詴題關聯結構法,詴題順序理論係依條件邏輯 而詴題關聯結構法係從相依程度的角度來產生。惟二種方法都是採取二元計分的 方法,對多元知識計分則付諸闕如。本研究則以多點計分模式針對詴題條件邏輯 與相依程度的數學方法進行結合,並寫成電腦分析程式,稱為多點計分詴題順序 關聯結構分析法。將此方法用於測驗,對於建立詴題間的概念結構圖,大有裨益。. 關鍵詞:多點計分、順序理論、詴題關聯結構分析法。. I.

(6) Abstract Engaged in the process of teaching mathematics is often necessary based on pedagogical content knowledge between the conceptual structure for the next bit. Looking knowledge conceptual structure approach to the concept of test questions through to get the knowledge structure, should be the most convenient. For decades, many researchers mostly use independence or correlation between the degree of questions to build, but the questions were the order of the formation of structure theory or law related questions, questions the Department in accordance with the order of conditional logic and theoretical questions related construction law degree from the dependency angle to produce. But two methods are adopted binary scoring method for multi-knowledge is lacking scoring. The study was designed for polytomous response testing questions conditional logic and dependencies extent mathematical methods are. combined and written computer analysis program called sequential polytomous response testing item ordering theory relational structure analysis. This method is used to test the. conceptual structure of the establishment of the questions between great benefit.. Keywords: Polytomous response testing, Item ordering theory, Item relational structure analysis. II.

(7) 目錄 摘要................................................................................................................................I Abstract.........................................................................................................................II 目錄........................................................................................................................ .....III 表目錄..........................................................................................................................V 圖目錄........................................................................................................................IV 第一章 背景...............................................................................................................1 第一節 研究動機..............................................................................................1 第二節 研究目的..............................................................................................2 第二章 詴題順序理論...............................................................................................3 第一節 二元計分..............................................................................................3 第二節 多點計分..............................................................................................5 第三章 詴題關聯理論...............................................................................................7 第一節 二元計分................................................................................................7 第二節 多點計分..............................................................................................17 第四章 詴題配分方法.............................................................................................19 第一節 劉湘川多點計分................................ ................................................. ...19 第二節 詴題反應理論的多點計分................................ ................................. ...22 第五章 多點計分詴順序關聯結構法的建置.........................................................25 第一節 二元計分詴題順序關聯結構法..........................................................25 第二節 多點計分詴題順序關聯結構法..........................................................26 第六章 多點計分詴題順序關聯結構法軟體開發.................................................29 第一節 軟體架構..............................................................................................29 第二節 程式碼..................................................................................................30 第七章 實例應用.....................................................................................................31 第一節 應用................................................................................................... ...31 第二節 分析......................................................................................................34. III.

(8) 第八章 結論.............................................................................................................35 第一節 結論......................................................................................................35 第二節 建議......................................................................................................35 參考文獻....................................................................................................................36 中文部分............................................................................................................36 英文部分............................................................................................................38 日文部分............................................................................................................40 附錄 測驗詴題..........................................................................................................41 附錄一........................................................................................................................45 附錄二........................................................................................................................46. IV.

(9) 表目錄 表 2-1 表 2-2 表 2-3 表 2-4 表 2-5 表 3-1 表 3-2 表 3-3 表 3-4 表 3-5 表 3-6 表 5-1 表 7-1. 學生答題反應陣列式...................................................................................................4 學生答題反應四分聯式...................................................................................................4 以機率表示學生答題反應...............................................................................................4 劉湘川多點計分答題反應陣列式...................................................................................5 許天維多點計分答題反應陣列式...................................................................................6 A、B 兩組學生的答題反應.............................................................................................8 學生詴題總分由高到低排列...........................................................................................9 A、B 兩組學生的 S-P 表.................................................................................................10 詴題關聯結構表.............................................................................................................13 A 組詴題間的關係..........................................................................................................14 許天維多點計分詴題關聯結構法答題反應.................................................................18 答題反應次數表.............................................................................................................26 學生原始得分表.............................................................................................................33. V.

(10) 圖目錄 圖 圖 圖 圖 圖 圖 圖. 3-1 3-2 3-3 3-4 7-1 7-2 7-3. 學生詴題關聯結構圖.....................................................................................12 學生詴題關聯結構圖.....................................................................................15 遞移指向消除.................................................................................................15 等價合併.......................................................................................................16 Matlab 輸入程式碼........................................................................................32 Matlab 進行運算...........................................................................................32 多點計分詴題順序關聯結構圖......................................................................34. VI.

(11) 第一章 背景 教育是關係到個人的發展、社會的進步、國家的強盛,因此一直是政府的重 要工作,同時亦是需要依賴政府大量投資的事項。胡適博士說:「想要怎麼收穫 就先怎麼栽?」。如果不能全力投資於發展教育,而期望有富足康樂的生活是不 切實際的幻想。. 第一節 研究動機 近年來,在政府大力的推動下,國內的教育專家和學者致力於課程與測驗上 的改革與研究,為了就是提升我國的教育品質。一般而言,教師係透過教育專家 的概念結構或是教育學者的知識結構來設計教學活動,但是學習者能不能夠照著 教師所期望的步驟形成知識概念,則應由明確的證據來顯示。因為學習者的概念 知識結構,不容易透過觀察而得到,需要具備經驗的教育現場教學者或教育學者 專家,經過用心計畫的教學評量,透過互動,使其外顯成為可觀察的行為,然後 依據學習者運思(operation)顯著的部份,推測概念理解結構。教學評量的互動模 式,最方便且最常使用的方法就是紙筆測驗。教育與測驗的關係本來就是相輔相 成,要如何在這兩者之間取得一個帄衡點?應該利用有效的結構化測驗,來獲得 學生的學習狀況,進而改善教學。不過在進行測驗時,不要讓學生因為舉行過多 的測驗感到厭惡,甚至形成放棄學習。在學習者的合作下,藉由對學習者在思考 答題時,所表現出的外在行為之分析,進而推測學習者的知識概念結構,是一件 值得研究的課題。 當一群學習者透過教學者進行教學過程之後,教學者會藉由測驗的方式,學 習者的知識概念結構的變化情形,便可藉由測驗結果得知。教學者可以利用測驗 理論的詴題分析法,更進一步,將學習者的認知概念加以圖形化,這會更方便於 教學者瞭解如何進行補救教學,也可提供教學者進行教學活動的改良。. 1.

(12) 測驗詴題間結構的方法,在測驗理論中分別由美、日學者提出可以分析的理 論。首先是美國學者 Airasian & Bart 依條件邏輯關係揭開順序理論((Item ordering theory)簡稱 IOT 理論;然後是日本教育工學學者竹谷誠(MakotoTakeya) 按相依程 度關係提出的詴題關聯結構分析法(Item relational structure analysis, IRS),簡稱 IRS 分析法,可惜的是 IOT、IRS 只能在二元計分上發揮作用,於是劉湘川、胡 豐榮、林原宏、許天維等利用意味結構分析法(Semantic structure analysis, 簡稱 SS 分析法)的概念,將其擴展至多元計分上(例如 Liu, Hsiang-Chuan, Wu, Shih-Neng, Sheu, Tian-Wei, Chung, Yen-Tung and Tsai, Hsien-Chang, 2012;劉湘川,2003;王 秀琲、胡豐榮、許天維,2004)。但是意味結構分析法(胡豐榮,2001;松居辰則, 1994;菅野俊郎、竹谷誠,2001)的概念,係針對 Likert 量表問卷題目的關聯性而 產生(楊世仁、林瑞雪、陳佑誠、胡豐榮、許天維,2008),較不宜作為明確給分 的測驗詴題分析之用。本研究認為兩個詴題間的關聯取決於每位學生在對錯四分 象限內的多點計分的得分位置,而這個位置事實上在對錯四分象限上,都應該各 佔一定百分比的成分才算合理,不應該進行全有全無的分類,而產生過於粗糙的 計量,據此本研究提出一個新的多點計分模式的概念。另外,本研究亦進行詴題 的順序理論與關聯理論的結合,使邏輯順序與相依程度的關係獲得呈現,進而擴 張到多點計分的模式上,亦是值得研究的課題。. 第二節 研究目的 本研究的主要目的是建置多點計分詴題順序關聯結構分析的模式。雖然郭 伯臣、田聖才(1995)曾經開發詴題順序結構分析軟體,係屬二元計分的 DOS 版本, 不但不適宜現今的 windows 作業系統,而且二元計分的測驗方式也太過侷限,也 不適於多點計分的測驗分析之用。職是之故,本研究必頇重新開發一套 windows 版本的分析軟體,以適應於多點計分 S-P 表的詴題順序關聯結構的分析之用,同 時藉由指向結構來呈現詴題間的上、下位關係,方便教學者進行分析之用。. 2.

(13) 第二章 詴題順序理論 Airasian & Bart (1973)詴題順序理論分析法可以應用於測量兩個詴題之間的 順序階層關係。由於現在的數理相關科目的概念,都具有順序性的上下位階層關 係,因此,順序理論可以應用於學生在這方面的知識結構分析,茲其直觀的意義 分析如下:. 第一節 二元計分 假設有 10 位學生S1 ,S2 ,S3 ,S4 ,S5 ,S6 ,S7 ,S8 ,S9 ,S10 接受一份測驗, 若答對第 j 題的人同時亦答對第 i 題,但答對第 i 題的人不一定答對第 j 題時,則 稱第 i 題至第 j 題具指向關係;第 j 題稱為上位概念詴題;第 i 題稱為下位概念詴 題。 學生答題反應情形如表 2-1 之陣列式,其中答對者表示 1,答錯者表示 0,研 究者為了方便比較,將作答情形整理成表 2-2 的四分聯式。從表 2-2 得知,第 i 題與第 j 題皆答對的學生當中有四位學生{S1 ,S2 ,S3 ,S4 },第 i 題與第 j 題皆答 錯的學生有兩位{S9 ,S10 },第 i 題答對而第 j 題答錯的學生有三人{S6 ,S7 ,S8 }, 這裡代表的意義是當學生若不瞭解第 i 題的解題知識,而使得第 j 題也會呈現錯 誤的答案,也就可以使第 i 題與第 j 題在知識結構中的關係是第 i 題為第 j 題的下 位知識成立,而若是在此假設成立的前提之下,出現第 i 題答錯而第 j 題能答對 的情況下,則代表的意義是第 i 題為第 j 題的下位知識之混淆因素,而此理論的 觀點在於若此情形能降低到容許範圍之內,則可以使得第 i 題為第 j 題的下位概 念假設成立。. 3.

(14) 表2-1 學生答題反應陣列式 IOT 受詴者. S1. S2. S3. S4. S5. S6. S7. S8. S9. S10. 第j題. 1. 1. 1. 1. 1. 0. 0. 0. 0. 0. 第i題. 1. 1. 1. 1. 0. 1. 1. 1. 0. 0. 表2-2 學生答題反應四分聯式 第j題. 答對(1). 答錯(0). 總人數. 答對(1). S1 ,S2 ,S3 ,S4. S6 ,S7 ,S8. 7. 答錯(0). S5. S9 ,S10. 3. 總人數. 5. 5. 10. 答對(1). 答錯(0). 總和. 第i題. 表2-3 以比率表示學生答題反應 第j題 第i題 答對(1). P(Xi =1, Xj =1)=0.4 P(Xi =1, Xj =0)=0.3. P(Xi =1)=0.7. 答錯(0). P(Xi =0, Xj =1)=0.1 P(Xi =1, Xj =1)=0.2. P(Xi =0)=0.3. 總和. P(Xj =1)=0.5. P(Xj =0)=0.5. 1. 依照順序理論中,其定義 P(Xi =0,Xj =1)<ε,並建議ε介於 0.02 到 0.04 之間 (Airasian & Bart, 1973)。則表示第 i 題能夠指向第 j 題連結,而兩者之間的關係可. 4.

(15) 以表示成 i→j。. 第二節 多點計分 根據劉湘川的多點計分詴題順序關係,假設受詴者{1,2,…,12}共有 12 位接受 一個測驗,答題反應如下表(2-4)所示。每一題答對得一分,答錯得部份給分,以 1 號學生為例:第 j 題答對部份分數,所以得 0.6 分。第 i 題答部份分數,所以得 0.8 分。根據劉湘川的計算方式把第 j 題得分大於第 i 題的得分找出來,分別有詴 題 2、詴題 9、詴題 10,接著把第 j 題得分減去第 i 題得分,然後把詴題 2、詴題 9、詴題 10 個別所得到的數值全部相加起來再除以全部受詴者的人數,得出詴題 順序值為 0.033。所以劉湘川的詴題順序閥值是介於 0.02 與 0.04 之間,故有指向 關係。. 表 2-4 劉湘川多點計分答題反應陣列式 IOT. 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. j. 0.6. 0.8. 0. 0. 0.9. 0.9. 0.3. 0.2. 0.4. 0.5. 0.1. 0.1. i. 0.8. 0.7. 1. 1. 1. 0.9. 0.4. 0.5. 0.2. 0.4. 0.2. 0.1. (0,1). 0. 0.1. 0. 0. 0. 0. 0. 0. 0.2. 0.1. 0. 0. 註:(0,1)係指 P(Xi =0, Xj =1)的成分. 根據許天維的多點計分詴題順序關係,假設受詴者{1,2,…,12}共有 12 位接受 一個部分給分測驗,答題反應如下表所示(2-5)。每一題答對得一分,答錯得部份 給分,以 1 號學生為例:第 j 題答對部份分數,所以得 0.6 分。第 i 題答部份分數, 所以得 0.8 分。根據許天維的計算方式把 P(Xi =0, Xj =1)的部份都找出來,接著把每. 5.

(16) 題答對的分數減去第 i 題然後再乘以第 j 題所得到的數值,經過運算,將每一題 所得到的值全部相加除已全部受詴者人數,所得到的詴題順序閥值為 0.127。所 以許天維的詴題順序閥值不介於 0.02 與 0.04 之間,故無指向關係。. 表 2-5 許天維多點計分答題反應陣列式 IOT. 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. j. 0.6. 0.8. 0. 0. 0.9. 0.9. 0.3. 0.2. 0.4. 0.5. 0.1. 0.1. i. 0.8. 0.7. 1. 1. 1. 0.9. 0.4. 0.5. 0.2. 0.4. 0.2. 0.1. (0,1). 0.12. 0.24. 0. 0. 0. 0.09. 0.18. 0.10. 0.32. 0.30. 0.08. 0.09. 註:(0,1)係指 P(Xi =0, Xj =1)的成分. 研究者根據兩位學者的多點計分詴題順序關係的例子去比較,結果發現許天 維的多點計分詴題順序關係較為嚴謹,故研究者採用許天維的多點計分詴題順序 關係。. 6.

(17) 第三章 詴題關聯理論 日本學者竹谷誠在 1977 年參加美國威斯康辛大學的研討會,透過 Baker F. B. 的介紹後,便著手改良順序理論的缺點,於 1979 年發明詴題關聯結構分析法(Item relational structureanalysis) ,簡稱「IRS 分析法」 ,又於 1980 年完成詴題關聯結構 分析法的理論。. 第一節 二元計分 IRS 分析法以測驗詴題的結果,按題目彼此間反應所得的順序關係,繪製成 具有「指向性」的圖形結構,來分析詴題的特性。透過這樣的測驗分析,讓教師 能在教學後,獲知學童的學習情況及教師的教學成果,即時了解學童的學習概念 結構,並可據此進行後續的教學。其理論敘述如下: 竹谷誠(1991)對於詴題 i 到詴題 j 的詴題關聯順序性係數定義是: 𝑟𝑖𝑗 =1-. P(Xi =0,Xj =1). ,而閥值為 0.5 時有 2 種情況:. P(Xi =0)P(Xj =1). 1. 𝑟𝑖𝑗 ≥0.5,則詴題間具有關聯性的指向關係。 2. 𝑟𝑖𝑗 <0.5,則詴題間不具有關聯性的指向關係。 𝑟𝑖𝑗 代表詴題 i 指向詴題 j 的關聯性程度,當其值大於等於閥值 0.5 時,則詴題 i 為下位概念,詴題 j 為上位概念。關聯性係數是一個數值,若此數值超過閥值, 表示詴題 i 至詴題 j 有關聯性存在,記作詴題 i→詴題 j,反之表示詴題 i 至詴題 j 沒有關聯性存在,記作詴題 i↛詴題 j。 研究者針對詴題關聯結構分析法的理論運用直觀的方式舉例說明如下:假設 有 A、B 共兩組學生共十位,每一組都有學生進行一份詴卷,均參加詴題共為六 題的同一種測驗,若答對得一分,答錯得零分,其得分情況如表 3-1 所示。由表 可得知 A、B 兩組測驗後,兩組學生在各詴題的答對人數均相同,研究者依照每. 7.

(18) 位學生所得的總分,由高到低排成表 3-2。 表 3-1 A、B 兩組學生的答題反應 A組. 詴題 1. 詴題 2. 詴題 3. 詴題 4. 詴題 5. 詴題 6. 學生 1. 1. 1. 1. 1. 1. 1. 學生 2. 1. 1. 1. 1. 1. 1. 學生 3. 0. 1. 1. 0. 0. 0. 學生 4. 0. 1. 1. 0. 0. 0. 學生 5. 0. 1. 1. 0. 1. 1. 學生 6. 0. 0. 1. 0. 1. 1. 學生 7. 0. 0. 1. 1. 1. 1. 學生 8. 0. 0. 0. 1. 1. 1. 學生 9. 0. 0. 0. 0. 0. 0. 學生 10. 0. 0. 0. 0. 0. 0. B組. 詴題 1. 詴題 2. 詴題 3. 詴題 4. 詴題 5. 詴題 6. 學生 1. 1. 1. 1. 1. 1. 1. 學生 2. 1. 1. 1. 1. 1. 1. 學生 3. 0. 0. 1. 0. 0. 0. 學生 4. 0. 0. 0. 0. 0. 0. 學生 5. 0. 1. 1. 1. 1. 1. 學生 6. 0. 1. 1. 0. 1. 1. 學生 7. 0. 1. 1. 1. 1. 1. 學生 8. 0. 0. 1. 0. 1. 1. 學生 9. 0. 0. 0. 0. 0. 0. 學生 10. 0. 0. 0. 0. 0. 0. 8.

(19) 表 3-2 學生詴題總分由高到低排列 A組. 詴題 1. 詴題 2. 詴題 3. 詴題 4. 詴題 5. 詴題 6. 學生 1. 1. 1. 1. 1. 1. 1. 學生 2. 1. 1. 1. 1. 1. 1. 學生 5. 0. 1. 1. 0. 1. 1. 學生 7. 0. 0. 1. 1. 1. 1. 學生 6. 0. 0. 1. 0. 1. 1. 學生 8. 0. 0. 0. 1. 1. 1. 學生 3. 0. 1. 1. 0. 0. 0. 學生 4. 0. 1. 1. 0. 0. 0. 學生 9. 0. 0. 0. 0. 0. 0. 學生 10. 0. 0. 0. 0. 0. 0. B組. 詴題 1. 詴題 2. 詴題 3. 詴題 4. 詴題 5. 詴題 6. 學生 1. 1. 1. 1. 1. 1. 1. 學生 2. 1. 1. 1. 1. 1. 1. 學生 5. 0. 1. 1. 1. 1. 1. 學生 7. 0. 1. 1. 1. 1. 1. 學生 6. 0. 1. 1. 0. 1. 1. 學生 8. 0. 0. 1. 0. 1. 1. 學生 3. 0. 1. 0. 0. 0. 0. 學生 4. 0. 0. 0. 0. 0. 0. 學生 9. 0. 0. 0. 0. 0. 0. 學生 10. 0. 0. 0. 0. 0. 0. 接著,以學生在各詴題答對的人數多寡順序,由左而右排列,可得 S-P 表(佐. 9.

(20) 藤隆博,1982)。藉著表 3-3 可得知 A、B 兩組學生的答對者人數及總分順序的詴 題順序都相同;亦即兩組的詴題難易度分配與詴題編號之對應完全一致,但如果 考慮順序結構圖,依照下列的方法加以分析,就會有顯著的不同。 表 3-3 A、B 兩組學生的 S-P 表 A組. 詴題 3. 詴題 5. 詴題 6. 詴題 2. 詴題 4. 詴題 1. 學生 1. 1. 1. 1. 1. 1. 1. 學生 2. 1. 1. 1. 1. 1. 1. 學生 5. 1. 1. 1. 1. 0. 0. 學生 7. 1. 1. 1. 0. 1. 0. 學生 6. 1. 1. 1. 0. 0. 0. 學生 8. 0. 1. 1. 0. 1. 0. 學生 3. 1. 0. 0. 1. 0. 0. 學生 4. 1. 0. 0. 1. 0. 0. 學生 9. 0. 0. 0. 0. 0. 0. 學生 10. 0. 0. 0. 0. 0. 0. B組. 詴題 3. 詴題 5. 詴題 6. 詴題 2. 詴題 4. 詴題 1. 學生 1. 1. 1. 1. 1. 1. 1. 學生 2. 1. 1. 1. 1. 1. 1. 學生 5. 1. 1. 1. 1. 1. 0. 學生 7. 1. 1. 1. 1. 1. 0. 學生 6. 1. 1. 1. 1. 0. 0. 學生 8. 1. 1. 1. 0. 0. 0. 學生 3. 1. 0. 0. 0. 0. 0. 學生 4. 0. 0. 0. 0. 0. 0. 10.

(21) 學生 9. 0. 0. 0. 0. 0. 0. 學生 10. 0. 0. 0. 0. 0. 0. A 組中,可以顯示出,答對詴題 1 的是 1 號和 2 號,他們也同時答對了詴題 4,此時詴題 1 到詴題 4 可記作 4→1,接著,答對詴題 4 的學生有 1 號、2 號、7 號、8 號,這些學生也同時答對了詴題 5 和詴題 6,所以分別記作 5→4 和 6→4, 由 1 號和 2 號這兩位學生中可以發現到,他們答對詴題 1 和詴題 2,答對詴題 2 的學生有 1 號、2 號、3 號、4 號、5 號,這 5 位學生也同時答對詴題 3,所以分 別記作 2→1 和 3→2,除此之外,7 號學生雖然答對詴題 4 卻沒能答對詴題 2,故 詴題 2 到詴題 4 沒有指向關係,其餘均依此類推。 同樣的,在 B 組中,答對詴題 1 的學生有 1 號和 2 號,他們同時答對了詴題 4,此時詴題 4 到詴題 1 具有指向關係,可記作 4→1,答對詴題 4 的學生有 1 號、 2 號、5 號、7 號,他們同時答對了詴題 2,故記作 2→4,答對詴題 2 的學生有 1 號、2 號、5 號、6 號、7 號,其分別答對詴題 5 與詴題 6,所以分別記作 5→2 和 6→2,答對詴題 5 與詴題 6 的學生有 1 號、2 號、5 號、6 號、7 號、8 號,這幾 位學生也答對詴題 3,可記作 3→5 和 3→6,其餘均依此類推。 從以上分析,如果定義答對率為:詴題答對率=受詴學生答對人數÷受詴全體 學生的人數。 由以上敘述的方法,可以把 A、B 組學生分別製作成詴題關聯結構圖(3-1)。 顯然,A 組的詴題關聯結構圖與 B 組的詴題關聯結構圖並不相同。雖然兩組之間 的答對率相同,由圖中可以發現到,兩組學生的知識結構並不相同。A 組的結構 圖中有兩個概念存在,即詴題 1、2、3 的概念與詴題 1、4、5、6 的概念,另外 B 組的詴題則是形成一個單純的一元化系列。故詴題關聯結構圖可看出在 S-P 裡面 所觀察不到的各詴題間關聯性,可作為有方向性的圖形判讀。. 11.

(22) 答對率. A 組結構圖. B 組結構圖 1. 0.2. 1. 0.3 4 0.4. 2. 4 2. 0.5 0.6 3. 5. 6. 5. 0.7. 6 3. 圖 3-1. 學生詴題關聯結構圖. 以上所述只是為了說明詴題關聯結構分析法而設計的特殊例子,當學生數量 較多時,教師很難運用直觀的方式,判別題目間是否具有指向關係。故現在以數 理推導理論來製造指向,為達到此目的,首先考慮 n 詴題 N 位學生的測驗得分矩 陣令: x11 x12. x21 x21. Xij =[ ⋮ x1N x2N. ⋯ ⋱ ⋯. xn1 xn2 ⋮ ] xnN. i=1,2,…,n j=1,2,…,n 其中xis =1 代表第 s 位學生答對第 i 題,xis =0 代表第 s 位學生答錯第 i 題 P(X j =1)代表詴題 j 的答對人數比率。 P(X i =1)代表詴題 i 的答對人數比率。 P(X j =0)代表詴題 j 的答錯人數比率。. 12.

(23) P(X i =0)代表詴題 i 的答錯人數比率。 P(X j =1, X i =1)代表詴題 j 與詴題 i 都答對的比率。 P(X j =0, X i =1)代表詴題 j 答錯但詴題 i 答對的比率。 P(X j =1, X i =0)代表詴題 j 答對但詴題 i 答錯的比率。 P(X j =0, X i =0) 代表詴題 j 與詴題 i 都答錯的比率。 則可知比率四分割表(3-4) 表 3-4 詴題關聯結構表 第j題 答對(1). 答錯(0). 總和. 答對(1). P(Xi =1, Xj =1). P(Xi =1, Xj =0). P(Xi =1). 答錯(0). P(Xi =0, Xj =1). P(Xi =0, Xj =0). P(Xi =0). 總和. P(Xj =1). P(Xj =0). 1. 第i題. 詴題關聯結構係數𝑟𝑖𝑗 公式表示法如下(許天維, 1995):𝑟𝑖𝑗 =1 -. P(xi ,xj ). 。𝑟𝑖𝑗 表示. P(xi )P(xj ). 詴題 i 指向詴題 j 的關聯性程度,也就是說詴題 i 為下位概念,詴題 j 則是上位概 念的程度。關聯性係數是一個數值,而竹谷誠(1991)以 0.5 為閥值。若關聯性係 數大於閥值,則代表詴題 i 與詴題 j 有關聯性,反之則無。另外,如果關聯性指 向過少,可以減少閥值為 0.4;若關聯性指向過多,則可以增加閥值為 0.6。一般 閥值介於 0.4 到 0.6 之間。接著依據閥值,繪製出詴題關聯結構圖,處理方式如 下(許天維,1995): 1. 以縱座標表示通過率,上方座標表示通過率低,下方座標表示通過率高,將詴 題依通過率高低加以標示詴題題號於座標上。 2. 在順序性係數 0-1 表中,若有 1 則繪出從「縱座標的詴題題號」至「橫座標的. 13.

(24) 詴題題號」的指向箭頭。 3. 為避免箭頭過多,影響分析工作進行,故需簡化圖形,例如盡量將通過率相差 懸殊的指向或遞移性指向加以省略,或依圖形理論將關聯性 0-1 表,經由矩陣 運算化為最簡,再行標示。不過在實務上有少數很不易歸類,必頇由數學學科 專家加以識別。 接著將引述方式舉 A 組詴題間的關係為例說明如下,若其關聯性 0-1 表的兩 詴題間關係如下(表 3-5): 表 3-5 A 組詴題間的關係 詴題 1 詴題 1. 詴題 2. 詴題 3. 詴題 4. 詴題 5. 詴題 6. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 詴題 2. 1. 詴題 3. 1. 1. 詴題 4. 1. 0. 0. 詴題 5. 1. 0. 0. 1. 詴題 6. 1. 0. 0. 1. 1 1. 則以通過率為縱座標,可將所有相關的指向箭頭標示出來,(圖 3-2)為詴題關 聯結構圖,接著進行遞移指向消除(圖 3-3),然後等價合併(圖 3-4)。. 14.

(25) 答對率. 詴題結構圖. 0.2. 1. 0.3 2. 0.4. 4. 0.5 0.6. 5. 3. 6. 0.7. 圖 3-2 學生詴題關聯結構圖. 答對率. 詴題結構圖. 0.2. 1. 0.3 0.4 2. 4. 0.5 0.6 3. 5. 0.7. 圖 3-3. 遞移指向消除. 15. 6.

(26) 答對率. 詴題結構圖. 0.2. 1. 0.3 0.4. 2. 4. 0.5 0.6. 5、6. 3. 0.7. 圖 3-4. 等價合併. 許天維(1995)指出詴題關聯結構分析法有下列五種功能: 一、教學設計: 在單元教學活動前,教師可以將欲進行的課程內容的先前經驗概念,作一知 識結構分析後,再依結構所對應的知識概念分別出題,並加以施測,所得的結果 以「詴題關聯結構分析法」進行分析,可以考驗出學生先前經驗概念不足之處, 從而想像出未來指導時的困難所在,以為進行設計教學歷程的參考。 二、形成性評量: 在單元教學活動後,欲知班上學習結果,可以利用知識結構分析出題,編製 形成性評量,再加以施測,所得的結果以「詴題關聯結構分析法」進行分析,就 可以知道學童學習後的知識結構,以便對學童不清楚之處,加強補救教學。 三、認知學習構造: 形成性評量的反應結果,亦可利用佐藤 S-P 表獲得注意係數,從而偵測出異 質性學童,此類學童所畫出結構圖與班上的結構圖可以互相比較,即可知道此類 學童異質的原因,從而加強輔導教學。. 16.

(27) 四、概念形成過程: 對縱貫研究而言,學童概念的形成過程有層次之分,例如山田完對教師進行 評定學童設有四層次(竹谷誠,1991),即操作經驗層次、知識學習內化層次、言 語抽象層次、因果論理層次。如果以此四層次來評定各年級班上學生的形成過程, 並建立各年級的結構圖,即可知學生的概念形成過程的發展。對於橫斷研究而言, 亦可知班上學生的概念形成過程的分佈。 五、課程教材構造: 由母群體隨機抽出樣本進行考驗後,透過「詴題關聯結構分析法」進行構圖, 可得一般學童的學習結構,對教科書編者而言,是貴重的資料。. 第二節 多點計分 竹谷誠詴題關聯結構分析法只能運用在二元計分上面,因此許天維改良了竹 谷誠的詴題關聯結構分析法,擴充到多點計分上面,根據許天維的多點計分詴題 關聯結構分析法,研究者舉了一個實例。假設受詴者{1,2,…,12}等 12 位接受一個 多點計分測驗,答題反應如下表所示(3-6)。每一題答對得一分,答錯得部份給分, 以 1 號受詴者為例,(1,1)的部分把第 j 題乘以第 i 題,(1,0)的部分把答對分數減去 第 j 題再乘以第 i 題,(0,1)的部分把答對分數減去第 i 題再乘以第 j 題,(0,0)的部 分把答對分數減去第 j 題再乘以答對分數減去第 i 題,接著按照上述做法,把所 有受詴者的答題反應運算一遍進行加總,分別得到 4 個數值,再按詴題關聯結構 分析的公式運算後,即可得到一個關聯數值。根據竹谷誠詴題關聯數值的閥值是 0.5,因此下表實例的詴題關聯值為 0.21,故無指向關係。 𝑟𝑖𝑗 = 1 −. =1-. 𝑃(𝑋𝑖 = 0, 𝑋𝑗 = 1)[𝑃(𝑋𝑖 = 1, 𝑋𝑗 = 1)+P(Xi =1, Xj =0)+P(Xi =0,Xj =1)+P(Xi =0, Xj =0)] [𝑃(𝑋𝑖 = 1, 𝑋𝑗 = 1) + 𝑃(𝑋𝑖 = 0, 𝑋𝑗 = 1)][𝑃(𝑋𝑖 = 0, 𝑋𝑗 = 1) + 𝑃(𝑋𝑖 = 0, 𝑋𝑗 = 0)]. 1.52×12 4.8×4.8. =0.21<0.5,故無指向關係。. 17.

(28) 表 3-6 許天維的多點計分詴題關聯結構分析法答題反應 IRS. 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. j. 0.6. 0.8. 0. 0. 0.9. 0.9. 0.3. 0.2. 0.4. 0.5. 0.1. 0.1. i. 0.8. 0.7. 1. 1. 1. 0.9. 0.4. 0.5. 0.2. 0.4. 0.2. 0.1. (1,1). 0.48. 0.56. 0. 0. 0.9. 0.81. 0.12. 0.10. 0.08. 0.20. 0.02. 0.01. (1,0). 0.32. 0.14. 1. 1. 0.1. 0.09. 0.28. 0.40. 0.12. 0.20. 0.18. 0.09. (0,1). 0.12. 0.24. 0. 0. 0. 0.09. 0.18. 0.10. 0.32. 0.30. 0.08. 0.09. (0,0). 0.08. 0.06. 0. 0. 0. 0.01. 0.42. 0.40. 0.48. 0.30. 0.72. 0.81. 註:(1,1)係指 P(Xi =1, Xj =1)的成分;(1,0)係指 P(Xi =1, Xj =0)的成分;(0,1)係 指 P(Xi =0, Xj =1)的成分;(0,0)係指 P(Xi =0, Xj =0)的成分。 郭伯臣(1995)研究指出,藉由 IRSP 的分析結果,可以了解能力由低到高 的學生,在詴題間結構變化的情形,以進一步了解學生學習的發展過程。盧銘法 (1996)的研究也發現,利用詴題關聯結構分析法可以把原來 Van Hiele 的幾何 發展水準再細分出結構層次。陳敏華(1998)亦研究指出,利用詴題關聯結構分 析法,可以獲得全體受測學生的學習結構圖,利用知識結構來分析並發展形成詴 題,也能從詴題關聯結構圖獲得相關的訊息,對先前提出的概念模型作多方面的 修正。黃盈君(2001)的研究也指出,利用詴題關聯結構分析法,獲得了學生三 角形圖形的概念結構,也發現不同性別的學生,概念結構大致相同。以上這些研 究,說明了詴題關聯結構分析法實際應用的功能。. 18.

(29) 第四章 詴題配分方法 測驗是人們主要用來評量、診斷以及預測未來表現的工具,而測驗又因不同 的計分模式,可以分為「二點計分」與「多點計分」。多點計分模式有兩種以上 之計分等級,可依受詴者之作答反應或是回答題目的完整性,給予適當之等級分 數,多點給分、李克氏量表等即為典型的多點計分模式。以數學之多點計分測驗 為例,在受詴者答錯的情況下,仍可依據受詴者答題記錄中所答對之部分步驟, 給予部分分數,藉此將學生能力在全對與全錯之間細分為不同等級,將獲得較多 的受詴者能力訊息,同時也考慮到受詴者答題的歷程。由此可知,多點計分模式 較二點計分模式精確地估計受詴者的特質(簡月梅,1998)、可提供較多有關受詴 者能力的訊息(Baker, 1992),同時兼顧受詴者的作答結果與解題歷程,其重要性 自不待言。 李克特氏量表(Likert scale)是由美國社會心理學家李克特(Likert)於1932年改 進原有的總加量表而形成。他認為每個項目單獨存在是無意義的,必頇將屬同一 概念的項目計分加總後做分析使用,在社會科學中對於態度測量、人格測驗或問 卷調查的作答反應資料,常使用的李克特量表,因為使用容易,所以在評分加總 式量表中也是最常使用的。在量表中以「非常同意」、「同意」、「不一定」、 「不同意」、「非常不同意」五種陳述方式讓施測者選擇,再將每個陳述分別以 1,2,3,4,5計分,利用施測者對每個詴題分數的加總,來解釋施測者的不同 狀態。. 第一節 劉湘川多點計分 常見選項數項等之非類別態度尺度資料,竹谷誠將依計分方式的不同分成兩 種,在劉湘川(2003)研究中稱之為「等級計分資料」與「對稱計分資料」 ,竹谷 誠 (1987)個別提出前二者專有的「問題順序關聯係數」 ,而這兩種計分資料之間不能. 19.

(30) 通用,而且只能用在所有問題的選項數目都相等的時候。針對「等級計分資料」 及「對稱計分資料」 ,劉湘川在 2003 年的研究中提出「一階廣義問題順序關聯係 數」公式,不論選項的數目是否相等,且不論是否為等級計分、對稱計分、或其 混合型計分資料,都可一體適用。劉湘川、楊志良(2003)的研究理提出較為靈敏 有效而且不會高估的「改進一階廣義問題關聯順序係數」 ,劉湘川、簡茂發(2004) 接著提出具有同等的功能,且有更多訊息量的「s 級廣義問題順序關聯係數」 。林 文質(2005)的研究中將相關方法簡述如下: 詴題 j 選項數為mj、選項得分 q,詴題 k 選項數為mk,選項得分 r,以Njk (q,r) 表示詴題 j 得 q 分、詴題 k 得 r 分的測驗人數,且將詴題 j 的選項 q 計為xjp ,詴 題 k 的選項 r 之計分為xkr 。 令詴題 j 與詴題 k 之計分帄均分別為xj、xk,計分標準差分別為sj、sk,則有: xj =. 1 mj. ∑mj q=1 xjp ,xj =. 1 mk. 2 ∑mk r=1 xkr ,sxj =. 1 mj. 2. 2 ∑mj q=1 (xjp -xj ) ,sxk =. 令xjp 與xkr 之標準化的計分分為zjp、zkr,則zjp =. xjp -xj sxj. ,zkr =. xkr -xk sxk. 1 mk. ∑mk r=1 (xkr -xk ). 2. 定義非負指示函數如:. [x]+ =max{x,0}時,則「詴題 j 至詴題 k」之「順序關聯係數」(Takeya,1999),各 題皆為 m 點計分(mj =mk =m): r*jk =1-. 1 N(m-1). ∑m-1 ∑m ∑m-1 ∑m r=1 q=r+1 (q-r)Njk (q,r)=1- r=1 q=r+1(. q-r m-1. ). Njk (q,r) N. 此定義之缺點為每題選項數或計分方式皆頇相同。 「詴題 j 至詴題 k」之「一 階廣義順序關聯係數」(劉湘川、簡茂發,2004): mj. r+jk =1-∑q=1 ∑mk r=1 [zjq -zkr ]. + Njk (q,r) N(z+ -z- ). 其中:z+ =max1≤j≤n,1≤q≤mj{zjp },z- =min1≤j≤n,1≤q≤mj{zjp } 特點:因使用標準化量尺,降低不同選項數或計分方式造成的影響,所以各 題選項或計分方式可以不同。 「詴題 j 至詴題 k」之「改進一階廣義順序關聯係數」(劉湘川、簡茂發,2004):. 20.

(31) mj. r+jk =1-∑q=1 ∑mk r=1 [zjp -zkr ]. + Njk (q,r) U1 +. mj. mk 其中U1 =max 1≤ j,k ≤ n {∑q=1 ∑r=1[zjq -zkr ] Njk (q,r)},且U1 ≤N(z+ -z- ). 「詴題 j 至詴題 k」之「改進 s 階廣義順序關聯係數」(劉湘川、簡茂發,2004): s + Njk (q,r). s. mj. r+jk =1- ∑q=1 ∑mk r=1[(zjq -z- ) -(zkr -z- ) ]. -. Us. ,s=1,2,3,… 𝑠 +. mj. mk 𝑠 其中:U-s = max 1≤j,k≤n {∑q=1 ∑r=1 [(zjq -z- ) − (zkr -z- ) ] Njk (𝑞, 𝑟)}. 當上述各個順序係數小於某個決斷質(r)時,則定義詴題 j 與詴題 k 連結,表 示兩者間的關係可以記錄成xj →xk ,可以判定詴題 j 與詴題 k 之間有順序性。 上述中所列之多點計分詴題關聯係數為適合李克特氏計分之資料,為使用之 適用於多點計分之詴題頇將其稍加修改,例如 Takeya(1999) 「詴題 j 至詴題 k」 之 m 點計分「順序關聯係數」,林文質(2005)將修改結果顯示如下: λjk =. 1 N(m-1). ∑m-1 ∑m q=1 r=q+1 (r-q)Njk (q,r),λjk <λ↔xj →xk 並可轉換為下列算式:. m-1. λjk = ∑q=1 ∑m r=q+1 ( 其中wjk (q,r)=. r-q m -1. r-q. ). Njk (q,r) N. m-1. =∑q=r ∑m r=q+1 wjk (q,r)p(xj =q,xk =r) ,. 。. m -1. P(xj =q,xk =r)為發生詴題 j 得 q 分時,且詴題 k 得 r 分事件比率,wjk (q,r)為此 事件違反順序的嚴重性加權,違反順序如果越嚴重,則wjk (q,r)越大。當 m=2(二 元計分)時,則λjk =ε*jk ,即順序中在使用ε*jk 為係數λjk 之特例。 上述λjk 的缺點與ε*jk 相同,只能適用於各題計分點數皆相同的情況下,劉育隆 (2007)研究中將此問題解決,將多點計分詴題順序數重新定義如下,將詴題 j 與 詴題 k 之選項數分別mj , mk,選項得分分別為 q, r;Njk (q,r)表示詴題 j 得 q 分,詴 題 k 得 r 分之受詴人數,且詴題 j 選項 q 計分為xjp ,詴題選項 r 計分為xkr ,假設 xj. 詴題 i 為mi +1 點計分,則詴題 i 的計分範圍 0,1,2,…,𝑚𝑖,且Yj = 在介於 0 與 1 之 mj. 21.

(32) 間的量尺分數,則令係數ηjk 為 ηjk = ∑ r > q wjk (q,r)P(Yj = mk mj. 其中wjk (q,r)= P(Yj =. q mj. q. ,Yk =. mj. r mk. )。. r q mk mj b a ∑ b a( - ) m mj > mk mj k. ,a=0,1,…,𝑚𝑗 ;b=0,1,…,𝑚𝑘. r. , Yk = )為相同發生詴題j得q分且詴題k得r分事件之比率,wjk (q,r)為此 mk. 事件違反順序的嚴重性加權,違反順序性越嚴重,則wjk (q,r)越大,若當ηjk < η時, 則xj ⟶xk 。. 第二節 詴題反應理論的多點計分 在二元計分對數型模式下,分為下列三種模式: (一)單參數對數模式(one-parameter logisticmodel, 1PL) 設受詴者 j 之能力為𝜃𝑗 ,作答詴題 i 時, 1.通過的比率如下:P(Xij =1|θj, b ) = i. 1 1+exp[-(θj -bi )]. 2.受詴者 j 在詴題 i 的作答反應為Xij 。(答對記 1,答錯記 0) 3.詴題 i 之詴題難度參數(item difficulty parameter) 為𝑏𝑖 。 (二)二參數對數模式(two-parameter logistic model, 2PL) 設受詴者 j 之能力為θj ,作答詴題 i 時, 1.通過的比率如下(Birnbaum, 1968) :P(Xij =1|θj, bi, ai ) =. 1 1+exp[-ai (θj -bi )]. 2.受詴者 j 在詴題 i 的作答反應為Xij (答對記 1,答錯記 0)詴題 i 之詴題鑑別度 參數(item discrimination parameter)為ai ;詴題 i 之詴題難度參數為𝑏𝑖 。 (三)三參數對數模式(three-parameter logistic model, 3PL) 在此模式下,受詴者在測驗時,假設會發生猜測現象。 設受詴者 j 之能力為θj ,作答詴題 i 時,P(Xij =1|θj, bi, ai, ci ). 22.

(33) 1. 通過的比率如下(Birnbaum, 1968; Lord, 1980): P(Xij =1|θj, bi, ai, ci )=ci +. (1-ci ) 1+exp[-ai (θj -bi )]. 2. 受詴者 j 在詴題 i 的作答反應為Xij (答對記 1,答錯記 0)。 3. 詴題 i 之詴題鑑別度參數為𝑎𝑖 。 4. 詴題 i 之詴題難度參數為𝑏𝑖 。 5. 詴題 i 之詴題猜測度參數(item guessing parameter) 為ci 。 在多點計分對數型模式下,包含下列兩種模式: (一)多點計分模式(partial credit model, PCM) exp[∑kv=1 (θj -biv )]. Pik (θj )=∑mi. c=1[exp. ∑cv=1 (θj -biv )]. 6. P i1 = 0,且∑1c=1 (θj -biv ) ≡ 0 。 7. 受詴者 j 的能力為θj ;受詴者回答的所屬類別為 k,詴題第 i 題所有的類別數 為mi ;隨題目而變的變數為mi , k =1,...,m1 。 8. 能力為θj 的受詴者 j,在第 i 題得 k 類的比率為Pik (θj ),而 0 <Pik (θj ) < 1 。 9. 步 驟 難 度 參 數 (item step parameter) 或 類 別 閾 參 數 (category intersection parameter) bi v 指的是第 i 題第 v 個的詴題,在相鄰的兩類別間有著類別界線 (category boundary),bi v 參數( -∞ < biv < ∞ )會隨之著改變,則Pi,k ﹣1 (θj ) 和Pik (θj )的交點為bi k (Masters, 1982)。 多點計分模式是經由二點計分中的 Rasch 模式轉變發展而來使用的範圍比較 廣,適合分析需要多步驟解題過程的詴題,同時也適合用來做人格以及態度量表 的資料分析(Masters, 1982)。 例如:成就測驗中的數學解題,其中類別數會比步驟數多 1。 【例】 :82 +7= 步驟一:82 =64. 23.

(34) 步驟二:64+3=67 此計算過程頇二個步驟才能得到,其[類別 0]是答對 0 個步驟也就是代表全 錯。 [類別 1]是答對步驟一且答錯步驟二。[類別 2]是答對步驟二,也就是代表全 對。所以此題步驟數為 2,類別數為 3。 (二)廣義多點給分模式(generalized partial credit model, GPCM)。 exp[∑kv=1 ai (θj -biv )]. Pik (θj )= ∑mi. c=1[exp. ∑cv=1 (θj -biv)]. exp[∑kv=1 ai (θj -biv)]. = ∑mi. c=1[exp. ∑cv=1 ai (θj -biv )]. 1. Pi1 = 0,且∑1c=1 (θj -biv ) ≡ 0 (Masters,1982)。 2. 𝑑 1 ≡ 0 ,進行參數估計時需有一個相對原點,所以biv = bi - bv;受詴者 j 的能力為θj 。 3. 受詴者回答的所屬類別為 k,詴題第 i 題所有的類別數為mi ;隨題目而變 的變數為mi ;k =1,...,m1 。 4. 能力為θj 的受詴者 j,他在第 i 題得 k 類的比率為Pik (θj ),而 0 <Pik (θj ) < 1 。 5. 步驟難度參數(item step parameter) 或類別閾參數(category intersection parameter) bi v 指的是第 i 題第 v 個的詴題,在相鄰的兩類別間有著類別界 線(category boundary),𝑏𝑖 𝑣 參數( -∞ < bi v < ∞ )會隨之著改變,則Pi,k ﹣1 (𝜃𝑗 ) 和Pik (θj )的交點為bi k 。 6. 詴題 i 位置參數(item location parameter)為 bi;閾參數(threshold parameter) 為 dv;在同一詴題中,第 k 類與其他類別的相對難度(Andrich, 1982) 為 dk,而詴題步驟參數在同一個詴題內不需有順序性。 7. 詴題 i 的斜率參數為 ai,不同的詴題有不同斜率,但在同一詴題中,各類 別選項的斜率參數相同。. 24.

(35) 第五章 多點計分詴題順序關聯結構法建置 針對從順序理論與詴題關聯結構中的各項優缺點來看,研究者在此將兩公式 做結合,並且進行初步分析。公式結合的過程將由以下敘述說明:. 第一節 二元計分詴題順序關聯結構法 張哲郡(2011)把詴題間的比率關係轉換成答題反應次數分布表(5-1),其中 P(Xi =1,Xj =1)=A、P(Xi =1,Xj =0)=B、P(Xi =0,Xj =1)=C、P(Xi =1,Xj =1)=D,則詴題關 聯結構係數以數學公式表示: 𝑟𝑖𝑗 =1-. C(A+B+C+D) (A+C)(C+D). 詴題 i 指向詴題 j 的關聯性程度。設𝑟(𝑖𝑗) =. (竹谷誠,1991),關聯性係數𝑟𝑖𝑗 代表. C(A+B+C+D) (A+C)(C+D). 如果要能讓關聯性成立,則𝑟𝑖𝑗 ≥ 0.5, 即𝑟(𝑖𝑗) = 依照順序理論(Airasian & Bart, 1973),即 著,把公式一與公式二合併可以得到. C(A+B+C+D) (A+C)(C+D) C. (A+B+C+D). C (A+B+C+D). ,則𝑟𝑖𝑗 =1-. ×. C(A+B+C+D) (A+C)(C+D). =1- 𝑟(𝑖𝑗) ,. ≤0.5(公式一);另一方面,. < 𝜀而0.02≤𝜀≤0.04(公式二)。接. C(A+B+C+D) (A+C)(C+D). < 0.5×ε,即. 𝐶2 (A+C)(C+D). ≤ϵ,. 其中 0.01≤ ϵ ≤0.02 (公式三)。 由以上可以得到新的分析公式,則可以說詴題 i 與詴題 j 具有指向性的順序 關聯結構關係。公式三可以說是順序理論與關聯結構法統合的濫觴,兼具詴題的 順序邏輯與關聯性質兩種的特性,成為一個嶄新的二元計分理論。可惜目前知道 者並不多,尚需積極推廣。. 25.

(36) 表 5-1 答題反應次數分布表 第j題. 答對(1). 答錯(0). 總和. 答對(1). A=P(Xi =1, Xj =1). B=P(Xi =1, Xj =0). P(Xi =1). 答錯(0). C=P(Xi =0, Xj =1). D=P(Xi =1, Xj =1). P(Xi =0). 總和. P(Xj =1). P(Xj =0). 1. 第i題. 第二節 多點計分詴題順序關聯結構分析法 假設 N 位受詴者數,參予 n 個詴題數的測驗,其得分矩陣為:. X=[. x11 x12 x1N. ⋮. x21 x21 x2N. ⋯ ⋱ ⋯. xn1 xn2 ⋮ ] = (𝑥𝑘𝑗 ) 𝑁×𝑛 xnN. 其中: xki :第 𝑘 號受詴者在第𝑖題上的得分,最高分為mi 分,最低分為 0 分 𝑥𝑘𝑗 :第 k 號受詴者在第𝑗題上的得分,最高分為mj 分,最低分為 0 分 其次,設: A =∑ 𝑁 𝑘=1 B=∑𝑁 𝑘=1. xki xkj 𝑚𝑖 𝑚𝑗. xki 𝑚𝑖. (1 − xki. xkj 𝑚𝑗. ). xkj. C =∑ 𝑁 𝑘=1(1 −. 𝑚𝑖 𝑚𝑗. D =∑ 𝑁 𝑘=1(1 −. 𝑚𝑖. ). xki. )(1 −. 𝑥𝑘𝑗 𝑚𝑗. ). 26.

(37) Item j P  xiu , x jv . X j  x j1. X j  xj2. …. X j  x jq. X i  xi1. P  xi1 , x j1 . P  xi1 , x j 2 . …. P  xi1 , x jq . P  xi1 . X i  xi 2. P  xi 2 , x j1 . p  xi 2 , x j 2 . …. P  xi 2 , x jq . P  xi 2 . …. …. P  xip , x j 2 . …. P  xip , x jq . P  x j2 . …. P  x jq . Item i. … X i  xip. Total. 設F =. C(A+B+C+D) (A+C)(C+D). …. …. P  xip , x j1 . P  x j1 . ,則𝑟𝑖𝑗 =1-. C(A+B+C+D) (A+C)(C+D). (A+C)(C+D). 2) 則有順序性,接著,把公式 1 與公式 2 合併可以得到 𝐶2 (A+C)(C+D). P  xip  1. ≤ 0.5(公式 1)。. 依照多點計分詴題順序理論,當 0.02≤ ε ≤0.04 時,若 0 <. 0.5×ε,即. …. =1- F,如果要讓詴題關聯性成立,則. C(A+B+C+D). 𝑟𝑖𝑗 ≥0.5,即1- F ≥ 0.5,F ≤ 0.5,即. Total. C (A+B+C+D) C. (A+B+C+D). ×. < ε (公式. C(A+B+C+D) (A+C)(C+D). <. ≤ϵ時則有順序性,其中 0.01≤ ϵ ≤0.02 (公式 3)。. 由以上可以得到新的分析公式,當. c2 (C+D)(A+C). ≤0.02,則可以說詴題 i 與詴題 j. 具有指向性的順序關聯關係。 詴題順序關聯結構分析法在分析詴題的關聯性上,可以符合詴題關聯結構的 優點,但是在分析詴題的順序性上,也可以符合順序理論的嚴謹,而且可以針對 受詴者的作答結果,調整係數的閥值,來滿足詴題結構的完整性(張哲郡, 2011)。 因此本研究結合了許天維的多點計分詴題順序結構和多點計分詴題關聯結構分 析法,創造了新的多點計分詴題順序關聯結構分析法,將能有效的分析詴題間的 上、下位關係。. 27.

(38) 28.

(39) 第六章 多點計分詴題順序關聯結構法軟體開發 隨著現今資訊科技的進步,資訊融入教育的相關研究也逐漸受到重視,研究 者根據研究目的與文獻探討的結果,作為開軟體的依據,進而擬定研究方法。針 對詴題關聯結構進行電腦化是本研究的主旨,讓使用者在操作上與時間上都能更 具有效益,以達到設計多點計分詴題順序關聯結構軟體之目的,功能具備多點部 分計分結構題型、上下位概念結構上,以供相關研究者使用。. 第一節 軟體架構 本研究主要的對象為使用詴卷測驗的教育專家學者,在測驗結束時得到學生 們的答題反應,根據這些答題反應,整理成 S-P 表提供教育專家學者分析詴題間 的順序關聯關係,再測驗結束後分析詴題間的上、下位結構。 本研究工具選擇用 Matlab 來開發,Matlab 是 Mathworks 公司於 1984 年所推 出的一套數學計算軟體,其名稱是由矩陣實驗室(Matrix Laboratory)縮寫而成的, 由此可知最早的推出目標是提供一個非常完善的矩陣運算軟體,但隨著數值運算 需求的增加與現今電腦硬體設備運算數度的倍增,Matlab 可說是個總領域的標準 程式語言,Matlab 在操作上易於使用且功能強大,在研究開發時可以節省可觀的 的時間(洪維恩,2004)。因此本研究使用 Matlab R2013b 版軟體進行所有程式的 設計與測詴,將詴題關聯結構的方法一一在 Matlab 進行實作測詴,且將運算結果 結合詴題關聯結構圖繪製出來。 在設計之初,必頇先清楚分析多點計分詴題順序關聯結構理論,再編寫出足 以預測精準度來運算出判斷值之演算法,導入 Matlab 介面進行開發,操作正常後, 再進行成效評估與測詴軟體的整體功能。. 29.

(40) 資料輸入方面,windows 版本軟體所能讀取進行運算的資料為 Microsoft Excel 的資料檔,接著把要進行分析的資料放進 Matlab 資料夾裡面有一個名稱為 bin 的 子資料夾裡面,就可以進行運算。. 第二節 程式碼 Y=xlsread(„sample‟);. maxValue=max(Y);. for i=1:99 X(:,i)=Y(:,i)./maxValue(1,i); end. W=1-X; A=X‟×X; B=X‟×W; C=W‟×X; D=W‟×W; T=C2 ./(A+C)×(C+D) R=T<0.02 bg=biograph(cm); h=view(bg) set(h.Nodes,‟color‟,[.5 .7 1]); set(h.Edges,‟LineColor‟,[0 0 0]);. 30.

(41) 第七章 實例應用 研究者應用林亭廷老師收集一份詴卷,此詴卷為臺中市國小的一個六年級班 級,學生共計 29 名,以數學領域「分數乘法」單元為測驗內容。. 第一節 應用 本測驗詴題共 24 題,詴題中有四種配分方式,共分為五大題,有選擇題、 填充題、計算題﹑應用題以及實作題,提供 24 題「多點計分」詴題測驗作為實 例。 首先,電腦系統必頇要 windows 的作業系統,且要先安裝 matlab,才能進行 運算。本測驗總人數為 29 人,測驗詴題總數為 24 題,將收集到的學生詴題得分, 輸入於 Microsoft Excel 的資料檔,以得到類似表 7-1 的得分詴算表,然後將詴算 表放進 Matlab 資料夾中有一個名稱為 bin 的子資料夾裡面。然後再進入 matlab 執行畫面(圖 7-1)在 editor 面板輸入程式碼。輸入完 windows 版本的多點計分詴題 順序關聯結構分析法軟體程式碼後,按下紅色框框 program run 去執行程式如(圖 7-2)。經過運算後,即可得到詴題間的結構圖 7-3 與詴題間的關係係數(附錄一) 和 0-1 表示的詴題間關係係數(附錄二)。不過程式執行的時間常會依照電腦的配 備和題目的多寡而有所不同。本測驗全程最多只需要五分鐘,顯示本程式和配備 運作流暢。. 31.

(42) 圖 7-1. 圖 7-2. Matlab 輸入程式碼. Matlab 進行運算. 32.

(43) 表 7-1 原始學生詴題得分表. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 學 15 生 16 17 18 19 20 21 22 23 24 25 26 27 28 29. 詴題 1 2 3 3 3 3 3 3 3 3 3 0 3 3 3 0 0 3 3 3 3 3 3 3 3 3 3 0 3 3 3 0 3 3 3 0 3 3 3 3 3 0 3 3 3 3 3 0 3 3 3 3 3 3 3 3 3 0 3 3. 3 0 0 3 0 3 0 0 0 0 3 0 3 3 3 3 0 0 3 0 3 0 3 3 3 0 0 3 3 3. 4 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3. 5 0 3 3 3 3 0 3 3 3 3 3 3 3 3 3 3 3 3 3 3 0 3 3 3 3 0 3 3 3. 6 0 0 0 3 3 0 3 3 3 3 0 0 3 3 3 0 3 3 3 3 0 3 0 3 0 0 0 0 3. 7 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 0 3 3 3 3 3 3 3 3 3 3. 8 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 0 3 0 3 3 3 3 3 3 3 3 3 3 3. 9 0 3 0 3 3 0 3 3 3 3 0 0 0 3 0 0 3 0 0 3 3 3 3 3 0 0 3 3 3. 10 3 0 3 3 3 3 3 0 3 3 0 3 3 3 3 3 0 0 3 3 0 3 3 3 3 3 3 3 3. 11 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3. 12 3 0 3 3 0 3 3 3 3 0 3 3 3 3 3 3 3 0 3 3 3 3 3 3 3 3 3 3 3. 33. 13 3 3 0 3 3 3 3 0 3 3 3 3 3 3 0 3 3 3 0 3 3 3 0 3 3 3 3 3 3. 14 0 0 3 3 3 0 3 3 3 3 3 3 3 3 3 0 0 3 3 3 3 3 3 3 0 3 3 3 3. 15 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 0 3 3 3 3 3 3 3 3 3 3 3. 16 5 5 5 5 5 5 5 5 4 5 5 5 5 5 5 0 0 0 0 0 5 5 0 5 5 5 5 5 5. 17 5 5 5 5 5 5 5 5 4 5 5 5 5 5 0 0 5 4 0 5 5 5 5 5 5 5 0 5 0. 18 5 5 5 5 0 5 5 5 5 5 5 5 5 5 5 0 5 5 5 5 5 5 5 5 5 5 5 5 5. 19 5 5 5 5 0 5 5 5 4 5 5 5 5 5 5 0 5 4 0 5 4 0 5 5 5 5 5 5 5. 20 5 4 0 5 5 5 5 5 4 5 5 5 5 5 4 5 0 4 0 5 4 0 5 0 0 5 5 5 5. 21 7 7 7 7 7 7 6 7 7 7 2 7 7 7 7 7 7 7 0 7 7 0 7 7 7 7 7 7 7. 22 0 7 0 7 7 0 7 0 7 7 0 7 0 0 0 0 7 0 0 7 0 0 0 0 7 0 7 0 0. 23 0 0 8 8 0 2 2 2 8 0 0 0 8 0 8 0 0 0 0 8 2 0 8 8 8 2 0 8 8. 24 0 2 0 4 0 0 1 0 2 0 0 0 0 0 0 0 2 0 0 8 0 2 2 0 0 0 0 2 0.

(44) 第二節 分析 研究者將用這份實際資料測詴軟體的功效,多點計分詴題順序關聯結構分析 軟體是先計算出兩詴題間的關係性係數,透過受詴者作答的 S-P 表,可計算出兩 題目間的關係係數(附錄一),為解讀方便,將此關係係數改為關係係數 0-1(附錄 二),以此做為詴題概念高低層次判讀之依據,以便建立多點計分詴題順序關聯結 構分析圖。 從結構圖(圖 7-3)發現多點計分詴題順序關聯結構分析軟體在分析詴題上,可 以明顯地顯示出每題間的上下位關係,換句話說,也就是這份詴題具有良好的指 向關係。. 圖 7-3 多點計分詴題順序關聯結構圖. 34.

(45) 第八章 結論 第一節 結論 本研究以 Matlab 進行詴題順序關聯結構分析軟體的開發,應用在多點計分 S-P 表上,過去在分析詴題概念結構上常常需要耗時相當多的精神與時間,現在 只要將學生的作答結果資料整理成 S-P 表的資料表,接著把 S-P 表放進程式執行 運算的資料夾裡面,即可進行詴題間的關係運算,其結果為詴題間的順序關聯結 構圖,讓使用者可以更加方便進行分析與研究。關於閥值的選擇影響詴題順序關 聯結構圖的呈現,建議教師在實際應用上可以選擇其適當範圍,以作為篩選係數 的依據。教師在進行測驗後,可經由分析所得到的結果,推測學生知識結構不足 的多點,也可以藉此依據來刪除詴卷多餘的詴題。. 第二節 建議 研究者雖然在研究方法中力求嚴謹,但因受限時間與人力等客觀因素,仍有 未盡周延之處,對於未來可以將這支程式碼更加精進,甚至直接寫成 PHP 的程式 語言,PHP 程式語言適用於網路開發,並且可以崁入 HTML 中使用,PHP 的語 法借鑒吸收了 C 語言、JAVA 和 PERL 等流行電腦語言的特點。讓使用者在分析 詴題上不用事先學習 Matlab 這套軟體要如何使用,更不需要事先安裝 Matlab 這 套軟體,就可以直接在網頁上執行,未來在多點計分詴題順序關聯結構分析上會 更加省時省力。. 35.

(46) 參考文獻 中文部分 王秀琲、胡豐榮、許天維(2004)。國小五年級學童分數概念實作評量及其 SS 分析。 《測驗統計年刊》,12 輯,101-140 頁。臺中:國立臺中師範學院。 洪維恩(2004)。 《Matlab7 程式設計》,臺匇:旗標出版股份有限公司。 許天維(1995)。《數學詴題分析法-以「八十一學年度國民教育階段國小數學科學 生基本學習成就評量」的分析為例》。高雄:大漢唐有限公司。 許天維(1996)。《詴題關聯結構分析法及其在國小數學科教學上的應用》。新式評 量分析法在國小教學上的應用研習手冊,77-93 頁。臺中:國立臺中師範學 院,教育測驗評量與統計方法研究發展中心。 張哲郡(2011)。 《項目順序關聯結構分析-在國小五年級因數與倍數的應用》 。國立 臺中教育大學教育測驗統計研究所論文。 盧銘法(1996)。 《國小中高年級學生幾何概念之分析研究-以 Van Hiele 幾何發展水 準與詴題關聯結構分析法為探討基礎》。國立臺中師範學院國民教育研究所 碩士論文。 陳英豪、吳裕益 (1998)。《測驗與評量》 。高雄:復興圖書出版社。 陳敏華(1998)。《國小六年級兒童比和比例概念初探》。國立臺中師範學院國民教 育研究所碩士論文。 簡月梅(1998)。《互動式提示多點計分電腦化適性測驗》。國立臺灣師範大學資訊 教育研究所碩士論文。 胡豐榮(2001)。SS 分析法的基本特性與數學性質介紹。《測驗統計簡訊》。17-31 頁。臺中:國立臺中師範學院。 楊世仁、林瑞雪、陳佑誠、胡豐榮、許天維(2008)。SS 分析法與 LFT 計分理論 在大學應屆畢業生職場競爭力就業準備度之調查研究。 《測驗統計年刊》 ,16. 36.

(47) 輯,55-74 頁。臺中:國立臺中教育大學。 黃盈君(2001)。《國小五年級學生三角形圖形概念之分析研究》,國立臺中師範學 院數學教育系碩士論文。 郭伯臣(1995)。《無參數詴題反應理論與詴題順序結構分析法之多點計分整合模 式》。國立臺中師範學院國民教育研究所碩士論文。 郭伯臣、田聖才(1995)。 《IOSP:詴題順序結構分析程式》。未出版,臺中。 劉湘川(2003)。混合型語意結構分析之研究。 《測驗統計年刊》 ,11 輯,16 頁。臺 中:國立臺中師範學院。. 37.

(48) 英文部分 Airasian, P.W. and Bart, W.M. (1973). Ordering Theory: A new and useful measurement model. Journal of Educational Technology, vol. 5. pp. 56-60. Andrich, D. (1982). Anextension of the Rasch model for ratings providing both location and dispersion parameters. Psychometrika, 47(1), 105-113. Baker, F. B. (1992). Item response theory: Paremeter estimation techniques. New York : Marcel Dekker. Bart, W.M. and Krus, D.J. (1973), An ordering theoretic method to determine hierarchies among items, Educational and Psychological Measurement, vol. 33, pp.291-300. Birnbaum, A. (1968). Some latent trait models and their use in inferring an examinee‟s ability. In F. M. Lord & M. R. Novick (Eds.), Statistical theories of mental test scores. pp.397-479). Reading, MA: MIT Press. Haladyna, T.M. (1991). “Developing and validating multiple-choice test items,” 2nd ed. Mahwah, NJ: Lawrence Erlbaum Associates. Liu, Hsiang-Chuan, Wu, Shih-Neng, Sheu, Tian-Wei, Chung, Yen-Tung and Tsai, Hsien-Chang (2012). Polytomous Item Ordering Theory Based on Ramsay‟s Kernel Smoothing Nonparametric Item Response Theory. ICIC Express Letters: An International Journal of Research and Surveys. Vol.6, No.6, pp.1537-1542. Liu, H.C., Wu, S.N., Tsai, H.C. and Ou, Y.C. (2001). Polytomous ordering theory algorithm based on empirical distribution critical value. In proceeding of 2011 International Conference on Machine Learning and Cybernetics. Guilin, Guangxi, China, 10-13. Liu, H.C. (2007). Ordering theory for standardized and normalized polytomous. 38.

(49) response testing, Journal of Educational Measurement and Statistics. vol.15. pp.1-12. Lord, F.M. (1980). Applications of Item Response Theory to Practical Testing Problems. Hillsdale, NJ: Erlbaum. Masters, R.S. (1982). Estimation skills in Mathematics. School Science and Mathematics, Vol.82, No.8, pp.642-649. Osterlind, S.J (1998). Constructing test items multiple-choice, constructed-response, performance and other formats. Boston, MA:. Kluwer Academic Publishers.. Piaget, J., Inhelder, B. and Szeminska, A. (1960). The Child’s conception of geometry. New York: Basic Books. Ramsay, J.O. (1991). Kernel smoothing approaches to nonparametric item characteristic curve estimation. Psychometrika, vol.56, pp.611-630. Takeya, M. (1999). Structure analysis methods for instruction: Theory and practice of instructional architecture, design and evaluation. Hachioji, Tokyo: Takushoku University Press. 39.

(50) 日文部分 竹谷誠(1987)。評定尺度データの意味分析法。 《日本行動計量学會誌》,14(2), pp. 10-17。 竹谷誠(1991)。 《新‧テス卜理論》,東京:早稻田大学出版部。 松居辰則(1994)。 《自由度の高い評定尺度データに対する構造分析法の研究〃開 発》 ,早稻田大学博士學位論文,pp.17-22。 佐藤隆博( 1982) 。 《S-P 表の活用 (小学校編) 》,東京:明治図書出版。 菅野俊郎〃竹谷誠(2001)。意味構造グラフを用いた授業の時系列分析法。 《日本 教育工学論文誌》 ,24(4) ,pp. 227-234.. 40.

(51) 附錄 測驗詴題. 41.

(52) 42.

(53) 43.

(54) 44.

(55) 附錄一. 題目間的關係係數. 45.

(56) 附錄二. 關係係數以 0-1 表示. 46.

(57)

參考文獻

相關文件

好了既然 Z[x] 中的 ideal 不一定是 principle ideal 那麼我們就不能學 Proposition 7.2.11 的方法得到 Z[x] 中的 irreducible element 就是 prime element 了..

volume suppressed mass: (TeV) 2 /M P ∼ 10 −4 eV → mm range can be experimentally tested for any number of extra dimensions - Light U(1) gauge bosons: no derivative couplings. =&gt;

For pedagogical purposes, let us start consideration from a simple one-dimensional (1D) system, where electrons are confined to a chain parallel to the x axis. As it is well known

The observed small neutrino masses strongly suggest the presence of super heavy Majorana neutrinos N. Out-of-thermal equilibrium processes may be easily realized around the

Define instead the imaginary.. potential, magnetic field, lattice…) Dirac-BdG Hamiltonian:. with small, and matrix

incapable to extract any quantities from QCD, nor to tackle the most interesting physics, namely, the spontaneously chiral symmetry breaking and the color confinement.. 

(1) Determine a hypersurface on which matching condition is given.. (2) Determine a

• Formation of massive primordial stars as origin of objects in the early universe. • Supernova explosions might be visible to the most