相關性思考之電腦化施測系統研發及其實證研究

全文

(1)國立臺中教育大數學教育學系碩士論文. 指導教授：林原宏博士. 相關性思考之電腦化施測系統研發及其實證研究. 研究生：歐博仁撰. 中華民國九十九年一月 1 .

(2) 摘要. 本研究旨在探討受試者在相關性思考問題測驗上的表現情形，並應用次序理論(ordering theory)分析比較個別受試者之解題規則階層結構圖。本研究以自編的「相關性思考(correlation thinking)」測驗為工具，並結合電腦網路的便利性，將測驗電腦化，試題共計 18 題，其中包含 3 種題組，以電腦網路方式進行施測。研究對象為國中小五、六、七年級學童共計 2927 人。研究結果顯示：一、在測驗試題之三種題組中，全體受試者在「相等衝突問題」表現最佳、「次要面向不同問題」次之、「首位面向問題」最差。二、在測驗試題通過率上的表現，不同性別的受試者無顯著差異，但在不同年級方面有顯著差異。三、總分不同的受試者，其解題規則之階層結構圖有所差異。四、總分相同但反應組型不同的受試者，其解題規則之階層結構圖亦有所不同。五、以專家之結構圖為參照標準，受試者之相似性係數在不同性別上無顯著差異，但在不同年級方面有顯著差異。此外，年級與性別在結構圖之相似度之表現，其交互作用亦不顯著。根據本研究之結果，可提供教學者對受試者之認知診斷及補救教學策略參考用，本測驗系統未來可拓展至其他認知領域的解題規則上，亦或不同年齡層對象之研究。. 關鍵字：相關性思考、次序理論、解題規則、認知診斷. i .

(3) Abstract The purpose of the study is to investigate the performance on correlation thinking problems and, based on ordering theory, to analyze the influence of gender and grade factors in hierarchical structure graphs of problemsolving rules. The Webbased correlation thinking test, consisting of 18 questions in 3 categories, devised by the researcher is employed through computer testing. Subjects are 2927 5th to 7th graders. 1. In the analysis of 3 categories of problems, the participants excels in conflictequal problems, next the subordinates problems, and followed by the conflictdominant problems. 2. As for the correct ratio of the test, genders have little influence on the results, but grades do make significant difference. 3. Subjects of different total score exhibit different characteristics of rulehierarchies graphs. 4. Subjects of the same total score with distinct response patterns exhibit different rulehierarchies graphs. 5. Comparing to the hierarchical structures on rule usage, the similarity index is significantly influenced by participants’ grades instead of their genders. Besides, there is no interaction between the indexes of their genders and those of their grades. The findings of this study should be helpful for cognition diagnosis and for remedial instruction. It is recommend that this system can be applied to other cognitive fields for the rule usage or subjects of other ages. Keyword: correlation thinking, ordering theory, rule usage, cognition diagnosis. ii .

(4) 目錄摘要 ……………………………………………………………………………i Abstract ………………………………………………………………………ii 目錄..…………………………………………………………………………..iii 表目錄..………………………………………………………………………v 圖目錄..………………………………………………………………………vii 第一章緒論..…………………………………………………………..……1 第一節研究動機..…………………………………………….…………1 第二節研究目的..…………………………………………………….…3 第三節名詞解釋..…………………………………………………….…3 第四節研究限制..…………………………………………………….…4 第二章文獻探討..…………………………………………………….…….5 第一節電腦化測驗..…………………………………………………….5 第二節相關性思考概念..………………………………………………..13 第三節規則評量方法..………………………………………………...14 第四節精緻試題有向圖分析..………………………………………...28 第五節次序理論..……………………………………………………...31 第六節詮釋結構模式..………………………………………………...34 第三章研究方法與系統建置..……………………………………………41 第一節研究架構..……………………………………………………...41 第二節研究流程..……………………………………………………...42 第三節研究對象..……………………………………………………...44 第四節研究工具..……………………………………………………...45 第五節資料處理分析..………………………………………………...54 第六節系統分析設計………………………………………………….63. iii .

(5) 第四章結果與討論………………………………………………………..75 第一節相關性思考測驗之各題通過率…………………………………75 第二節不同年級與性別在相關性思考測驗上的表現…………………79 第三節不同年級與性別解題規則次序結構圖之差異…………………80 第四節受試者與專家之解題規則次序結構圖的比較分析……………81 第五章結論與建議………………………………………………………….91 第一節結論…………………………………………………………….91 第二節建議…………………………………………………………….94 參考文獻…………………………………………………………………....96 附錄……………….…………………………………………………………105. iv .

(6) 表目錄表21 測驗評量的發展時程表………………………………………………6 表22 電腦化測驗一覽表……………….……………………………………9 表23 Awang之相關性思考各規則下之作法……………………………..27 表24 試題2+2=( )的反應與規則的對應關係表………………….……29 表25 試題 i 和試題 j 的使用次數之列聯表 ( i ¹ j ) ……………….……32 表26 S1 至 S5 元素關係表…………………….…………………………...35 表27 R ( A K ) 矩陣和 M ( A K ) 矩陣關係表……….…………………...……...39 表28 A 1 至 A 5 要素之階層關係……….…………………………………...39 表31 研究樣本來源統計…………………………………..…………....…..44 表32 研究樣本人數統計…………………………………..…………....…..44 表33 本研究測驗試題題目……………………………………..……....…..46 表34 相關性思考測驗的四個解題規則之作法與意義……………....…..50 表35 題目組成與各規則下的反應……………………..…................…..51 表36 本研究測驗第9題的反應與規則關係表……..…….....................…..52 表37 各試題的反應解釋力和反應區別力……………..……................…..53 表38 試題各規則之相對應的標準答案及計分………..……................…..55 表39 受試者各試題之規則計分………..……...................................…..55 表310 規則 i 和規則 j 的使用次數之列聯表 ( i ¹ j ) .............................…..56 表311 受試者各規則之 n 01 使用次數...................................................…..56 表312 受試者R( r k )、M ( r k )及R( r k ) Ç M ( r k )矩陣關係表......................…..58 表313 受試者之四個規則相對應的階層位置....................................…..59 表314 編號2239受試者與專家之規則次序矩陣的比較.......................…..61 表315 教師資料表格...........................………………………………....72. v .

(7) 表316 學生資料表格...................................………..………....………....72 表317 測驗資料表格...........................…………………….....………....72 表41 全體、不同年級與不同性別在各類型問題之平均通過率…….….....75 表42 全體受試者在各題的通過率...........................……………………....76 表43 不同年級受試者在各題的通過率..................…………………..…....77 表44 各年級試題平均通過率之單因子變異數分析摘要表……………....78 表45 各年級在各題通過率之事後比較分析摘要表……………………....78 表46 不同性別受試者在各題的通過率………………………………....79 表47 相關性思考測驗通過率之二因子變異數分析摘要表..….………....80 表48 不同年級與性別之相似性係數平均數.. ….…………….…. ...81 表49 不同年級與性別的相似性係數之二因子變異數分析摘要表…...81. vi .

(8) 圖目錄圖21 槓桿圖…………………………………………………………………16 圖22 Seigler的規則評量方法之解題規則一模式…………………..……17 圖23 Seigler的規則評量方法之解題規則二模式….………………..……18 圖24 Seigler的規則評量方法之解題規則三模式……………………..……18 圖25 Seigler的規則評量方法之解題規則四模式……………………..……19 圖26 Awang魚的問題圖……………………………………………....25 圖27 Awang之相關性思考的解題規則一模式………………….………25 圖28 Awang之相關性思考的解題規則二模式…………………..………26 圖29 Awang之相關性思考的解題規則三模式…………………..………26 圖210 Awang之相關性思考的解題規則四模式………………….………27 圖211 試題2+2=( )的反應與規則對應圖…………………………...…29 圖212 ISM結構圖的繪製……………………………………....………..40 圖31 本研究架構圖………………………………….…………....………..41 圖32 本研究流程圖…………………………………..…………....………..42 圖33 自編測驗第9題…………………………………..…………....…....45 圖34 解題規則一流程圖…………………………..………..……………47 圖35 解題規則二流程圖………………………………………....………48 圖36 解題規則三流程圖…………………………….…..……....………48 圖37 解題規則四流程圖………………………….……………..………49 圖38 反應與規則對應圖...........................................………………....52 圖39 解題規則結構圖繪製過程...................................………………....59 圖310 編號2239受試者與專家之解題規則結構圖.................……….…....61 圖311「相關性思考線上施測系統」系統架構圖....................…….….…....66 圖312 「教師登入」處理流程設計............................………...……….…....68. vii .

(9) 圖313 「學生登入」處理流程設計............................…………….….…....69 圖314 「管理者登入」處理流程設計............................……………....70 圖315 「測驗分析」處理流程設計...........................……...………....71 圖41 編號A、B、C受試者的解題規則次序結構圖.……………………..….82 圖42 同總分但反應組型不同之兩位受試者的解題規結構圖(高分組).84 圖43 同總分但反應組型不同之兩位受試者的解題規則結構圖(中分組).86 圖44 同總分但反應組型不同之兩位受試者的解題規則結構圖(低分組).88. viii .

(10) 第一章緒論本研究旨在分析國中小五、六、七年級學童在相關性思考(correlation thinking)上的解題規則，瞭解其使用規則的次序關係，並發展一套相關性思考之線上施測系統，以分析學童在解題規則之表現，提供教學者更深入地瞭解學習者的學習訊息。本章就研究動機、研究目的、名詞解釋、研究限制等四節進行闡述。. 第一節研究動機傳統評量大至可分為形成性評量(formative evaluation)及總結性評量 (summative evaluation) ，而大部分的傳統評量多以總分為學生學習成果的依據，這種評量方式在教育上有其貢獻性，但是在對於學生如何應用策略解決問題上，卻無法提供明確的訊息，例如正確的策略往往可以得到正確的得分，而錯誤的策略也有可能得到正確的得分，因此答案的結果與策略的採用是截然不同的，亦即測驗結果的得分與策略採用的分析是不相同的。所以關於受試者之測驗總分的異同，其所採用的策略是否會有所差異，是本研究欲探討的重點之一。而策略採用(rule usage)的分析，在方法論上稱為規則評量方法(rule assessment methodology)，其主要是將解題者之解題過程所使用之規則加以分析，以瞭解解題者之思考方式與認知模式，這對教學上是相當有幫助的，本研究的認為有其研究之重要性。在解決問題的過程中，受試者會依自身的經驗與知識結構，尋找出一個適合的方法或策略來解決問題，而受試者所使用的方法或策略稱為解題規則(引自林原宏、游森期，2006)。然而有關於解題規則的使用之討論議題上，往往得到的只有規則使用的次數而已，卻無法得知其規則使用次序的關係，本研究應用次序理論(ordering theory)於相關性思考(correlation thinking)問題的解題規則上，嘗試找出受試者解題規則使用的次序關係， 1 .

(11) 例如：解題者在解題時，會先使用規則A來解題，當不使用規則A時，就使用規則B，則稱規則A為規則B的先備條件，而這種規則間使用的次序關係，即是應用次序理論而得，藉由規則間使用的次序關係即可呈現受試者之知識結構。而次序理論常用於決定試題間之次序關係 (Bart and Krus,1973)，其可提供規則使用次序的分析，且Airasian and Bart (1973)認為次序理論的主要目的有二：(1)衡量試題間的假設性之次序(hypothesizes ordering)，確定階層關係；(2)在沒有任何假設性次序的試題間，找出其階層關係。因此，次序理論在學習階層與認知結構方面，可更深入地分析學習者的認知型態，瞭解其內在思維及既有的經驗，這對教學者之教學有參考及輔助之用。然而相關研究指出，性別的因素，會影響解題規則的使用 (Jansen and Van der Maas,1997)，不同能力值的學生，所使用的規則並不一致(樊雪春，1999)，由此可知，不同年級與性別之學生，其內在知識結構會有所不同，呈現的解題規則亦有所差異。因此，在比較專家與生手的解題規則結構圖之差異，是值得探討的問題(Larkin, McDermott, Simon, & Simon, 1980)，亦是本研究的重要主題之ㄧ。在規則使用的討論議題當中，相關性思考是一個頗受重視的議題，而相關性思考指的是人們在判斷、探究兩個變項之間對應關係的過程。例如在學生的課業方面，其學習態度越積極，在成績上越容易有出色的表現；或因閱讀能力不佳，降低學習動力造成學生學業成績低落，以系統性思考的角度來看，任何在生活中或學習上的因素都有可能影響學生學習表現，這就是變項間相關性的概念。在國小階段，相關性思考的問題大多呈現於高年級階段，如速率、比例、機率等課程，故本研究針對國小高年級及國中一年級之學童為研究對象，以此主題設計相關性思考問題，並進行分析與探究。陳惠萍(2007)曾經探討相關性思考的解題規則，但該研究使用紙筆測驗方式來進行，在了解學生的使用規則時相當的耗時耗力，因此本研究希望能藉由電腦網路的科技性，達成快速分析、收集資料，並即時針對 2 .

(12) 學生做出認知診斷分析。綜合以上所述，研究者針對相關性思考的問題，發展出一套電腦施測系統，提供施測者即時分析受試者之解題規則，並瞭解其在相關性問題上使用規則的次序性，藉此希望在學習者的知識結構之分析有所貢獻。. 第二節研究目的本研究主要目的在探討學童在相關性思考試題的解題規則，進而分析學童的解題方式及知識結構，並建置一套相關性思考的線上施測系統，可不受時空的限制，節省大量的成本與時間，來評量學童的解題規則類型之表現。然而，更進一步的探討學童的年齡增長及性別的不同等因素，在本研究測驗試題中的表現是否會有所差異。其目的如下所示：一、建置相關性思考的解題規則之線上評量系統，能即時分析、收集大量樣本資料，並繪製分析個別受試者在相關性思考測驗之解題規則結構圖。二、分析不同年級與性別之學生在相關性思考測驗的表現差異情形，並比較其與專家結構圖之差異性。三、分析總分不同或總分相同但反應組型不同的個別學生，在相關性思考的解題規則次序結構圖之差異。. 第三節名詞解釋壹、解題規則本研究的解題規則所指的是受試者解決問題時會依循某種方法或策略的心理歷程 (Jansen &Van der Maas, 2002) 。亦即當解題者面對問題時，會基於既有的知識架構或經驗，用適當的方法或策略來解題(林原宏、游森期，2006)。 3 .

(13) 貳、次序理論次序理論主要應用於兩試題間的先備條件(precondition)之次序性，其可偵測出試題間階層關係及次序關係。參、相似性係數旨在找出受試者與專家知識結構圖的相似程度。本研究引用林原宏、游森期(2006) 將徑路搜尋法(pathfinder)應用在解題規則結構圖上的比較方法，其中徑路搜尋網路C值(closeness value)在比較受試者與專家之解題規則結構圖上的差異度，即是相似性係數，其值介於0與1之間，0代表與專家之結構圖完全不符合，而1表示與專家之結構圖完全符合。. 第四節研究限制一、本研究因在有限的時間及經費下，採取樣本主要以台中縣市中小學為主，其他縣市為少量樣本，在推論上有其限制。二、本研究以規則評量方法作為研究基礎，有關相關性思考的解題規則受限於研究環境、時間與人力，並無法針對所有可能之解題規則進行探究，故僅就符合一般性之四種解題規則。三、. 本研究需在充足的電腦設備及網路狀況下，方能進行施測。. 4 .

(14) 第二章文獻探討. 第一節電腦化測驗壹、測驗的發展趨勢一、測驗的意義測驗是「採用一套標準的刺激，對個人的特質作客觀測量的有系統程序」(郭生玉，1980)。測量(measurement)是指以特定的工具，根據某一種法則，指派一種符號(數字或文字等)給人、事或物的歷程或活動；此歷程或活動與人的一生息息相關。測驗(test)或狹義的考試(examination)是測量過程中最常見的工具之一，其內容多樣，形式也多。測驗或考試不外乎在進行診斷、選才、安置、預測、成就評定、證照認定等活動，無論其目的為何，測驗所要求的是準確、公平或合理(何榮桂，2006)。簡而言之，測驗就是在作社會與行為科學的研究時，用來收集資料的一種工具(李連順， 2000)。二、測驗的發展史測驗最早可追溯至三千多年前中國隋堂時代的科舉制度，歐美各國之文官考試制度亦效法於我國。考試制度的創設雖然源自中國，綿延數千年後，世界各國爭相採用，以作為建立文官制度的選拔依據但是中國卻一直沒有針對「考試」這門學問進行比較科學化的量化分析，致使近代的心理計量學(psychometrics)卻發展且發揚於外國，西風東漸後，才傳入中國。心理計量學是一門研究心理測驗(psychological testing)與評斷(assessment)的科學(Cohen, Montague, Nathanson, & Swerdlik, 1988, P.26)，是一門包括量化心理學(quantitative psychology)、個別差異(individual differences)、和心理測驗理論(mental test theories)等研究範圍的學問(余民寧，1991)。而心理. 5 .

(15) 測驗的濫觴，是在西元1905年法國心理學家A. Binet and T. Simon所發展的比西量表法(BinetSimon Scale)智力測驗，它可以說是人類第一個客觀的心理測驗。然就測驗與評量的發展史而言，根據美國教育委員會(American Council on Education)所發行的「教育測量(Educational Measurement)」一書將測驗評量的發展大至分為三個時期開創期(西元1850年～西元1950年)、盛行期(西元1951年～西元1970年)、擴展期(西元1971年～西元1988年)，研究者參考相關文獻將測驗評量發展時程整理如下表21所示(余民寧， 1991；江仲翔，2003)：表21 測驗評量的發展時程表時程. 相關理論. 測驗編製的重點. 1. 比西量表(測驗理論的起 1. 標準化測驗。源) . 2. 實行試題分析。 . 2. 強調在測信度的重要性。 3. 利用電腦統計。開創期 3. 重視內容校度和校標關 (西元1850年～1950年) 聯效度。 4. 提倡常模參照測驗的理念。 1. 重視副本信度。 . 1. 由於電腦的快速. 2. 建構效度概念的建立。 . 分析，產生大量. 3. 提倡校標參照測驗。 . 的客觀測驗。 . 盛行期 2. 個別化趨勢，而 (西元1951年～1970年) 產生了適性測驗。 3. 建立眾多題庫。. 6 .

(16) 表21 測驗評量的發展時程表(續) 時程. 相關理論 1. 認知理論的的影響。 2. 試題反應理論 . 盛行期 . (Lord,1980)的誕生。 . (西元1951年～1970年) 3. 重視整合分析。 4. 貝式統計的思考模式提. 測驗編製的重點 1. 適性測驗之編製。 2. 電腦科技的融入 3. 強調測驗的倫理規範。. 出。 1. 多元智力理論 1. 測驗與評量的轉 (Gardner,1983)的提出，影. 型，重視實做與. 響後續智力理論的發展。 . 真實評量。 . 2. 強調應以「全人」和「終 2. 新式評量觀念轉型期 (西元1951年～1970年) . 生學習」為出發點的測驗. 「檔案評量」亦. 與評量。 . 被提出作為評量. 3. 此階段發展的評量信、效. 人類多元心智能. 度與測驗品質、客觀公平. 力的主要架構。. 性等，皆未獲得合理的解決，仍需努力改進。綜合上述，就測驗評量的理論而言，學者們將其分成兩派：一是古典理論，主要以真實分數模式(true score model) (Gullikson, 1987; Lord & Novick, 1968)(亦即，觀察分數等於真實分數與誤差分數之和，數學公式為 X=T+E)為主幹，其發展已為時甚久，且有相當之規模，計算公式簡單明瞭，適用於大多數的教育與心理測驗資料，以及社會科學資料的分析，為目前測驗學界使用最廣的理論依據；另一是當代測驗理論(modern test theory) 主要是以試題反應理論(item response theory) (Hambleton & Swaminathan,. 7 .

(17) 1985; Hambleton, Swaminathan, & Rogers, 1991; Hulin, Drasgow, & Parsons, 1983; Lord, 1980)為架構，其理論的發展為時較晚，正處於發展中的狀態，計算公式較複雜深奧，但其立論與假設均合理且嚴謹，所適用的測驗資料種類雖屬有限，卻深受測驗學者的青睞，與古典理論相較，有過之而無不及(余民寧，1991)。然在測驗的施測方式及編製過程而言，因資訊科技的發達、電腦與網路的普及，已從古典理論為基礎的標準化測驗，發展至現今以試題反應理論為基礎的電腦化適性測驗，已有跨國性的測驗及我國許多職考、資格考都應用電腦進行施測，如TOEFL、GRE、劍橋職場外語檢測(BULATS)及我國交通部公路局的駕照考試、考選部的多項國家考試，都已實施電腦化測驗，可見目前測驗的發展，已趨向電腦化的施測方式，然電腦化測驗會因依據理論而有所不同，本研究將於下面繼續探討。. 貳、電腦化測驗的發展測驗的理論與實際已不是一個新的問題，但隨著工具的發展與改變，其實施方式也隨著改變。傳統的紙筆測驗，因電腦的輔助而有電腦化測驗。測驗電腦化的結果，可使測驗的情境更標準化，取代人工計分，減少誤差，節省時間與人力，皆為常見的優點。目前已有很多著名的測驗用電腦化施測 (如ETS 之托福等)，此種發展趨勢將逐漸取代紙筆測驗(何榮桂，2000)。因電腦的發達，現今許多教學活動都已融入資訊科技，而網路的普及，促使遠距離教學應運而生，當然電腦化測驗也隨之發展。然電腦化測驗的發展最早可追溯到1934年，美國哥倫比亞大學教授Benjamin Wood即與IBM的工程師合作開始發展電腦閱卷機(mechanical testscoring machine)，彼等的努力，隨即被一位高中的科學教師Reynold B. Johnson實現，類似目前使用之電腦計分卡在這個時代就已誕生了(何榮桂，2006)，而運用電腦於測驗，大致上與電腦的發展是平行進行的，如1970年代的文字介面大型電腦，此時電腦運用於測驗，僅是記分、閱卷及處理報告的功. 8 .

(18) 能。1980年代圖形介面及個人電腦的誕生，電腦才逐漸普及，也廣泛被應用在各個領域，此時電腦與測驗的結合才真正被實現，但電腦化測驗僅是將傳統的測驗電腦化嗎？在1980年代後期，開始發展針對個別化的適性測驗，電腦化適性測驗的應用讓電腦化測驗的發展向前邁進了一大步。何謂電腦化測驗？余民寧(2002)認為是用電腦科技來輔助施測者編輯試題題本、進行施測、資料統計計分及結果的分析、報告、解釋之測驗方式。換言之，電腦化測驗的主要內涵即是利用電腦科技間接地測量人類的某種心理特質，測量的內容廣泛，例如：學習成就、認知能力及性向等(陳新豐，2007)。隨著資訊科技進步，電腦化測驗依據不同的測驗理論及電腦技術的發展，而發展出不同類型的電腦化測驗，而其分類方式繁多(余民寧，2002；何榮桂，1990、1997；陳易芬，1993；陳志信，1993；陳柏熹， 2006；陳新豐，2007；葉千綺，1998；Bunderson , Inouye & Olsen, 1989) ，其中何榮桂(1997)將電腦化測驗分類為「傳統的電腦化測驗(Computerized Based Tests, CAT)」、「電腦化適性測驗(Computerized Adaptive Tests, CAT)」、「線上測驗(Web Based Tests)」等，而陳新豐(2007)將其三種電腦化測驗的意義整理如下表22：表22 電腦化測驗一覽表(陳新豐，2007) 傳統的電腦化測驗. 電腦化適性測驗. 線上測驗. 英文全名 . Computerized Based Tests . Computerized Adaptive Tests . Web Based Tests . 英文簡稱 . CBT . CAT . WBT . 將傳統紙筆測驗改成以電腦螢幕或網路當呈現介面，逐一或全部呈現試題的電腦輔助施測的方式。. 針對不同能力程度的考生及其不同的作答速度，提供適合其能力作答的適當難度試題，謀求估計考生能力的最大精確性，達成量身訂作的「因才施測」最高理想境界。. 就測驗環境而言，結合網際網路的優點，將能夠提供超越時空、隨選隨測、高彈性的施測環境的測驗方式。. 意義. 9 .

(19) 表22 電腦化測驗一覽表(續) . 理論基礎. 特色 . 實例 . 傳統的電腦化測驗. 電腦化適性測驗. 古典測驗理論. 試題反應理論. 線上測驗. 古典測驗理論試題反應理論 1.與傳統紙筆測驗內 1.量身訂製的施測內 1.網際網路的容相同容施測環境 2.施測及計分利用電 2.可以顯現個別的能 2.施測時間、腦輔助力差異地點彈性 3.施測流程非線性 4.無法跳答 5.施測長度不同 TOEFL、GRE、SAT 目前尚無全球 International 舉辦之正式考 Computer Driving Licence：ICDL、試 Institute of Certified Management Accountants：ICMA . 陳新豐(2007)針對國內博碩士論文以「電腦化測驗」為主題進行搜尋整理，發現電腦化測驗相關研究以「電腦化適性測驗」及「線上測驗」居多，而多數的線上測驗屬於傳統電腦化測驗，由此顯見國內電腦化測驗的研究趨勢。何榮桂(2006)認為電腦化測驗運用資訊科技管理測驗，簡化試務流程，符合應考人即測即評之「效率」及「經濟」需求，已是測驗發展之必然趨勢。有關電腦化的測驗的優點，本研究參考相關文獻整理如下(李連順， 2000；何榮桂，1990；林敏芳，2005；周倩，1998；陳志信，1993；Ree and Carreta,1998)。 1. 不受時空的限制，可隨時隨地進行，且易於反覆的練習。 2. 可立即得到回饋。 3. 多樣化的呈現方式，可利用圖片、聲音、動畫及影片的結合，真實. 10 .

(20) 呈現題目的情境。 4. 節省人力與時間，提高工作效率。據一些研究顯示，以電腦來實施同一版本的紙筆測驗，前者只需後者的57%的施測時間。 5. 可作適性化測驗，達因材施教的評量環境。 6. 在施測中，可收集測驗過程或受試者額外的訊息，可提供改進施測的依據，亦可做認知診斷的分析。 7. 題庫眾多，擴充、修改容易。 8. 可將測驗標準化，進行情境的有效控制，避免人為的情境干擾。 9. 可降低測量的誤差，如利用電腦可控制顯示題目的數目，避免字跡對評量的影響。 10. 易引發學習動機。電腦化測驗結合網際網路之後，其更可以提供超越時空、隨選隨測、更彈性的施測環境(何榮桂，1997)。McCormack and Jones (1997)認為網路測驗能夠改善評量的程序和方法，因為網路測驗具備有節省時間、即時回饋、減少資源、保存記錄、更加便利等特性。然電腦化測驗亦存在著一些問題，是值得我們注意的，本研究亦參考相關文獻整理如下(李連順，2000；林裕集，2001；林敏芳，2005；陳志信，1993；Mazze and Harvey,1988； Ager,1993)： 1. 試題呈現的方式，電腦化測驗通常採一題一題的方式呈現，遇到過長的閱讀測驗文章往往須加修改，以免受試者在閱讀時必須按鍵以控制螢幕移動。 2. 能否回溯再答或修改，傳統測驗中，受試者是可以回頭或跳過題目、或對不滿意的題目進行修改。但從測驗理論看，此種情形亦造成誤差，電腦測驗的學者多不主張修改先前的答案。 3. 電腦化測驗題型多限於選擇題、填充題，因電腦很難判斷開放式的答案。 11 .

(21) 4. 測驗實施時，施測者需準備足夠的電腦供受試者使用，且必須考慮電腦當機的問題。 5. 題庫的建立不易，對教學者或出題者而言，題目的數量越多越好，除要兼顧數量外，亦得注意題目的品質，得需花費大量的時間與人力。 6. 實施網路測驗時，由於遠端冒用的替身的問題仍無法解決，因此考試作弊的問題無法獲得有效的控管。 7. 電腦化測驗較不適合呈現必須閱讀文字章節的題型，因為螢幕解析可能增加閱讀的困難性。 8. 網路塞車所造成的問題，會因題目及回饋的延遲造成測驗結果而有所影響，亦可能造成受試著的不良反應，影響其作答。 9. 類似數學、理化等必須計算的題目，學生會因為必須在草稿紙上抄下題目在計算，而可能影響其作答速度。雖然電腦化測驗存在著這些問題需要注意改進，但林敏芳(2005)認為若能著眼於克服線上測驗目前所遭遇的一些問題，相信未來以線上測驗取代傳統測驗將是指日可待，且若能建立一個完整的評量系統，則將為改進傳統的學習注入一個新的契機，如此一來，教師也可將多餘時間投注在形成性的評量上，並採用歷程記錄、觀察、實驗記錄等多元化的評量方式來實施，以改進教學和學習。電腦化測驗與紙筆測驗的結果是否相同？根據楊亨利與應鳴雄(2005) 的研究結果顯示「已擴充語意後的智慧型評分機制」與「紙筆評分」的評分結果並無顯著差異；陳新豐(2005)研究發現，若將傳統紙筆式測驗和電腦化測驗做一個比較，在認知方面上，其測驗人數相等時，測驗效果並無差異，而且參數估計也是一致的；陳易芬(1993)利用加州評量測驗的分測驗，進行電腦化測驗和紙筆測驗的比較，在各自的平均數、標準差、信度、標準誤等方面，其研究結果顯示兩者沒有差異。 12 .

(22) 綜合上述，電腦化測驗已是未來測驗發展的趨勢所在，因此本研究結合電腦的優勢及網路的便利性，以Siegler(1981)的規則評量為核心理論，發展一套相關性思考解題規則的施測系統，藉此分析診斷受試者的解題策略。. 第二節相關性思考概念洪榮昭(2002)針對創意教學發展出一個成效評估指標，共有八項評估指標，相關性思考屬於聯想性思考指標中的子項目，其意義為依物性的意涵做相關連結或依類似事理舉例。然相關性思考為相關性概念的一環，而相關性概念在各領域有廣泛的應用，如在統計學上，相關性(correlation)指的是兩個隨機變量次序之間對應關係，當其中一個變量增加或減少時，另一個變量亦會隨之改變，通常以相關係數(correlation coefficient)來代表兩個變數之間關係密切與否的程度(林清山，1992)。在認知心理學上，Piaget 認為相關性的概念衍生於概率觀念與一種與比例結構相似的結構之綜合，其亦是Piaget總結出的八種形成結構化的運算格式之一(陳惠萍， 2007)。相關性的認知發展有賴於分類概念的成熟，而Piaget認為物體間「分類(classes)」與「關係(relations)」是兒童脫離具體或直覺思維的重要關鍵(李其維，1995)。Piaget將人類的認知發展分為感覺動作期、前運思期、具體運思期及形式運思期，其分類與關係之理解在各時期亦有所不同，並指出兒童對於「分類」與「關係」的概念，會由分開到最後發展成合為一體的理解。相關性思考在國小階段提及甚少，故研究者針對國小高年級學童，以此概念設計測驗題目，題目旨在辨別兩班學童身高與體重的相關性，藉此刺激學童判斷與思考，亦盼能以此對後續研究者提供參考之用。. 13 .

(23) 第三節規則評量方法壹、規則評量方法概論受試者解決問題時會依循某種方法或策略的心理歷程稱之為解題規則 (Jansen and Van der Maas, 2002) ，亦即當解題者面對問題時，會基於既有的知識架構或經驗，用適當的方法或策略來解題(林原宏、游森期， 2006)。然而，Jansen and Van der Maas (1997)將解題規則分析方法的探究稱之為規則評量方法論(rule assessment methodology)。規則評量方法是Siegler 改進Piaget研究方法的重要發現，其意義是以解題者在解題過程的反應得知其使用的規則，並以規則作為評量的單位分析，瞭解解題者的思考的模式，目的在於透過評量人們已知的知識來提昇學習能力。規則評量方法有其基本假設與限制(Siegler, 1981)：1.解題者會依照假設的規則來解題；2.可從解題者的作答反應組型看出其所使用的規則；3. 概念的發展可透過逐次增加有用的規則來呈現。有關測驗的概念必須有其解題規則作為根本，而解題規則與認知發展息息相關，Siegler(1981)在 Piaget的液體保留問題在概念發展研究中，指出不同階段的兒童在面對不同問題時，所考量的面向會有所不同，其所採取的解題策略亦有所不同。然解題規則的發現，往昔大多以晤談方式進行，其所耗費時間過多，近年來已運用資訊科技進行解題策略的模擬，如Shranger and Siegler (1998)運用電腦模擬及瞭解孩童的能力，可簡單的檢測出學齡前兒童對加法策略的選擇。. 貳、談各種規則評量的方法探究解題規則的方法，可分為質性與量性兩大部份，說明如下所示。一、質性的分析方法在質性分析方法上，以早期的Inhelder and Piaget (1958)觀察與訪談兒童的思維為代表，透過觀察、晤談與紀錄，可深入分析解題者的解題思考 14 .

(24) 歷程與策略。晤談是質性研究的主要方法，以一系列的問題和受試者進行問答，以不強調受試者答案的正確性為原則，不斷的溝通，直至了解學生可能的想法為止(郭重吉、吳武雄，1990)。後續許多相關文獻以晤談方式進行研究，如Watts (1983a, 1983b) 以晤談方法探究學童對力與對能量的概念；Hardiman (1984)利用學童嘗試測驗時的晤談來啟發對槓桿的平衡情形做預測；White and Gunstone (1992) 以POE (PredictObserveExplain)晤談來探究學生對於物體平衡、重量與位置高低間三因素間的概念情形；Halford and Dalton (1995) 以晤談來比較2 到3 歲學童教學前後對槓桿平衡的判斷情形；Welzel (1998) 利用晤談配合紙筆測驗的前後測來探究學生對機械的概念；Michelle (1998) 運用紙筆測驗及操作具體物時的晤談來探究多樣化的簡單機械教學前後所呈現對槓桿概念的想法。然而，質性研究所得的結果可提供量性研究的依據，但質性研究較費時費力，且樣本人數少，不適於做推論，且需注意研究者或解題者的主觀特質或因素(林原宏、游森期，2006)。二、量性的分析方法量性研究是指以量化的統計與測驗方法分析研究資料，其所得到的結果，可提供推論依據，以下分述五種量性分析方法。（一）Seigler 的認知分析 Siegler 長期致力於兒童成長期間的解決問題和推理，並著重在「策略選擇」，「長期的學習」，及「教育應用」的認知發展理論之研究，主要以Piaget的「兒童認知發展階段理論」結合訊息處理學習論中的「演化 (evoluctionary)」作為研究理論基礎，因此亦被稱為新皮亞傑學派的成員之一(李雅林，1996；彭杜宏、劉電芝，2004)。Seigler (1976) 曾設計30題平衡槓桿作業，在一個平衡槓桿上，變換砝碼放置的位置，要求兒童預測槓桿會向左下垂、向右下垂或保持平衡，其槓桿圖如下圖21所示。. 15 .

(25) 圖21 槓桿圖經分析兒童在平衡作業上的解題行為後，Seigler指出兒童是依據瞭解層次，而表現出不同的解題行為，且認為層次的發展具有一致性，可透過規則一～規則四的獲得，而在題目上表現進步。然而，後續Seigler (1981)依據Piaget的規則模式，針對平衡桿問題設計出六種問題模式情境，來偵測四個解題規則(Jansen & van der Maas, 1997)，其內容如下： 1. 相等問題(equal problems)：首位和次要面向之值相同。 2. 主要面向問題(dominant problems)：首位面向的值不冋，但次要面向的值相同。 3. 次要面向問題(subordinate problems)：次要面向的值不同，但首位面向的值相同。 4. 首位面向衝突問題(conflict dominant problems)：首位面向與次要面向皆不同，首位面向影響較大。 5. 次要面向衝突問題(conflict subordinate problems)：首位面向與次要面向皆不同，而次要面向影響較大。 6. 相等衝突問題(conflict equal problems)：首位面向與次要面向皆不同，而兩面向的衝突影響互相抵消。在該研究中，以5、9、13、17歲等不同的年齡層學生為對象進行實驗施測，發現不同年齡層的學童，在不同的問題模式的表現是有所差異的，其結果大致如下： 1. 首位面向衝突問題的表現，五歲孩子答對率為89%，而十七歲的孩子. 16 .

(26) 答對率為51%，可知在這些問題的表現，十七歲表現的比五歲孩子差。 2. 而在次要面向不同的問題表現五歲孩子答對率為9%，而九歲的孩子答對率為78%，而十七歲的孩子答對率為95%，在此類型問題從五到十七歲，其發展漸增。 3. 相等及首位面向衝突問題兩種問題表現，有持續性的正確，從 88%~100%。 4. 次要面向衝突(次要面向影響較大)問題及相等衝突(首位面向與次要面向的影響相抵消)問題的表現，分別是7%~40%及11%~50%。透過學童在各種問題的反應可分析其解題規則，可了解其在該概念的發展情形。而本研究的測驗問題亦參考其中的次要面向不同的問題、相等衝突問題以及首位面向衝突問等三類問題模式進行編製。 Seigler將兒童的解題規則之發展，用一種流程圖來表示，其是利用電腦程式語言的處理流程圖(If….then….else)概念來說明四種解題規則的過程，以找出兒童所使用的規則，其流程圖如圖22、圖23、圖24、圖25 所示。(胡啟有，2008；Seigler, 1981) . 圖22 Seigler的規則評量方法之解題規則一模式. 17 .

(27) 圖23 Seigler的規則評量方法之解題規則二模式. 圖24 Seigler的規則評量方法之解題規則三模式 18 .

(28) 圖25 Seigler的規則評量方法之解題規則四模式. 由上述流程圖可知四種規則具有階層性，規則一屬最低階的策略，依序至規則四屬最高階之策略，其考慮較多的面向及變數，且能有系統的進行解題。Siegler and Alibali(2005)認為確認典型的規則發展順序和兒童使用的方法，是為了可以協助教師預測採用哪一種教學經驗，來幫助特定兒童的學習，由此可提昇教師的教學效率及學童學習的成效。 Siegler(1982)除了將規則評量方法應用在槓桿問題上來研究兒童的推理外，尚有投影、填滿、機率、數的保留、液體質量保留、固體質量保留、數數、河內塔問題、道德推理問題、時間、速度及距離等問題上，發現了在教育上有重要影響的八個結論，說明如下。 1. 透過研究發現，以往認定對兒童的先備知識的描述可能不正確。 2. 使用規則評量方法著重於不同任務間之推理的穩定性。 3. 研究發現，兒童的推理不受時間性的影響，在不同時間點給予相 19 .

(29) 同的任務，兒童的推理一致性相當的高。 4. 若能正確的測出兒童的先備知識，對兒童可提供最有效的指導方式。 5. 特殊的知識並非影響學習的唯一因素，例如年齡亦是影響其發展或規則選擇的因素之一。 6. 編碼(encoding)與學習能力的關係：有限的編碼會使學習能力亦受到限制，亦即編碼能力是可以訓練的。 7. 提昇兒童的學習能力，應多注重改善兒童編碼的因素，如鼓勵兒童嘗試用分析的態度。 8. 使用規則評量方法的經驗可獲得一系列的知識，其可改善兒童的編碼能力。由上述可知，Siegler將規則評量方法應用於認知發展上，主要是著重於兒童的先備知識、學習能力及刺激兒童的編碼等三個面向，其在探討具不同先備知識對學習的影響，及不同發展狀況下兒童學習能力之差異等教育議題，亦可見規則評量在教育上的意義。（二）潛在類別分析(latent class analysis) 潛在類別分析(簡稱LCA)是一種潛在特質分析的模式，其是利用測驗題型的反應組型，將受試樣本作最佳的異質群體分類，依據每一類別下的試題答對機率，來詮釋受試者使用解題規則或策略的內在認知結構(吳毓瑩、林原宏, 1996；Jansen & Van der Maas, 2002)。Jansen and Van der Maas (2002)認為Siegler (1976)所提出的規則評量方法，是將受試者歸類至使用某種規則評量，其無法完全適用，因此提出潛在類別分析方法應用於平衡槓桿問題之解題規則分析上。潛在類別分析在教學上主要提供兩大用途，作用是在分群，以利各組群的教學及學習效力之提昇，其一是將同質性的學生分成同組，此可針對學習上共同的問題進行修正，亦可使學習步伐一致，達到相加相成的功 20 .

(30) 效；其二是異質性的分組，此可配合討論活動或合作學習，因異質性高，可達不同認知結構的轉變與同化。（三）試題反應理論(item response theory, IRT) 試題反應理論是當代心理計量學主流理論，其對心理與教育測驗等有革命性的突破，甚至對於社會科學或人類科學 ( human sciences ) 等常用之問卷調查、評等量尺、排序等亦有相當大的影響。試題反應理論係從試題作答反應(item response)觀點，來探索與分析測驗等化、題庫建置、測驗編製、電腦化適性測驗、差異試題功能、其他測驗應用等議題，有別於以整份測驗作答反應(test response)角度立論的古典測驗理論內涵(余民寧， 2009)。然而，其模式相當多，本研究列舉幾種理論進行說明，如下所示。 1. 規則空間模式(rule space) Tatsuoka (1983)提出一種「規則空間」(rule space)的數學模式，是用來診斷及偵測小學生在解決算術中四則運算上的錯誤規則 (erroneous rules) ，藉由學生的反應組型，可推論受試者的潛在知識狀態 (latent knowledge state)，更深入可瞭解其知識結構。研究發現學童使用錯誤規則來解題，因此產生系統化的錯誤，這些錯誤反映在學童的不尋常反應組型裡，同時，他們導出這些觀察得到的失誤情形的理論分配，並且稱這個分配為「失誤分配」(bug distribution)。這項重要的發現，對教育的實務問題具有很重大的涵意：教師可以透過有目的、結構化的設計試題，經過規則空間的分析，就能順利找出或診斷出具有認知失誤、或「錯誤概念」 (misconception)的學生來，以便對症下藥進行補救教學(余民寧，1994)。使用規則空間的評量方法，其所採用的試題必須經過特別的設計，如此才能從受試者的試題反應，診斷出受試者的知識狀態。每道試題必須包含幾個認知屬性(cognitive attributes)，這些認知屬性需要能反應出知識的向度。必須注意的是，試題所包含的認知屬性並非由規則空間的方法所產生的，而是透過工作分析(task analysis)的方式，分析出能代表該知識領域的 21 .

(31) 表現行為(涂金堂，2003)。亦即經由認知屬性與試題反應理論的架構下，依據受試者的反應組型，即可推論出其可能的解題規則。綜合上述，規則空間模式可提供豐富且準確的診斷訊息，供教學者判斷學習者的學習歷程與學習成果，然而，目前可能還無法廣泛被應用至教學現場，其原因一是評量者會對於規則空間的複雜公式不熟悉，而不知如何採用此法；之二是教學心理學對於各學科領域的學習教材，尚未有豐碩的研究成果，供教學者參考編製符合規則空間模式要求的評量試題。因其任何概念都需事先建立一套規則空間，對於編製適用此模式的試題著實不易。 Linn(1990) 就曾評論說：「 Tatsuoka 的研究僅限於結構良好 (well structured)的問題領域，至於結構較不良的問題，規則空間是否仍能提供有用的訊息，則有待日後的證實」。因此，發展一套分析技術，以期能適用於各種學科領域知識的診斷，是未來認知診斷測驗可以走的方向(余民寧， 1994)。 2. 線性邏輯測驗模式(linear logistic test model, LLTM) 線性邏輯測驗模式是由Fischer (1973)所發展出來的，是Rasch 模式的一種延伸。運用線性邏輯測驗模式的評量方法，即可透過受試者的試題反應組型，推估出受試者可能因沒有具備某種認知操作的知識或技能，而導致無法答對包含該種認知操作的題目。同時，也可推估出全部試題的所有認知操作，哪些認知操作是受試者比較容易學習獲得的，而哪些認知操作對受試者是比較艱深的。其在應用實例上，Spada and Kluwe(1980)以949 名中學生為研究對象，採用線性邏輯測驗模式，探究中學生解決24道槓桿平衡的試題。Spada and Kluwe 歸納出解決這些槓桿平衡問題時，所可能需要具備的8項認知操作。此模式的優點是比Rasch 模式更能診斷出受試者因缺乏某種認知操作的知識或技能，而無法答對包含該種認知操作的試題。據此，教學者可由線性邏輯測驗模式所提供的診斷訊息，更清楚掌握受試者的學習歷程。缺 22 .

(32) 點是線性邏輯測驗模式是以Rasch模式為基礎，再加以擴增對試題難度的探討，而Rasch 模式常被批評的缺點是並未考慮鑑別力參數與猜測參數，而這個缺點同樣也出現在線性邏輯測驗模式上。另外，若想採用線性邏輯測驗模式的評量方法，則必須使用Fischer 所開發的LpcM 套裝軟體，才能進行各種參數值的估算。礙於LpcM 套裝軟體的取得與LpcM 套裝軟體的使用能力等因素，目前線性邏輯測驗模式，並未廣泛的被應用在教室的教學評量(涂金堂，2003)。 3. 混合策略模式(mixed strategies model) 混合策略模式是由Mislevy and Verhelst (1990)所提出，他們認為 Fischer(1973)的線性邏輯測驗模式對於試題的測驗內容，已經關注到不同的認知操作。但這些不同的認知操作，通常被假定為使用於同一種解題策略，亦即所有受試者會採用同一種策略，解決所有測驗的試題，而這些試題則包含了各種不同的認知操作。然而混合策略模式則是假定受試者對同性質的所有試題，可能會採取不同的解題策略。混合策略模式的這一點假定，是比較符合受試者的真實解題情境，亦即對同性質的試題，受試者可能會採用不同的解題策略。其次，將受試者的試題反應組型，透過混合策略模式的估算，可以估算出不同能力值的受試者，選擇不同策略的概率函數值的高低，據此，可推估不同能力值的受試者，較可能採用何種解題策略。使用混合策略模式的前提是，評量者必須事先確定受試者可能會採用哪幾種不同的解題策略，而這個部分則有賴於心理學提供豐富的研究成果，但以目前教學心理學對於各學科領域的探究成果，可能無法有效滿足評量者的需求(涂金堂，2003)。 4. 解題規則診斷之測驗模式 Misailidou and Williams (2003)整理相關文獻後進行比例理解試題的編製，以Rasch 模式之試題反應理論進行檢驗，晤談所提供診斷詮釋為依 23 .

(33) 據，建立解題規斷之題庫，其可提供教師及研究人員用此測量和診斷孩子有關比例理解的想法。（四）劇變論(catastrophe theory, CT) 劇變論是由法國數學家Thom (1975) 從拓樸學中提出的一種幾何模型，能夠描繪多維不連續的現象，其以突變作為數學模型來描述不連續的現象，並掌握其規律性。這套理論會受眾人矚目，就是因為自然界中有許多不連續的現象及系統等待處理，然近年來研究者已擴展到社會科學。Van der Massand Molenaar (1996) 則將劇變論應用於解題規則發展階段的分析與解題規則的探討，其頗能解釋解題規則發展階段的現象，但因其理論艱深難懂，在實用上較不普遍，因此一般研究較少將劇變論應用於分析上。（五）知識空間(knowledge space)模式 Doignon and Falmagne (1985)所提出的知識空間模式是用來做為評估學生學習成效的一種方法，其必須先在測驗之前分析解題的所有操作，再針對各個操作的難易及學習上的先後次序，亦即知識空間模式可以評量出學習者的知識結構，藉此可以診斷出學習者對各概念之間的異同情形，是否產生適當的連結關係。然此模式是經由專家分析數學學科的操作，認為可由一個題目來表現一個操作，並針對各操作設計題目，其過程相當繁瑣，需要用到許多複雜的心理計量公式，軟體開發亦較稀少(如PRAXIS)，因此，此模式較少應用於教學評量中。. 參、相關性思考的解題規則本研究之解題規則改編自Awang(1984)魚的問題(The Fish Problems)的四種相關性思考的解題規則，主要是藉由魚的大小與魚的顏色(黑、白)之間的相關性，探討受試者在此概念的解題規則模型，其題目如下所示：圖26中，有左右兩圖的魚，有些大、有些小、有些黑、有些白，請仔細的觀察每個圖，並回答下面的問題：. 24 .

(34) 請問你認為在下面兩圖中，魚的顏色和大小，哪一個圖的魚看起來黑的傾向大，白的傾向小的情形比較明顯？. 圖26 Awang魚的問題圖本研究以解題規則流程圖說明四種規則的使用，為方便說明，假設左邊圖黑且大及白且小的魚總數為LC；左邊圖白且大及黑且小的魚總數為 LD；右邊圖黑且大及白且小的魚總數為RC；右邊圖白且大及黑且小的魚總數為RD。其各規則流程圖如圖27、圖28、圖29、圖210 所示。(陳惠萍，2007；Awang,1984) . 圖27 Awang之相關性思考的解題規則一模式. 25 .

(35) 圖28 Awang之相關性思考的解題規則二模式. 圖29 Awang之相關性思考的解題規則三模式. 26 .

(36) 圖210 Awang之相關性思考的解題規則四模式由上述流程圖，可將四個解題規則下的作法整理成表23 說明，如下所示。表23 Awang之相關性思考各規則下之作法規則. 規則作法說明直接比較主要面向值，即比較黑且大和白且小的魚之數量和，. 一數量多者相關性大。先比較主要面向值，即比較黑且大和白且小的魚之數量和，若二. 相同，再比較次要面向值，即比較黑且小和白且大的魚之數量和，數量大者相關性較小。先將各圖中黑且大和白且小的魚之數量和，與白且大和黑且小. 三的魚之數量和進行相減，算出差值，差值較大者則相關性較大。先將各圖中魚黑且大和白且小的數量和，與魚白且大和黑且小四. 的數量和進行相減，算出差值，再除於各圖中魚的總數，並取其絕對值，比較最後所得的比值大小，比值大者相關性較大。. 27 .

(37) 綜合上述，可與Seigler的規則評量方法之流程圖進行比較，規則二部份，圖23其流程選擇的是次要面向較多的值，而圖28選擇的是次要面向較小的值，兩者在流程上是有所差別的；規則三部份，比較圖24與圖29，經後續研究Seigler從1970年Fischbenin、Parmpu、Manzatn及1975年Chapman 等人的研究文獻中，發現兒童在使用規則三時，是利用減法的方式進行解題，而非胡亂猜測(胡啟有，2008)，圖29即是利用減法方式進行解題與圖 24有所不同；最後規則四的部份，比較圖25與圖210，圖210則是以兩面向之差值再除以魚的總數之比值，並取其絕對值，較明確地說明圖25之適當地組合兩面向的值。. 第四節精緻試題有向圖分析壹、精緻試題有向圖分析概論精緻試題有向圖分析(refined item digraph analysis, RIDA)是由Bart and WilliamsMorris (1990)所提出，主要應用於試題分析，其採用半密集試題 (semidense item)的前兩種特性，反應解釋力(response interpretability)和反應區別力(responsediscrimination) 作為衡量試題的解題規則診斷功能之兩大指標，Bart & WilliamsMorris (1990)認為，試題若無解題規則的解釋與區別功能，雖有嚴謹的認知診斷模式，亦無法進行解題規則的認知診斷探討。其中半密集試題(semidense item)是指一個試題能精確解釋學生在解題時所犯的錯誤，這個試題就稱為半密集，其具有反應解釋力(response interpretability)、反應區別力(response discrimination)、規則區別力(rule discrimination) 、詳盡規則慣用性 (exhaustive rule set usage) 及半密集 (semiDensity)等五項性質(Bart et al.,1994)。. 貳、精緻試題有向圖分析 Bart and WilliamsMorris (1990)所提出的精緻試題有向圖分析(refined 28 .

(38) item digraph analysis, RIDA)是一種心理計量模式，其能檢視解題規則之測驗試題品質，以反應解釋力與反應區別力作為衡量試題之認知診斷力的兩大指標。下面以Bart and WilliamsMorris (1990)所舉的試題例子，說明反應解釋力與反應區別力的意義。假設試題2+2＝( )有三種反應，即0、1和4等三種答案選項，可以利用加減乘除等四種規則對應表示，如圖211表示。. 題目 . 反應. 規則 . 0 . 2＋2 2－2 . 1 . 2+2=( ) . 2´2 4 2÷2. 圖 211 試題 2+2=( )的反應與規則對應圖. 如圖211所示，將其整理成表24的反應與規則對應關係表，其中反應若能被規則所解釋，則以1代表，若無，則以0代表。表 24 試題 2+2=( )的反應與規則的對應關係表規則列總和 . . 應反. 2＋2 (規則 1) 0 (反應 1) 1 (反應 2) 4 (反應 3) . 0 0 1 . 2－2 2´2 (規則 2) (規則 3) 1 0 0 . 0 0 1 . 2÷2 (規則 4) . dis i . 0 1 0 . 1 1 2 . 反應解釋力指的是該反應能被規則所解釋的程度，若測驗試題的每一個反應至少可以被一個規則所解釋時，則該測驗試題便具有反應解釋力，例如表24中，答案選項為0時(反應1)可以被減法(規則2)所解釋。然而，反應解釋力的值介於［0,1］之間，0代表試題的所有反應都不能被規則解釋， 29 .

(39) 1代表試題的所有反應都能被規則解釋，林原宏(2005b)歸納反應解釋力公 I . å int i. 式可令為 i =1 . I . ，其中 I 是反應的數目，當反應 i 對應的列總和 dis i 大於0 . 時，則 int i 為1；反之，當反應 i 對應的列總和 dis i 等於0時，則 int i 為0。所 1 + 1 + 1 = 1 。反應解釋力的值域介於[0,1] 3 . 以，表24中該題的反應解釋力為 . 之間，其值愈高，表示該題的反應愈能被規則所解釋。反應區別力指的是該反應能被規則所區別的程度，若測驗試題的每一個反應都只能被一個規則解釋時，則該測驗試題具有反應區別力，林原宏 I . æ 1 ö. å çç dis ÷÷. (2005b)認為反應區別力公式為 . i =1 . è. i. I . ø. ，其中 I 是反應的數目，而 dis i 是. 1 為0。所以，表24中該題的反應區 dis i . 反應 i 的列總和；如果 dis i = 0 ，則令 . æ 1 ö æ 1 ö æ 1 ö ç ÷+ç ÷+ç ÷ 1 1 2 5 別力為 è ø è ø è ø = 。其反應區別力的值域介於[0,1]之間，其值愈高， 3 6 . 表示該題的反應愈能被不同的規則所區別出來。反應解釋力的數值大小，能提供施測者許多重要的診斷訊息，因為根據反應解釋力的數值大小，施測者可藉由受試者所挑的選項，來推論受試者答題時，可能經歷的各種認知運作歷程。反應解釋力數值越大，越有機會顯現出受試者答題時，可能經歷的各種心理運作歷程。而反應區別力的數值大小，會影響到施測者能否由獲得的相關訊息，正確的推論出受試者答題時，經歷過哪一種認知運作歷程 (涂金堂，2003)。由此可知，反應解釋力與反應區別力在實證研究上，除了可以作為施測者選題的依據外，亦可藉由受試者的作答反應，推測受試者的心理運作歷程或解題策略。. 30 .

(40) 第五節次序理論壹、次序理論概論次序理論之基礎起源於 Guttman 之量表圖分析法(Scalogram analysis) 及線性量尺技術 (linear scaling technique) (Jansson, 1986)。Guttman 量表圖分析法可以找出測驗試題的次序性，以利試題編排，其分析僅限於線性次序(linear ordering)的分析，所能提供的階層關係訊息有限。然而，為改善其分析缺陷，Airasian and Bart 於 1973 年提出次序理論，其可分析線性與非線性次序的關系，主要應用於衡量兩試題間的次序關係，可呈現試題階層(item hierarchy)(林原宏，2005a)。 Airasian and Bart (1973) 指出次序理論有兩個一般性的目的：(1) 測試兩個項目間的假設性的次序，以確定其次序關係；(2)將未具備假設性次序的項目進行一般化的次序，以判斷該些項目是否具有次序關係。此外，由 Bart and Krus (1973)研究中可知，次序理論僅能處理二元的資料，即侷限於二元計分的試題，不過為了使其應用在多元計分的研究領域上，Lin, Bart and Huang (2006)已將次序理論擴展到加權式廣義多元計分的模式。. 貳、次序理論的分析由上述可知，次序理論主要應用於分析試題間的次序關係，例如，試題 i 為試題 j 的先備條件，意旨試題 i 是試題 j 的下位概念，反之試題 j 為試題 i 的上位概念。下列以「試題i 和試題j 的答題人數之列聯表」說明二元計分的試題i 和試題j (i ≠ j )之間的關係，其中答對以1 表示、答錯以0 表示，如表25 所示(林原宏，2005a)。. 31 .