國立臺中教育大學教育測驗統計研究所理學碩士論文
指 導 教 授：林原宏 博士
平衡槓桿問題解題規則之網路施測系統與實
證分析
研 究 生：張惟翔 撰
中 華 民 國 九 十 七 年 一 月
中文摘要
本研究目的旨在研發 Balance Beam 的網路評量與解題規則分析系統，研究者 應用 Bart and Krus (1973) 提出的次序理論 (ordering theory) ，分析受試者在解決 Balance Beam 問題時，所使用的解題規則次序性及解題規則階層結構。文獻中有 關 Balance Beam 的相關研究中，不外乎使用紙筆測驗或晤談的方式來收集學生的 解題資訊，而且著重於探討解決 Balance Beam 問題所使用的解題規則類型、迷思 概念及分析所使用解題的方法，並沒有分析解題規則次序性；而在心理計量的相 關研究中，次序理論主要應用於試題階層分析，而本研究則將利用網路施測並應 用次序理論分析解題規則階層結構。 研究者經過系統分析與設計之後，進行 Balance Beam 網路評量系統建置，並 參考 Siegler (1976) 的研究，編製 18 題的「Balance Beam 問題」測驗，實施線上 實測。研究結果顯示： 一、Balance Beam 網路評量系統可以分析解題規則次序並且繪製解題規則結構 圖，是一套施測與分析穩定的網路系統。 二、總分不同的受試者，對於 Balance Beam 問題所使用的解題規則階層不盡相同。 三、總分相同但反應組型不同的受試者，其解題規則次序性與階層性都不相同。 四、經由使用者的問卷分析顯示，Balance Beam 網路評量系統適合國小學童施測 使用，且測驗方式與操作方式簡單容易。 關鍵字：平衡槓桿問題 次序理論 解題規則 網路測驗An Network System on Balance Beam Testing with
Analysis of Hierarchies for ProblemSolving Rules
Abstract
The main purpose of this study is to develop online balance beam assessment system. With application of scoring based on ordering theory, the sequence of problemsolving rules and features of the problemsolving hierarchies will be analyzed and discussed. Most literatures related to balance beam adopt paperpencil test or interview to collect students’ problemsolving information so that they focus on misconceptions and problemsolving. However, little is known about the hierarchies and relationships of problemsolving rules. As for the measurement theory, the ordering theory is mainly applied in the item hierarchies analysis. Consequently, this research will utilize the internet to assess and use ordering theory to analyze the features of problemsolving hierarchies. The results and findings of this research are as follows 1. Balance beam assessment system can analyze the ordering and hierarchies of problemsolving rules. 2. Subjects of various total score display varied ordering and hierarchical structures of rule usage in the balance scale task. 3. Subjects with distinct response patterns own different ordering and hierarchical structures of rule usage in the balance scale task. 4. Balance Beam assessment system is proper to be utilized by primary school students and the operation is easy to learn. Key words: balance beam task, ordering theory, rules of problemsolving, online test目錄
壹 緒論………..….1
第一節 研究動機……….1 第二節 研究目的……….………3 第三節 名詞解釋……….………3貳 文獻探討………..……….5
第一節 Balance Beam 的解題規則……….………5 第二節 Balance Beam 現行教材與相關研究………...11 第三節 解題規則次序分析………...17 第四節 網路評量系統………...21 第五節 系統開發與系統評估………...24 第六節 精緻試題有向圖分析方法………...29參 研究方法……….………32
第一節 研究架構………...32 第二節 研究工具………...33 第三節 系統分析與設計………...39 第四節 系統建置與測試………...53肆 結果與討論……….56
第一節 Balance Beam 問題的答對率分析………...56 第二節 年齡與性別的交互作用分析………...60 第三節 Balance Beam 問題的解題規則階層結構分析………...62 第四節 使用者問卷分析………...75
伍 結論與建議……….………77
第一節 結論……….………..77 第二節 建議………...79參考文獻……….………81
附錄……….………86
附錄一 測驗說明……….………..86 附錄二 Balance Beam 問題測驗……….………..88 附錄三 測驗過程圖解……….………..90表目錄
表 21 Balance Beam 問題的題目類型……….…………...9 表 22 學童所使用的解題規則對每種題目類型的答對百分比……….11 表 23 自然與生活科技領域與槓桿概念有關之教材內容…….………12 表 24 Siegler (1976)各年齡在六種題目類型答對百分比………..13 表 25 Jansen and Van der Maas (2003) 各年齡在六種題目類型答對百分比…...14 表 26 試題i和試題 j的答題人數之列聯表 ( i ¹ j ) ………..18 表 27 規則I 和規則J 的反應次數之列聯表 ( I ¹ J ) ………19 表 28 題目的反應與規則的對應關係表……….………31 表 31 Balance Beam 問題………...………...34 表 32 各類型題號……….………34 表 33 各規則下所得到的各題答案……….………35 表 34 試題第 1 題的反應與規則的對應關係表……….………35 表 35 各試題的反應解釋力與反應區別力……….………36 表 36 規則I 和規則J 的反應次數之列聯表 ( I ¹ J ) ………36 表 37 資料流程圖使用符號說明……….………40 表 38 教師資料表格……….………50 表 39 學生資料表格……….………51 表 310 試題資料表格……….………..51 表 311 試卷資料表格………...52 表 312 測驗資料表 A………52表 313 測驗資料表 B………52 表 314 問卷資料表………...53 表 41 Balance Beam 問題測驗中各題各選項人數分布百分比…….………56 表 42 各年齡在 Balance Beam 問題各題中的答對率 (%) ………57 表 43 各年齡在六種題目類型答對百分比……….………58 表 44 不同性別在 Balance Beam 問題各題的答對率 (%) ………60 表 45 二因子變異數分析摘要表……….………61 表 46 年齡的事後比較摘要表……….………61 表 47 「Balance Beam 的網路評量系統」使用者評估問卷……….75 表 48 使用者評估問卷結果……….………76
圖目錄
圖 21 Rule Ⅰ的解題規則……….……….5 圖 22 Rule Ⅱ的解題規則……….……….6 圖 23 Rule Ⅲ的解題規則……….……….7 圖 24 Rule Ⅳ的解題規則……….……….8 圖 25 第一類平衡題………...9 圖 26 第二類重量題………...9 圖 27 第三類距離題……….………10 圖 28 第四類衝突─重量題……….………10 圖 29 第五類衝突─距離題………...………..10 圖 210 第六類衝突─平衡題………...10 圖 211 全功能式系統開發程序………...24 圖 212 試題(1,6)vs.(3,2)的作答選項反應與規則對應圖………...30 圖 31 研究架構……….………32 圖 32 (2,5) vs.(2,5)圖示………33 圖 33 「Balance Beam 網路測驗系統」 系統流程圖………..40 圖 34 「Balance Beam 網路測驗系統」 系統架構圖………..43 圖 35 「系統登入」 處理流程設計……….45 圖 36 「試題編製」 處理流程設計……….46 圖 37 「試卷編製」 處理流程設計……….………46 圖 38 「測驗設定」 處理流程設計……….………47圖 39 「測驗分析」 處理流程設計……….………48 圖 310 「受試者功能」處理流程設計………49 圖 41 各年齡在六種題目類型答對率折線圖……….…………58 圖 42 不同性別在六種題目類型答對率折線圖……….59 圖 43 不同總分之六位受試者的解題規則階層結構圖……….………64 圖 44 高分組總分相同但反應組型不同之受試者的解題規則階層結構圖……..68 圖 45 中分組總分相同但反應組型不同之受試者的解題規則階層結構圖……..71 圖 46 低分組總分相同但反應組型不同之受試者的解題規則階層結構圖……..74
壹 緒論
第一節 研究動機
受試者的解題過程與思考方式往往是教學者想要探究的內容，但是傳統的紙 筆測驗得到的結果只是一個總分，得分較高代表受試者有較佳的能力，但卻無法 得知受試者的思考方式；若得分較低，也無法代表受試者有錯誤的解題過程或思 考方式；然而只靠這樣的總分，並無法讓施測者了解受試者的解題過程與思考方 式，如果能夠得知受試者的解題過程或思考方式，便能了解受試者的迷思概念或 知識結構。 當受試者在面對問題時，往往依照自己以往的知識與經驗，發展出適當的方 法和策略來解決問題；受試者會運用各種辦法以達到目標或求得解答，而且同一 個問題，每個人所採用的解題策略並不一定相同，甚至一個人處理不同類型的問 題可能使用的方法也不同 (林香，2003) 。然而解題策略的正確與否會實際的影 響到作答的情形，使用了正確的策略或規則，便會得到正確的答案；使用了錯誤 的策略或規則，則會得到正確或錯誤的答案，如果能夠了解受試者解題時所使用 的策略或規則，則能夠知道受試者的錯誤概念或迷思概念，進而進行補救教學。 正確的解題規則，代表受試者有正確的認知結構，而錯誤的解題規則，代表 有其他不同的認知結構。在平衡槓桿問題 (在此研究中，底下統稱平衡槓桿為 Balance Beam) 的相關研究中，Siegler (1976) 提出了受試者在解決 Balance Beam 問題時，會有許多解題規則，如：規則一 (rule Ⅰ) 、規則二 (rule Ⅱ) 、規則 三 (rule Ⅲ) 、規則四 (rule Ⅳ) 等，而且根據施測的資料中答題的情形，進行 學生概念與解題規則的描述，或是答對率的統計分析 (游光純，2002；賴明照， 2004；Jansen & Van der Maas, 2002; Siegler, 1981) ，但是解題規則代表認知結構， 如果能探討受試者使用解題規則的結構次序關係，針對不同的解題規則進行結構 分析，便略能窺知受試者的認知結構。為了瞭解受試者的解題過程與解題策略，大部分的研究方式都以傳統的紙筆 測驗與診斷教學為主，再進行個別訪談，採用質性研究的方法來瞭解學生在解題 時所使用的概念或解題策略，然而這樣的方式需要耗費大量的時間、人力、物力， 顯然較無效率可言。 Bart and Krus (1973) 提出的次序理論，被視為能試驗項目資料，指出項目間 的邏輯關係，主要將其應用於測驗試題間的階層分析 (Airasian & Bart, 1973) ， 林原宏 (2006) 應用 Bart and Krus (1973) 的次序性定義，提出應用於解題規則階 層結構的分析方法，其實證研究中能顯示受試者使用的優先次序，和規則之間的 關聯，呈現個人的認知結構。因此，本研究欲應用次序理論，來分析受試者在解 決 Balance Beam 問題時，所使用的解題規則階層及次序性，並繪出受試者在 Balance Beam 問題的解題規則的階層結構有其可行之處。 而應用次序理論本質上屬於量性的研究，但縱然使用量性的研究，依然需要 投入相當的人力、物力與時間，首先需要印製大量的試卷，提供受試者測驗，而 在印製測驗卷時，容易產生紙張印製不清楚，或是題目繪製表示不明，造成受試 者不了解題意或錯誤解讀題意；此外將試卷回收之後，進行資料輸入交由電腦分 析，但是資料輸入的過程往往耗力又費時，人為輸入錯誤的機率是相當的高。因 此，利用電腦的影像呈現，可以模擬現實情況，讓題意顯示更加真實，此外，如 果能大量減少資料輸入的時間，減少資料錯誤的機會，能使相關的研究更加迅速 與準確。 基於上述，如能使用網路測驗收集施測資料，並且即時利用電腦作 Balance Beam 問題的解題規則分析，定能節省大量的人力、物力與時間，繪出解題規則 的階層結構，得知受試者在 Balance Beam 問題的認知結構。
第二節 研究目的
1.設計開發 Balance Beam 的網路評量系統。 2.進行實測並即時診斷學生 Balance Beam 的解題規則。 3.以年齡與性別為自變項進行二因子變異數分析。 4.分別就高、中、低分組受試者，比較其解題規則階層結構圖之差異。 5.針對使用者對於系統的施測，分析使用者評估問卷結果。第三節 名詞解釋
一、網路評量系統 利用全球資訊網 (World Wide Web) 的便利性，讓受試者使用電腦，透過瀏 覽器進行測驗以及網路傳送資料，將試題及測驗結果儲存於資料庫中，並應用電 腦儲存與運算的能力做進一步的資料分析。 二、解題規則 ( rules of problemsolving ) 解題規則係指受試者解決問題時會依循某種方法或策略的心理歷程 (Jansen &Van der Maas, 2002) 。當解題者面對問題時，會基於既有的知識架構或經驗， 採用適當的方法或策略來解題，因此解題規則可代表解題者的潛在知識狀態。 三、平衡槓桿作業 (balance beam task) 繞著一固定點可轉動的硬棒即可當槓桿，這一點稱為支點。施力的作用點稱 為施力點，支點到施力點的距離叫施力臂；阻力的作用點稱為抗力點，支點到抗 力點的距離叫做抗力臂。依槓桿上支點、抗力點、施力點三者相互位置的不同， 通常可以分成三種。第一種槓桿支點在中間，主要是用來改變力量的方向；第二 種槓桿抗力點在中間，省力但費時；第三種槓桿施力點在中間，省時但費力。當 槓桿平衡時，施力力矩＝抗力力矩 (施力臂×施力＝抗力臂×抗力) 。本研究以第 一種槓桿為試題工具進行施測，請受試者預測槓桿會左邊落下、右邊落下或是平衡，在本研究稱為 Balance Beam 問題。 四、次序理論 (ordering theory) 次序理論為 Bart and Krus (1973) 所提出，是就二元計分 (dichotomous) 試 題，根據其列聯表資料，計算其先備條件 (precondition) 或次序性關係。首先計 算試題之間的次序性係數，並以閾值來決定試題之間是否有次序關係，有次序關 係即在兩試題間圖繪箭頭表示，若無次序關係則兩試題間沒有圖繪箭頭，次序理 論可以分析試題，呈現試題階層 (item hierarchy)。 五、精緻試題有向圖分析 (refined item digraph analysis, RIDA) 精緻試題有向圖分析是由 Bart and WilliamsMorris (1990) 所提出，以反應解 釋力 (response interpretability)及反應區別力 (response discrimination) ，作為衡量 試題之認知診斷力的兩大指標。反應解釋力是衡量反應能被規則所解釋的程度， 反應區別力是衡量反應能被規則區別的程度。
貳 文獻探討
第一節 Balance Beam 的解題規則
要研究 Balance Beam 問題，首先必須了解關於 Balance Beam 的題目類型與 解題規則；認識了題目類型才能編撰出合適的試卷，了解各樣的解題規則才能進 行正確的分析。一、Balance Beam 的解題規則
解題規則有正確與不正確之分，正確的解題規則會產生對的答案，而不正確 的解題規則會產生錯的答案，也可能產生對的答案 (林原宏、游森期，2006) 。 由此可見使用了錯誤的解題規則雖然可以解決某些問題，但無法解決所有問題。 在 Siegler (1976) 的研究中提出學童解決 Balance Beam 問題的四種解題規則，分 述如下： 規則一(rule Ⅰ)：先以重量做判斷，如果兩邊的砝碼數量相同，將預期槓桿會平 衡；如果砝碼數量不相同，則預期砝碼數量較多的一邊會向下傾 斜，如圖 21。 圖 21 Rule Ⅰ的解題規則 兩邊重量相同? 是 否 兩邊平衡 重的一邊 下傾規則二(rule Ⅱ)：先以重量做判斷，如果一邊的砝碼數量較多，將預期砝碼數量 較多的一邊會向下傾斜；如果兩邊的砝碼數量相同，則認為距離 較遠的一邊會向下傾斜，如圖 22。 圖 22 Rule Ⅱ的解題規則 規則三(rule Ⅲ)：先以重量做判斷，如果兩邊的砝碼數量相同，而距離不相等， 則會選距離較遠的一邊向下傾斜；重量不相等時再考慮距離，如 果兩邊的砝碼距離相同，將預期槓桿會平衡；如果兩邊的距離相 等，而砝碼數量不同，則會選砝碼數量較多的一邊向下傾斜；如 果一邊砝碼數量較多，而另一邊距離較遠，就猜測任何答案，如 圖 23。 兩邊重量相同? 是 否 重的一邊 下傾 兩邊距離相同? 是 否 兩邊平衡 遠的一邊 下傾
圖 23 Rule Ⅲ的解題規則 規則四(rule Ⅳ)：同規則三，除非一邊砝碼數量較多，而另一邊距離較遠，就會 計算砝碼數量與距離的乘積，並預期力矩乘積較大的一邊會向下 傾斜，如圖 24。 兩邊平衡 遠的一邊 下傾 兩邊距離相同? 是 否 兩邊重量相同? 是 否 兩邊距離相同? 是 否 重的一邊 下傾 較重和 較遠的同一邊? 是 否 重且遠 的一邊 下傾 猜測答案
圖 24 Rule Ⅳ的解題規則
二、Balance Beam 的題目類型
Siegler (1976) 的研究中，設計用來探測的平衡桿，在支點兩邊各有四根等距 的柱子，砝碼可圈入柱子中。平衡桿可能左邊向下傾斜、右邊向下傾斜或保持平 兩邊重量相同? 是 否 力矩乘積相同? 是 否 重且遠 的一邊 下傾 較重和 較遠的同一邊? 是 否 兩邊平衡 力矩大的一邊 下傾 兩邊平衡 遠的一邊 下傾 兩邊距離相同? 是 否 兩邊距離相同? 是 否 重的一邊 下傾Beam 問題顯示兩個影響結果的變因─支點兩邊砝碼的數量與砝碼到支點的距 離。這包含了六種問題類型 (Siegler, 1976) ，如表 21 所示。 表 21 Balance Beam 問題的題目類型 題目類型 內容 第一類平衡題 (balance) 支點兩邊的距離與砝碼數量都相同，如圖 25。 第二類重量題 (weight) 支點兩邊的距離相同，但是砝碼數量不相同，如圖 26。 第三類距離題(distance) 支點兩邊的距離不相同，但是砝碼數量相同，如圖 27。 第四類衝突─重量題 (conflict—weight) 一邊砝碼較多、距離較短，另一邊砝碼較少、 距離較遠，砝碼較多的一邊會向下傾斜，如圖 28。 第五類衝突─距離題 (conflict—distance) 一邊砝碼較多、距離較短，另一邊砝碼較少、 距離較遠，距離較遠的一邊會向下傾斜，如圖 29。 第六類衝突─平衡題 (conflict—balance) 一邊砝碼較多、距離較短，另一邊砝碼較少、 距離較遠，槓桿兩邊會平衡，如圖 210。 圖 25 第一類平衡題 圖 26 第二類重量題
圖 27 第三類距離題 圖 28 第四類衝突─重量題 圖 29 第五類衝突─距離題 圖 210 第六類衝突─平衡題 Balance Beam 的解題規則與題目類型之間，有一定的關係存在。Siegler (1976) 的研究中顯示，使用規則一的學童，可以 100%答對第一類、第二類與第四類的 題目類型，但由於首先以重量為考量，對於第三類、第五類與第六類題目類型的
答對機率為 0%；使用規則二的學童可以 100%答對第一類、第二類、第三類與第 四類的題目類型，因為考量「砝碼數較多的一邊傾斜向下」，所以對於第五類與 第六類題目類型的答對機率為 0%；使用規則三的學童可以 100%答對第一類、第 二類與第三類的題目類型，因為對於「一邊砝碼數較多，另一邊距離較遠」的問 題慘生混亂，所以對於第四類、第五類與第六類題目類型的答對機率為 33%；使 用規則四的學童則可以 100%答對所有問題。表 22 顯示 Siegler (1976) 研究中學 童使用四個規則解題對每種題目類型的答對情形。 表 22 學童所使用的解題規則對每種題目類型的答對百分比 題目類型 規則一(%) 規則二(%) 規則三(%) 規則四(%) 第一類平衡題 (balance) 100 100 100 100 第二類重量題 (weight) 100 100 100 100 第三類距離題(distance) 0 100 100 100 第四類衝突─重量題 (conflict—weight) 100 100 33 100 第五類衝突─距離題 (conflict—distance) 0 0 33 100 第六類衝突─平衡題 (conflict—balance) 0 0 33 100 由以上文獻可見，Balance Beam 問題有極為鮮明的解題規則，也有顯著的題 目類型，而解題規則與題目類型之間又有一定的關係存在，對於探討學童的解題 策略與認知結構是相當合適的題材。
第二節 Balance Beam 現行教材與相關研究
為研究以 Balance Beam 解題規則的階層結構及次序性，必須先了解現行教材 中關於 Balance Beam 的知識概念發展，因此從九年一貫自然與生活科技領域的課 程綱要 (教育部，2003) 中整理出與槓桿概念有關之教材內容，如表 23 所示。表 23 自然與生活科技領域與槓桿概念有關之教材內容 課題、主題、次主題 教材內容細目 課題： 自然界的作用 主題： 改變與平衡 次主題： 215 運動與力 平衡與不平衡 3a.察覺物體受好幾個力的作用，仍可能保持平衡靜止不動。 3b.實驗發現槓桿原理 (例如利用翹翹板懸掛不等重的東 西)。 平衡 4a.察覺力矩會改變物體的旋轉運動。 4b.知道靜止的物體所受合力為零、合力矩為零。 4c.了解槓桿原理是力矩作用的結果。 課題： 生活與環境 主題： 生活科技 次主題： 412 機械應用 簡單機械 3a.知道日常生活中常利用簡單機械 (例如槓桿、滑輪、鏈 條、皮帶、齒輪、輪軸等) 來做事。 3b.知道鏈條、皮帶、齒輪等裝置可以傳送動力。 3c.知道可利用流體傳送動力。 簡單機械的原理 4b.知道簡單機械 (槓桿、滑輪、輪軸、齒輪、斜面) 的工作 原理，並能設計實用的裝置或玩具。 【編碼說明】各次主題下之細目編碼：1 代表國小一、二年級、2 代表三、四年 級、3 代表五、六年級、4 代表國中一、二、三年級。a、b…為流水號。例如： 1101a 為次主題 110 下之第 1 階段 (一、二年級) a 項教材「察覺環境中有…」。 由表 23 可知，槓桿平衡的教材直到國小五、六年級才有正式的課程，而學 習到力矩的觀念則是國中才會正式接觸，由此可見在國小學童的知識概念發展 上，尚未發展到規則四的正確解題規則，因此如果能了解學生的概念發展，便能 知道學生的迷思概念為何，而做正確的補救教學。 Inhelder and Piaget (1958) 使用 Balance Beam 作為比例推理的工具，這些問 題變成是探究發展階段的標準。他們透過諮商訪談的方式 (clinical interview) ， 瞭解學童如何解決 Balance Beam 問題 。在研究的過程中 ，Inhelder and Piaget (1958) 以不同的方式，將砝碼放在槓桿的兩側，要求學童想出讓槓桿平衡的方法，並且 說明理由。他們發現學童解題的能力發展與認知發展的階段 (前運思期、具體運
思期、形式運思行) 相同，學童在五到八歲之間，瞭解天平兩邊必須有相同的重 量才能保持平衡，但是在解決衝突型問題時，多半憑直覺，沒有一致性的解題原 則。處於第二階段初期的學童，通常以重量多寡推測是否平衡，而很少考慮到距 離，到了後期，學童在解決類似的問題，才會同時考慮重量與距離的問題，在發 展至十三歲時，學童逐漸正確掌握解題規則。 Siegler (1976) 利用紙筆測驗與訪談來判斷學童使用的規則，研究中發現超過 80％的 517 歲受試者一貫地使用四個規則中的一個，五歲的學童最常使用規則 一，九歲學童最常使用規則二或規則三，1317 歲者最常使用規則三，任何年齡 中只有少數學童使用規則四，表 24 為 Siegler (1976) 的各年齡在六種題目類型答 對百分比。Jansen and Van der Maas (2003) 的研究中也發現年齡愈高的受試者， 愈能答對衝突型的題目，表 25 為 Jansen and Van der Maas (2003) 的各年齡在六 種題目類型答對百分比。 而 Siegler (1981) 後來的研究中，實施兩次施測時間相差一個月的 Balance Beam 問題施測。研究結果顯示有 23％的受試者，在兩次的施測中改變了所使用 的解題規則；其中的 71％，第二次測驗比第一次測驗所使用的解題規則進步，其 餘的受試者第二次則比第一次退步，顯示認知能力會隨時間有所成長。 表 24 Siegler (1976) 各年齡在六種題目類型答對百分比 年齡 問題類型 56 910 1314 1617 平衡題 94 99 99 100 重量題 88 98 98 98 距離題 9 78 81 95 衝突─重量題 86 74 53 51 衝突─距離題 11 32 48 50 衝突─平衡題 7 17 23 40
表 25 Jansen and Van der Maas (2003) 各年齡在六種題目類型答對百分比 年齡 問題類型 67 89 1011 1215 平衡題 96 98 99 100 重量題 93 95 94 97 距離題 16 47 57 80 衝突─重量題 90 91 78 51 衝突─距離題 11 15 32 64 衝突─平衡題 2 5 17 34 Spada and Kluwe (1980) 以線性邏輯測驗模式，探究中學生解決 Balance Beam 試題的情形。Spada and Kluwe 歸納出解決 Balance Beam 問題時，所可能 需要具備的認知操作方式，得知個體在面對 Balance Beam 的問題時，並不只有一 個解決方式。依據概念的發展程度不同，會逐步的考量影響槓桿平衡的因素，例 如：砝碼重量、力臂長度。 Chletsos and Lisi (1989) 的研究發現學童會以規則一及規則二來做判斷，青少 年則使用規則三，他們除了依據重量會再進行距離的考量，而成人則以使用規則 三、規則四居多，可是也有部分成人歸類於規則一及規則二。 Roth (1991) 的研究發現大部份的學生似乎在使用力距乘積規則前，會發展與 使用比率規則；大部份的學生無法適當的對距離編碼；學生似乎使用解決先前問 題的經驗之相關訊息以解決問題。 陳義勳 (1991) 利用訪談的方式研究在國小高年級學生自然科學中力學單元 中的迷思概念，研究中發現大部份學生均有槓桿原理的概念，亦即支點兩端的力 矩均相等就會平衡的概念已形成。但其中有五位學生存在迷思概念，認為等重就 會平衡，即 Siegler (1976) 提出的規則一。 Stepans (1994) 在教學中發現學生一些典型的迷思概念，如：大多數學生誤 用了槓桿原理，會把兩邊的砝碼數與到支點的距離分別相加來做比較，以判斷槓 桿是否平衡，而許多學生對於槓桿的應用上也有困難，他們認為愈接近支點，需
要愈少的力來平衡，而有些學生很難理解平衡是因為他們有比例概念上的困擾， 另外一些學生能夠正確的回應某些題型，但是卻不能夠正確回應有二個以上的力 作用時的題型。 Halford and Dalton (1995) 利用教學前後的晤談， 探究 2 到 3 歲孩童對槓桿 平衡題的判斷情形，研究發現 23 歲孩童在槓桿平衡的概念，只能處理單一重量 或距離下的題目，當同時需考量時，他們會判斷較重的那邊會傾斜。 鐘樹椽、林菁 (1994) 探討電腦應用引導式問題合作學習的槓桿學習效果， 並使用紙筆測驗與統計分析來比較問題引導式電腦合作學習與電腦個別學習對 學生槓桿學習成就之差異。研究發現，電腦合作學習在提升中難度學習成就上顯 著地優於電腦個別學習，但在高難度和低難度學習成就上，此兩種學習方式就沒 有顯著不同了。 Jansen and Van der Maas (1997，2002) 利用潛在類別分析 (latent class analysis) 方法去分析學童在各種不同 Balance Beam 問題的反應，研究結果證實受試者會使 用規則來解決 Balance Beam 問題，不同年紀的受試者使用不同的規則；在使用規 則解題時，有些受試者會一致地使用同一個規則，有些受試者會使用不一致的規 則，特別是使用規則三時，他們認為受試者為了解決衝突型的問題而使用規則 三，但 Siegler (1976) 所提出的規則三遇到衝突題型時會進行猜測，在 Jansen and Van der Maas (1997) 中有提到，受試者在此不一定只是猜測，認為受試者是使用 不同的策略，才造成不一致的反應組型。 Michelle (1998) 利用紙筆測驗及可操作具體物的晤談來探究學生在多樣化 的簡單機械教學前後所呈現對槓桿概念的想法。研究發現學生在個人及有伙伴的 不同情境及紙筆、會話、操作的不同形式下評量對槓桿問題的回答情形，學生竟 有前後不一的答案，可見情境及形式也會影響答案及判斷。 樊雪春 (1999) 在學生科學迷思概念的法則分析與建構取向教學法之實驗效 果研究中，依據 Siegler (1976) 之法則評鑑法，測驗學生在科學概念四種的使用， 將規則一、規則二、規則三視為迷思概念規則，規則四視為正確概念，研究發現
高能力學生會傾向使用正確法則解題，中能力學生會傾向使用迷思法則(使用法則 一、二、三者皆屬之)解題。 鄭靜瑜 (2002) 的研究中，利用電腦教學軟體輔助教學，教學結束前、後使 用紙筆測驗進行前測與後側，最後再利用電腦進行分析。研究中發現在前測階 段，兩組受試者均使用規則四；在後測階段，引導發現組學生有 85%的受試者使 用規則四；傳統教學學生有 80%使用規則四，代表兩組學生差異不大，亦即引導 教學組學生之槓桿平衡概念發展與傳統教學組學生之間，沒有顯著的差異。不同 能力學生在接受引導教學及傳統教學後，在「槓桿學習成就測驗」，不論高低能 力的學生，在引導發現教學組成績皆顯著高於傳統教學組，標準差也較傳統教學 組小。在學習互動式電腦教學後，接受引導發現教學法學生在「學習保留」測驗 上沒有比接受傳統教學法學生成績為佳。 游光純 (2002) 的研究為先分析槓桿平衡的概念，再依照分析的結果設計題 目，利用臨床晤談，再利用電腦分析探究國民小學高年級學童對槓桿概念的另有 想法。研究結果發現高年級學童對槓桿概念較共通的另有想法有下面幾點：1.砝 碼個數多者會傾斜的想法，認為砝碼數越多的一邊，重量越重，則槓桿會傾斜向 下；2.力臂與重量混淆的想法，當遇到一邊砝碼數多，一邊力臂長時，則判斷依 據出現不一的情形；3.力臂與重量互補的想法，會以一格力臂補一顆砝碼的想法 去判斷；4.位置高低影響槓桿平衡的想法，認為物體越低重量越重，也有部分學 童認為物體越高重量越重；5.懸掛方式影響槓桿平衡的想法，認為壓在桿子上的 物體比較重；6.線的長短影響槓桿平衡的想法，認為掛物體的線越長物體會越重。 張志銘 (2004) 發展二階層 (twotier) 試題為診斷迷思概念之工具，探討六 年級學童之槓桿迷思概念，研究中發現學童的迷思概念類型有十三種，底下僅列 出與 Siegler (1976) 的規則相關：1.會以物體表面數量來判斷槓桿是否平衡，換言 之會認為物體表面數量愈多會愈重；2.會有重量與力矩相混淆的想法。 賴明照 (2004) 研究利用紙筆問卷，再將施測結果以電腦統計軟體進行分 析。研究發現國小高年級學童在「力矩與平衡」、「平衡與改變」、「平衡改變平
衡」、「力臂與重量」等槓桿概念上均存有迷思概念，在「標有數字的槓桿及沒有 標明數字的槓桿」、「需要力矩乘積公式解題的題型及不需要力矩乘積公式解題的 題型」中使用的策略有相當大的不同與變化。 經由評閱 Balance Beam 問題解題的相關文獻，可知大多數的研究不外乎使用 紙筆測驗或訪談的方式來收集學童的解題資訊，而分析的方式除了質性研究外， 大多數的研究將收集到的資訊利用電腦進行統計分析，而且著重於探討解決 Balance Beam 問題所使用的解題規則類型、迷思概念及分析所使用解題的方法， 甚少有相關的主題分析每一位受試者的解題規則次序性。因此本研究將使用網路 測驗並利用次序理論的觀點，分析 Balance Beam 問題的解題規則的階層結構。
第三節 解題規則次序分析
次序理論是針對二元計分 (dichotomous) 試題，根據列聯表資料，計算其先 備條件 (precondition) 或次序性關係，在心理計量的相關研究中，次序理論主要 應用於衡量兩個試題之間的先備條件 (precondition) 之次序關係；Airasian and Bart (1973) 認為次序理論是新測量工具的一種，對行為科學家而言具有實質的效 益，且次序理論並非取代傳統測量技術，而是補充傳統的測量工具之不足，因此 次序理論被視為一個非常具普遍性及包含性的測量模式，且允許與其他的測量技 術一起使用，其所提供的模式可滿足他們各自的假設和需求。而 Krus and Bart (1974) 也指出次序理論在教育和心理學的測量領域中，是一個用以滿足新需求的 範例。 次序理論被視為能試驗項目資料，指出項目間的邏輯關係，Airasian and Bart (1973) 指出次序理論之試驗具有兩個一般性的目的：第一、測試兩個項目間的假 設性的次序，以確定其階層關係；第二、將未具備假設性次序的項目進行一般化 的次序，以判斷該些項目是否具有階層關係。 以二元計分的試題i 和試題 j ( i ¹ j ) 為例，其答對 (以 1 表示) 和答錯 (以 0表示) 的人數可用列聯表呈現，如表 26 所示 (林原宏，2005a)。 表 26 試題i 和試題 j的答題人數之列聯表 ( i ¹ j ) 試題 j 1 0 總和 1 n 11 n10 n 1 · 試題i 0 n 01 n00 n 0 · 總和 n ·1 n ·0 n= n 11 + n 10 + n 01 + n 00 Airasian and Bart (1973) 認為，表 26 中試題i 和試題 j的組合反應共有 (1,1) (1,0) (0,1) (0,0) 四種，其中 (0,1) 的反應不滿足「試題i 為試題 j的先備條件」之 情形 (Bart, 1976; Bart and Krus , 1973) 。因此，根據表 26 資料，定義 n 01 n 且其 範圍為 0 £ ( n 01 n ) £ 1 ，若 n 01 n 愈小，表示試題i 愈可能為試題 j的先備條件。因此，
Airasian and Bart (1973) 以容忍水準 (tolerance level ) e ( 0<e < 1 ) 決定試題i 與
試題 j的次序關係如下： (一)若 ( n 01 n ) < e，表示試題i 為試題 j的先備條件，以線段連結試題i 和試題 j； (二)若 ( n 01 n ) ³ e ，表示試題i 不是試題 j的先備條件，沒有線段連結試題i 和試 題 j。 至於e 的選定，Bart and Krus (1973)建議容忍水準e 可取為 e =.2 。但在實證 研究中，Jansson (1986) 指出e 值會因不同關係下而有不同的接受度，e 值可依受 試人數由研究者來決定。 在相關研究文獻方面，Krus and Bart (1974) 也指出次序理論是一種充分使用 布林代數程序的測量模式，是 Guttman's scalogram analysis 的延伸，而來自次序 理論觀點的資料分析之性質著重在使用試題反應矩陣，而非產生總和分數和之關 係矩陣，可說是產生某些試題反應模式之出現次數矩陣；並也認為次序理論是一 種可呈現樹狀分枝試題的多面向測量之方法，而此方法為 Clyde Coombs 和他的 學生所發展的 Guttman’s scalogram analysis 之方法論多變量的延伸。
根據 Bart, Frey, and Baxter (1979) 指出次序理論所做出的階層關係能提供較 多的訊息，並非只限於試題之難易關係，Airasian, Bart, and Greaney (1975) 以次 序理論分析形式操作期學生的命題邏輯 (propositional logic) 之階層結構。Bart and Airasian (1974) 以次序理論分析具體操作期 (concrete operative period) 和形 式操作期的次序性關係，研究結果支持具體操作期為形式操作期先備條件之論 點。 林原宏、陳紹銘 (2006) 以次序理論進行等量公理的概念結構階層分析，結 果顯示其六個階層的等量公理概念結構以及概念之間的次序性，除了符合由易而 難的往上階層發展之意義以外，也呈現出各階層概念之間的次序關係；根據次序 理論所呈現的訊息，可提供概念診斷的依據。在學校的教育現場中，教室可依據 該班級學生的概念次序結構階層，來設計補充教材和教學。 林原宏 (2006) 應用 Bart and Krus (1973) 的次序性定義，針對某一受試者在 K 個題目的反應 (response) 資料，根據「規則 I 」和「規則J 」( I ¹ J )的答案之 計分下，「規則 I 」和「規則J 」 (以 1 表示反應符合該規則，0 表示反應不符合 該規則) 的次數列聯表如表 27 所示。 表 27 規則 I 和規則J 的反應次數之列聯表 ( I ¹ J ) 規則J 1 0 總和 1 k 11 k10 k 1 · 規則 I 0 k 01 k00 k 0 · 總和 k ·1 k · 0 K = k 11 + k 10 + k 01 + k 00 根據表 27 的列聯表資料 ，則 「規則 I 指向規則J 」 的衡量係數為 k 01 K ， k 01 K 的範圍是 0 £ k 01 K £ 1 ， k 01 K 若很小，表示規則 I 可能為規則J 的先備條件。以 閾值e ( 0<e < 1 ) 決定規則 I 與規則 J 是否有次序關係如下： (1)若 ( k 01 K ) < e，表示規則 I 為規則J 的先備條件，即規則 I 與規則J 有次
序關係，此時以 R ij = 1表示，以圖繪 I ® J 表示； (2)若 ( k 01 K ) ³ e，表示規則 I 不是規則J 的先備條件，即規則 I 與規則J 沒 有次序關係，此時以 R ij = 0表示，圖繪中 I 沒有指向J ； 林原宏 (2006) 根據 Bart and Krus (1973) 的次序理論，提出應用於解題規則 階層結構的分析方法和進行柳橙汁濃度測驗 (orange juice test) 的實證研究結果 發現，應用次序理論能呈現個別受試者的解題規則次序性之特色，此外次序理論 應用於解題規則的分析，可作為認知診斷的參考。李佳芸、林原宏 (2006) 亦應 用次序理論分析受試者於機率問題中的解題規則次序性，發現總分不同之受試 者，其解題規則的結構性和次序性有差異；總分相同，但反應組型不同的受試者， 在解題規則階層結構圖中，其解題規則的次序性亦不同，所蘊含的認知結構也不 相同。林瑋詩、林原宏 (2006) 於國小高年級學童於比例問題的解題規則之階層 結構探討中，也得到相同的結果顯示，總分不同的受試者，其在比例問題解題規 則階層各具特色和意義；而總分相同但反應組型不同的受試者，其解題規則階層 也有差別。 林原宏、游森期 (2006) 於次序理論取向的解題規則階層分析及其結構圖比 較之探究中，應用次序理論提出應用於解題規則階層結構的分析方法和圖形比 較，並以「柳橙汁濃度測驗」為實證研究問題，獲得受試者的解題規則結構圖， 呈現個別受試者的解題規則次序性之特色，可作為認知診斷與補救教學的參考。 在本研究中，Balance Beam 也有其獨特的解題規則，由相關的文獻探討可得 知解題規則階層結構的分析方法，能呈現受試者的解題規則次序性之特色，次序 理論應用於解題規則的分析，可作為認知診斷的參考，為了解受試者的解題規則 之次序性及解題規則階層結構，使用林原宏 (2006) 所提出的解題規則階層結構 的分析方法有其必要且相當合適。
第四節 網路施測系統
在實施測驗時，目前大部分還是採用傳統的紙筆測驗，當測驗結束後，需要 人工閱卷，再加以分析，這樣的方式不僅耗時費力，也無法快速得知測驗的結果。 但由於電腦的普及與網路的發展，在網路上進行測驗已經可以具體實施，全球資 訊網 (World Wide Web) 已經有許許多多網路評量系統的應用，由於網路測驗具 有快速資料處理的優點，使得測驗記錄、統計、分析與結果自動化，因此電腦化 測驗被廣為研究。 結合網路測驗學者的文獻分析，此測驗評量擁有許多的優點，將之歸納如下 (李連順，2000；吳信義，1996；吳裕益，2000；林裕集，2001；周朝宜，1999； 邱關誼，2001；郭振揚，2004；葉千綺，1999；劉亞平，1997；Bugbee, 1992； Robinson, 1996；Sanchis, 2001)： (一)計分更客觀與立即回饋的提供 測驗電腦化後，測驗的計分就由電腦程式來控制，所以計分更加的客觀。測 試結束後能立即的得知測驗結果，作答情形也能一一加以紀錄，提供教師更即時 及更豐富的資訊。 (二)減輕教學者的負擔，提升工作效率 將測驗電腦化後，將可減少許多傳統測驗所需要的工作，節省人力與時間而 提高工作效率。例如：減少施測時間、測驗試題的管理、測驗試題及答案紙的印 刷、存放、發放和回收，實際施測、批改試卷、登記分數、編排名次等複雜的工 作流程，都可以交由電腦來處理完成，有效的減少工作負擔。 (三)施測情境的控制 電腦化測驗不以人擔任施測者，能精確控制實施和計分的程序，避免人為情 境的干擾，使受試者在相同的情境下接受測驗。 (四)提供教師更多回饋資訊 教師透過電腦化測驗所蒐集及分析的資料，可以更精確的掌握學生學習的狀況，並透過分析的結果，教師可以針對學生學習上的困難及迷思概念，適時的糾 正學生的錯誤，以提昇整體的教學品質。 (五)試題內容更加的豐富，立即回饋，提昇學生學習的動機 運用電腦多媒體的功能，電腦不再侷限於文字的方式呈現題目，使得試題可 以圖片、聲音、影像、動畫相結合，運用各種視覺和聽覺媒介，將試題的呈現更 加的真實，所以比傳統的紙筆測驗更加具有多樣性、動態性及完整性，營造出一 個更生動活潑的學習環境，測驗結束後，立即給予學生回饋，讓學生可在極短的 時間內取得測驗分數並得到解釋，也更能提昇學生學習的動機。 (六)降低測量誤差 傳統紙筆測驗容易產生填寫錯誤，例如填錯位置、答案未擦拭乾淨，或者因 受試者的筆跡而影響，利用電腦測驗可以有效的防止以上的錯誤，降低測量誤差。 (七)蒐集到更豐富的資訊 電腦化施測不但可以將作答情形詳細紀錄，還可以記錄測驗過程的訊息，其 中包括學生作答的反應時間、曾經修改過的答案選項，這樣將有助於測驗結束後 的資料分析，並進一步瞭解學生的學習情況。 (八)可以建立題庫系統 經由電腦擁有超大的記憶容量，可將試題建立完整的資料庫，提供教師更多 的試題選擇，所以能讓教師能有效率的地在短時間內編撰一份符合需要的試卷。 題庫具有改進測驗品質的潛在優勢，在不久的將來，它對測驗編製者的重要性將 與日遽增，同時可節省編製測驗所花的時間和金錢，其效益亦將無可限量 (Hambleton & Swaminathan, 1985)。 (九)符合環保 測驗電腦化後，測驗題目的呈現與作答都在電腦螢幕上完成，所以不必將試 題印製在紙張上的試卷，可以省下使用紙張的數量，而且間接的還有傳達環保的 教育意義。 (十)施測時間、空間更具彈性
電腦化測驗提供了超越時空、隨選隨測、更彈性的施測環境，所以學生及教 師可以選擇較合適的時間以及較合適的地點進行測驗。自從網際網路的便利，可 以隨時隨地的透過網際網路獲取我們想要的資訊，讓使用者在時間與空間上的運 用有更大的彈性 (Harasim,1990)。 (十一)資訊整合與共享 透過網路連線、快速傳播的特性，可以將各方面的專業人才整合在一起，使 測驗的編製、解釋與應用更加的周詳，並可提昇測驗資訊的流通性與使用率，加 速題庫的建立工作並可提昇題庫品質。 雖然網路測驗擁有許許多多的優點，但也全然沒有缺點，網路測驗也還是存 有一些缺點，歸納如下 (李連順，2000；黃朝恭，2000) (一)電腦化測驗的題型多限於選擇題、填充題，因為電腦很難判斷開放式問題的 答案。 (二)在測驗實施方面，施測者必須準備足夠的電腦供受試者使用，且必須考慮伺 服器的穩定與電腦當機等問題。 (三)電腦測驗較不適合呈現必須閱讀文字章節的題型，因為螢幕的解析度可能增 加閱讀的困難性 (Mazze & Harvey,1988)。 (四)類似數學、理化等必須計算的試題，學生因為必須在草稿紙上抄下題目再計 算，而可能影響答題的速度 (Ager,1993)。 (五)容易受受試者資訊素養的影響，需要經過學習才能使用電腦化評量，或是因 為滑鼠或鍵盤操作不熟練而誤答。 本研究目的是開發 Balance Beam 的網路評量系統且即時分析學生的知識結 構，因此題型已經固定為圖片呈現的模式，所以並無以上所提到的開放式問題與 閱讀題型的缺點，也沒有需要計算試題的疑慮，因此 Balance Beam 的測驗非常適 合發展網路測驗。
第五節 系統開發與系統評估
建構一個在全球資訊網上的測驗系統，如同電腦中的資訊系統開發，需要一 連串的邏輯步驟來進行研究過程，因此探討有關系統開發與評估方法，以及系統 發展中各階段的重點有其必要性。 一套完善的資訊系統，必須經過一系列完整的系統開發方式，依此開發出來 的系統才能經過使用者的考驗，得到預期的功能與效果。許元 (1998) 提到在系 統的建立過程之中，分析與設計的前置工作若沒有確實，可能導致整個系統的失 敗，所以必須存在一個方法，作為系統發展的依據。資訊系統開發的方式有數種， 底下則探討目前最常用的有全功能式 (fully functional approach) 的系統開發方式 (張百畝，2003)。 全功能式系統開發方式是指每一個資訊系統的開發都必須經由「系統分析」 (system analysis) 、「 系 統 設 計 」 (system design) 、「 系 統 建 置 」 (system development) 、「系統實施」 (system implementation) 、「系統評鑑」 (system evaluation) 等五個程序，整個資訊系統的開發才算完全完成 (張百畝，2003) 。 也就是說，開發資訊系統必須先了解系統的目的及需求，接著設計系統電腦化的 內容與流程，然後開始撰寫程式，最後交給使用者評估、使用，由使用者進行評 鑑工作之後而成為一套完善的資訊系統，全功能式系統開發程序如圖 211 所示。 圖 211 全功能式系統開發程序 (張百畝，2003) 以下將介紹各階段的內容，並討論各階段的工作重點。 作業狀況 與 需 求 系統 分析 系統 設計 系統 建置 系統 實施 系統 評鑑 完成(一)系統分析
「系統分析」就是研究調查系統的目的、功能、需求及實際作業狀況，進而 探討系統的問題癥結所在，然後研訂、評估電腦化的各種可行方案，從中找出最 佳方案，以做為建立電腦化資訊系統的準則 (張百畝，2003)。 系統分析的目的在於獲致使用者需求以及訂立系統需求，進而使得系統發展 者能設計出一個合乎使用者需求的系統，因此系統分析工作必須經由系統發展者 與使用者緊密配合方能有效達成 (吳宗成，1995)。 系統分析的工作模式為問題解決方式，係植基於整體現象的一種思考方式， 以結構化的方法對系統內的組成要素、各層級次系統及發展程序，進行科學化的 分析歸納與處理 (黃明祥，1988)。 為了能做到完善的系統分析，可採取的步驟如下 (張百畝，2003) ： 1.初步分析 概略了解系統的目的、功能、主要需求、作業流程、限制條件及問題癥結所 在，以便研究是否能與以進行系統開發。因此，「初步分析」的工作項目如下： (1)概略了解系統的概況 調查系統目的、系統功能、主要需求、作業流程、限制條件、問題癥結等。 調查過程可經由「訪談」、「觀察現行系統」、「問卷及調查」等方面進行 (季 延平，2001)。 (2)可行性研究 在概略了解系統概況後，應立刻進行「可行性研究」，從人力、設備、成本、 效益、時限等方面探討電腦化的力與弊，並估算電腦化所需的經費與時間。 2.細部分析 細部分析是針對目前人工或現行作業方式，蒐集相關資料，並加以彙整、分 類、驗證、分析，以便能得知系統的真正需求。細部分析的工作項目如下： (1)詳細蒐集系統的相關資料 系統的資料包括：輸入介面、輸出介面、處理程序、作業流程、控制方法 (季延平，2001；張百畝，2003)。 (2)資料彙整與分類 (3)資料驗證與分析 3.系統確認及可行方案研究 當「細部分析」完成之後，應立即進行「系統確認」的工作，其中包含確認 系統的需求、確認系統的績效以及可行方案的研究。在進行可行方案研究時，可 以從成本方面、效益方面、需求方面來著手評估，來挑選最適合資訊系統開發的 方式。 4.撰寫系統分析報告 系統分析報告的目的是讓使用者有機會了解系統分析結果及系統將具備的 功能，讓使用者進行批評與指正，進而改進系統開發的內容。 系統分析報告的內容包括：系統概述、系統功能、系統需求、系統畫面、系 統處理程序、作業流程、可行方案研究、發展時程等。
(二)系統設計
所謂「系統設計」是指系統設計師根據系統分析的結果，研究規劃以電腦為 工具的資訊處理系統，以取代現行作業方法，此系統除了可以解決現行系統之缺 失外，且須符合使用者的需求，並寫要提高現行的作業方法品質與工作效率 (張 百畝，2003；饒瑞文，1993)。主要的工作項目如下 (張百畝，2003)： 1.輸出設計 (Output Design) 資訊系統的輸出是要提供使用者閱讀使用，因此輸出設計是展現真正需求的 工作項目，其中輸出的工作包括：確認系統輸出的需求、輸出報表的格式、輸出 的媒體以及輸出報表的處理方式。 2.資料檔或資料庫設計 (Data File or Data Base Design) 資料檔或資料庫是儲存資訊系統的核心，完善的檔案與資料庫設計可以讓資 訊系統的使用者更有效率、方便的存取資料 (吳宗成，1995) 。設計資料檔時應注意：輸出需求、資料檔的目的、軟硬體設備、資料的活動性與變動性、處理速 度、資料檔的存取方式、成本以及容量 (張百畝，2003)。 3.輸入設計 (Input Design) GIGO (Garbage In, Garbage Out) 是資訊技術人員非常熟悉的觀念，所以都應 避免問題發生的最佳時機就是在資料輸入的時候 (季延平，2001) 。因此輸入設 計的工作與注意事項包括：確認輸入的資料及其來源、原始資料憑證的格式、輸 入畫面的設計、代碼設計、選擇資料登錄的方式 (張百畝，2003)。 4.處理程序設計 (Process Design) 處理程序設計就是規劃設計電腦化的作業程序與方法，其工作內容包含系統 模組設計、繪製系統流程圖、繪製系統功能層次圖、資料流程設計。 5.控制設計 (Control Design) 在資訊系統設計時，必須考慮設計防弊與除錯的控制方法，其中包括輸入與 輸出控制以及系統安全控制。
(三)系統建置
系統建置式系統發展的重要階段，其主要工作是將系統設計階段的結果加以 實現。從軟體工程的觀點，系統建置包括系統建立與測試修正等二階段。 (吳宗 成，1995；黃明祥，1988)。 系統建立階段是依系統設計階段所作的設計，首先進行系統製作規劃，接著 選用適當的軟硬體設備以及開發工具進行程式撰寫，最後必須依據所設計出來的 系統撰寫系統文件。 系統測試的目的在於確定系統是否可以正常執行，以及執行結果是否可以讓 使用者接受。系統測試修正階段分為開發期的初步測試與開發完成後的整體測 試。開發期的初步測試是程式設計師就其所撰寫的程式進行除錯，除錯的方法可 透過編譯程式、除錯程式、人工檢視達成；開發完成後的整體測試比起初步測試 來的複雜與困難，整體測試需有使用者協同測試，根據各種預想的使用情形進行實際操作，同時重新修正程式，使所有功能達到正確的處理要求為止。
(四)系統實施
「系統實施」就是整個系統做完「系統建置」之後，交給使用者以實際資料 做測試，進行實際上的應用，並提供使用的支援與維護，系統實施的工作內容如 下 (張百畝，2003)： 1.教育訓練：包含管理者與使用者訓練。 2.系統安裝與轉換：準備機器設備與軟體系統進行安裝或將舊系統轉換成新系統。 3.平行作業：人工和電腦化同時作業，檢查是否一致。 4.撰寫系統文件：撰寫與整理系統分析、系統設計與系統評鑑的文件資料。(五)系統評鑑
在完成整個系統實施之後，最後必須進行系統的評鑑工作，評鑑的目的在於 察覺使用者是否有依正常程序來操作系統或是使用者使用後的感想給予的回 饋，以做為修改系統或修正系統錯誤的參考，如此系統才能滿足使用者需求，提 高工作效率。系統評鑑的內容，包含有 (張百畝，2003)： 1.是否達成系統目的？ 2.是否降低作業成本？ 3.是否滿足使用者需求？ 4.是否有問題急於解決？ 5.處理程序是否簡化、順暢、快速？ 6.軟硬體設備是否需要更新？ 系統的評鑑方法通常有下列三種 (葉維彰，1998)： 1.問卷調查法：利用事先設計妥善的問卷，用於調查使用者或管理階層對系統使 用的分析與困難問題。 2.成本效益分析法：即比較系統的收益與成本，以確定系統之績效。3.觀察法：以觀察系統的實際作業狀況，俾了解其工作負荷、能量與回應時間 (response time) 等。 系統評鑑後的結果必須提供系統開發人員修正與改進系統的功能與運作，為 了確保系統的正確性，在系統建置完成開始運轉後，也應經常評鑑，如果遇到需 求改變、缺失或是軟硬體設備更新的問題，則應立即採取回饋 (Feedback) 的程 序，重新執行系統分析、系統設計、系統建置等工作，這樣才可以保持系統的穩 定與正確，並滿足使用者的需求。 由以上的探討可以得知資訊系統的開發有其完整的過程與方式；本研究的線 上測驗系統的開發，將修改以上的系統開發的過程與方式，使合於本研究程式的 開發，以達到本研究的目的。
第六節 精緻試題有向圖分析方法
傳統測驗會對每道試題，計算其難度 (P) 與鑑別度 (D) ，而這兩個指標， 用於診斷學習者的學習歷程，並無法提供完整有效的訊息 (涂金堂，2003) 。 Nichols (1994) 認為傳統評量理論對於教師對學生的錯誤學習進行診斷的評量， 並無法提供有效的訊息，因此，Nichols (1994) 提倡發展認知診斷評量 (cognitively diagnostic assessment, 簡稱為 CDA)，以幫助教學目標的達成。 解題規則 (rules of problemsolving) 是受試者解決問題的方法或策略。就認 知診斷方法而言，如何呈現或分析受試者的問題解決規則，是一個重要的研究主 題 (林原宏，2005b)。因此，認知診斷評量的計分方式，強調測驗的計分能夠提 供老師足夠的診斷訊息，來評估學生的學習歷程 (涂金堂，2003)。 為了讓試題能提供施測者較多診斷訊息，Bart and WilliamsMorris (1990) 認 為，試題若無解題規則的解釋與區別功能，雖有嚴謹的認知診斷模式，亦無法進 行解題規則的認知診斷探討。因此，Bart and WilliamsMorris (1990) 提出衡量試 題的解題規則診斷功能之兩個指標，此種試題分析方法稱為精緻試題有向圖分析(refined item digraphanalysis, RIDA) 。 這 兩 個 指 標 是 反 應 解 釋 力 (response interpretability) 和反應區別力 (response discrimination)。 反應解釋力用以判斷每道試題中的每個反應選項，是否至少含有一個規則可 解釋此反應選項。試題的反應解釋力最小值為 0，顯示該道試題的每個選項，都 沒有任何一個規則可以解釋。試題的反應解釋力最大值為 1，顯示該道試題的每 個選項，都有至少一個規則以上足以解釋。反應解釋力的數值大小，能提供施測 者許多重要的診斷訊息，因為根據反應解釋力的數值大小，施測者可藉由受試者 所挑的選項，來推論受試者答題時，可能經歷的各種認知運作歷程。反應解釋力 數值越大，越有機會顯現出受試者答題時，可能經歷的各種心理運作歷程 (涂金 堂，2003)。 反應區別力用以判斷每道試題中的每個反應選項，是否只有一個規則可對 應，即反應選項能被不同規則所區辨的能力。試題的反應區別力最小值為 0，顯 示該道試題的每個選項，都沒有任何一個規則可以解釋。試題的反應區別力最大 值為 1，顯示該道試題的每個選項，都只有一個規則足以解釋。反應區別力的數 值大小，會影響到施測者能否由獲得的相關訊息，正確的推論出受試者答題時， 經歷過哪一種認知運作歷程。反應解釋力數值越大，越有機會推論出受試者答題 時，真正經歷哪一種心理運作歷程 (涂金堂，2003)。 以圖 212 為例，假設(1,6)vs.(3,2)的三種作答選項反應，可由規則一至規則 四等四種規則對應表示。 圖 212 試題(1,6)vs.(3,2)的作答選項反應與規則對應圖 反應 2 右邊落下 1 左邊落下 3 平衡 規則 規則Ⅱ 規則Ⅰ 規則Ⅲ 規則Ⅳ
根據圖 212 的對應關係，可獲得如表 28 的作答選項反應與規則之對應關 係表。表 28 中，如果反應能被該規則所對應解釋，則以 1 表示；反之則以 0 表 示。 表 28 題目的反應與規則的對應關係表 規則 反應 規則Ⅰ 規則Ⅱ 規則Ⅲ 規則Ⅳ 列總和 i dis 1 左邊落下 1 1 1 0 3 2 右邊落下 0 0 1 0 1 3 平衡 0 0 1 1 2 反應解釋力公式為 I int I i i
å
=1 ，其中I 是反應的數目，當反應 i對應的列總和 dis i大於 0 時，則 int i 為 1；反之，當反應i對應的列總和 dis i 等於 0 時，則 int i 為 0。
所以，表 28 中該題的反應解釋力為 1 3 1 1 1 = + + 。反應解釋力的值域介於
[ ]
0 , 1之 間，其值愈高，表示該題的反應愈能被規則所解釋 (林原宏，2005b)。 反應區別力公式為 I dis I i i
å
= ÷ ÷ ø ö ç ç è æ 1 1，其中I 是反應的數目，而 dis i 是反應i的列總
和；如果 dis i = 0，則令 i dis 1 為 0 。所以， 表 28 中該題的反應區別力為 18 11 3 2 1 1 1 3 1 = ÷ ø ö ç è æ + ÷ ø ö ç è æ + ÷ ø ö ç è æ 。反應區別力的值域亦介於
[ ]
0 , 1之間，其值愈高，表示該題的 反應愈能被不同規則所區別出來 (林原宏，2005b)。 在實證研究的使用上，反應解釋力和反應區別力具有重要價值，包括：(1) 在編製解題規則的認知診斷測驗工具時，此兩項指標可供衡量試題品質的參考， 測驗編製者可據以設計試題的題幹或選項，以提高試題的反應解釋力和反應區別 力；(2)施測後的受試者計分，可將反應解釋力和反應區別力做為計分的依據 (涂 金堂，2003)。
參 研究方法
第一節 研究架構
依據研究目的，本研究首先需探討 Balance Beam 的意義及解題的規則，設計 相關的題目，同時做網路測驗平台的系統設計與建置，經過施測後，最後探討教 學者與受試者的使用經驗評估此系統，提出往後改進的建議，以此，本研究的研 究架構，如圖 31： 系統分析 系統設計 Balance Beam 文獻探討 Balance Beam 題目設計 Balance Beam 網路測驗系統建置 進行實測 使用者評估 解題規則分析研究者首先從 Balance Beam 的文獻中探討 Balance Beam 的意義、解題的規 則與題目的類型，進而設計適當的題目；同時進行 Balance Beam 網路測驗系統的 分析，了解需要的元素與功能，再進行 Balance Beam 網路測驗平台的設計。待 Balance Beam 的題目與網路測驗系統皆設計完成，將題目建置於測驗平台中，即 可進行線上的實測，並分析出受試者的解題規則之次序性，最後經由教學者與受 試者的使用經驗與評估，提出改進的建議。
第二節 研究工具
研究工具分為「Balance Beam 的題目設計」、「解題規則次序性之計分方 法」、「硬體工具」、「軟體工具」、「使用者評估問卷」五部份：(一)Balance Beam 題目設計
依據文獻探討的結果，Balance Beam 的題目分為如表 21 六種問題類型 (Siegler,1976)，每一類型設計三道題目，共計 18 題。依據精緻試題有向圖分析 (Bart & WilliamsMorris 1990) 編製如表 31 的試 題，以第二題為例，支點左邊 2 格處放置 5 個砝碼，支點右邊 2 格處放置 5 個砝 碼，為了簡化問題表示，以(2,5) vs. (2,5)表示，圖 32 為網頁上所呈現的題目圖示， 完整的試題詳見附錄二。
表 31 Balance Beam 問題 題號 (LD, LW) vs. (RD, RW) 題號 (LD, LW) vs. (RD, RW) 1 (1,3) vs. (1,3) 10 (2,5) vs. (4,2) 2 (2,5) vs. (2,5) 11 (6,2) vs. (3,8) 3 (6,3) vs. (6,3) 12 (4,6) vs. (7,2) 4 (2,3) vs. (2,5) 13 (2,4) vs. (6,2) 5 (4,8) vs. (4,3) 14 (3,3) vs. (1,5) 6 (8,5) vs. (8,3) 15 (3,5) vs. (7,3) 7 (3,5) vs. (5,5) 16 (1,6) vs. (3,2) 8 (6,3) vs. (2,3) 17 (6,2) vs. (3,4) 9 (7,2) vs. (5,2) 18 (2,3) vs. (3,2) 註：1. LW：支點左邊的砝碼數。2. LD：支點左邊放置砝碼的位置與支點的距離格數。 3.RW：支點右邊的砝碼數。4. RD：支點右邊放置砝碼的位置與支點的距離格數。 此份測驗工具之題目類型共分為六類，一種類型各有 3 題，共計 18 題，分 配如表 32 所示，題目呈現時，系統將以亂數分配呈現題型，並非如表列呈現。 表 32 各類型題號 題目類型 題號 第一類平衡題 1、2、3 第二類重量題 4、5、6 第三類距離題 7、8、9 第四類衝突─重量題 10、11、12 第五類衝突─距離題 13、14、15 第六類衝突─平衡題 16、17、18
表 33 各規則下所得到的各題答案
題號 Rule Ⅰ Rule Ⅱ Rule Ⅲ Rule Ⅳ 題號 Rule Ⅰ Rule Ⅱ Rule Ⅲ Rule Ⅳ 1 平衡 平衡 平衡 平衡 10 左 左 左,右,平衡 左 2 平衡 平衡 平衡 平衡 11 右 右 左,右,平衡 右 3 平衡 平衡 平衡 平衡 12 左 左 左,右,平衡 左 4 右 右 右 右 13 左 左 左,右,平衡 右 5 左 左 左 左 14 右 右 左,右,平衡 左 6 左 左 左 左 15 左 左 左,右,平衡 右 7 平衡 右 右 右 16 左 左 左,右,平衡 平衡 8 平衡 左 左 左 17 右 右 左,右,平衡 平衡 9 平衡 左 左 左 18 左 左 左,右,平衡 平衡 依據 Siegler (1976) 所提的四種規則，每一題依據各個規則所得到的答案如 表 33 所列，其中只有規則四為正確規則，得到的答案為正確解答，其餘皆為錯 誤規則。 本研究的 18 題測驗題目依據精緻試題有向圖分析方法，表 34 為第一題作答 選項反應與規則之對應關係表。表 34 中，如果反應能被該規則所對應解釋，則 以 1 表示；反之則以 0 表示。所計算出的反應解釋力與反應區別力數值如表 34 所示。 表 34 試題第 1 題的反應與規則的對應關係表 規則
Rule Ⅰ Rule Ⅱ Rule Ⅲ Rule Ⅳ 列總和
左 0 0 0 0 0 右 0 0 0 0 0 反應 平衡 1 1 1 1 4 表 35 為依據精緻試題有向圖分析方法所計算出的反應解釋力與反應區別力 數值，反應解釋力的值域介於
[ ]
0 , 1之間，其值愈高，表示該題的反應愈能被規則 所解釋 (林原宏，2005b)。反應區別力的值域亦介於
[ ]
0 , 1之間，其值愈高，表示該
題的反應愈能被不同規則所區別出來 (林原宏，2005b)。由表可知，題目類型相 同的問題，不會因題目的數值不同而不同，因此題目類型相同，其題目的反應解 釋力與反應區別力的結果皆相同。 表 35 各試題的反應解釋力與反應區別力 題號 反應解釋力 反應區別力 題號 反應解釋力 反應區別力 1 1/3 1/12 10 1 3/4 2 1/3 1/12 11 1 3/4 3 1/3 1/12 12 1 3/4 4 1/3 1/12 13 1 11/18 5 1/3 1/12 14 1 11/18 6 1/3 1/12 15 1 11/18 7 2/3 4/9 16 1 11/18 8 2/3 4/9 17 1 11/18 9 2/3 4/9 18 1 11/18
(二)解題規則次序性之計分方法
本研究應用 Bart and Krus (1973) 的次序性定義，進行平衡槓桿問題之解題規 則的計分及次序性分析，針對某一受試者在M 個題目的反應 (response) 資料， 根據「規則 I 」和「規則J 」 ( I ¹ J ) 的答案之計分下，「規則 I 」和「規則J 」 (以 1 表示反應符合該規則，0 表示反應不符合該規則) 的次數列聯表如表 36 所 示。 表 36 規則 I 和規則J 的反應次數之列聯表( I ¹ J ) 規則J 1 0 總和 1 m 11 m10 m 1 · 規則 I 0 m 01 m00 m 0 · 總和 m m M =m + m + m + m根據表 36 的列聯表資料，則「規則 I 指向規則J 」的衡量係數為 m 01 M ， M m 01 的範圍是 0 £ m 01 M £ 1 ， m 01 M 若很小，表示規則 I 可能為規則J 的先備條 件。以閾值e ( 0<e < 1 ) 決定規則 I 與規則 J 是否有次序關係如下： (1)若 ( m 01 M ) < e ，表示規則 I 為規則J 的先備條件，即規則 I 與規則J 有 次序關係，此時以 R ij = 1表示，以圖繪 I ® J 表示； (2)若 ( m 01 M ) ³ e，表示規則 I 不是規則J 的先備條件，即規則 I 與規則J 沒 有次序關係，此時以 R ij = 0表示，圖繪中 I 沒有指向J ； 依據 Jansson (1986) 指出e 值會因不同人數下而有不同的容忍水準，在本研 究中受試者人數達 390 人，故而選定 e =.2 。
