相關性思考之電腦化施測系統研發及其實證研究

116  Download (0)

全文

(1)國立臺中教育大數學教育學系碩士論文. 指導教授:林原宏 博士. 相關性思考之電腦化施測系統研發 及其實證研究. 研究生:歐博仁 撰. 中華民國九十九年一月 1 .

(2) 摘要. 本研究旨在探討受試者在相關性思考問題測驗上的表現情形,並應用 次序理論(ordering  theory)分析比較個別受試者之解題規則階層結構圖。本 研究以自編的「相關性思考(correlation  thinking)」測驗為工具,並結合電 腦網路的便利性,將測驗電腦化,試題共計 18 題,其中包含 3 種題組,以 電腦網路方式進行施測。研究對象為國中小五、六、七年級學童共計 2927  人。研究結果顯示: 一、 在測驗試題之三種題組中,全體受試者在「相等衝突問題」表現最 佳、「次要面向不同問題」次之、「首位面向問題」最差。 二、 在測驗試題通過率上的表現,不同性別的受試者無顯著差異,但在 不同年級方面有顯著差異。 三、 總分不同的受試者,其解題規則之階層結構圖有所差異。 四、 總分相同但反應組型不同的受試者,其解題規則之階層結構圖亦有 所不同。 五、 以專家之結構圖為參照標準,受試者之相似性係數在不同性別上無 顯著差異,但在不同年級方面有顯著差異。此外,年級與性別在結 構圖之相似度之表現,其交互作用亦不顯著。 根據本研究之結果,可提供教學者對受試者之認知診斷及補救教學策 略參考用,本測驗系統未來可拓展至其他認知領域的解題規則上,亦或不 同年齡層對象之研究。. 關鍵字:相關性思考、次序理論、解題規則、認知診斷. i .

(3) Abstract  The purpose of the study is to investigate the performance on correlation  thinking  problems  and,  based  on  ordering  theory,  to  analyze  the  influence  of  gender  and  grade  factors  in  hierarchical  structure  graphs  of  problem­solving  rules. The Web­based correlation thinking test, consisting of 18 questions in 3  categories,  devised  by  the  researcher  is  employed  through  computer  testing.  Subjects are 2927 5th to 7th graders.  1.  In  the  analysis  of  3  categories  of  problems,  the  participants  excels  in  conflict­equal problems, next the subordinates problems, and followed  by the conflict­dominant problems.  2.  As for the correct ratio of the test, genders have little influence on the  results, but grades do make significant difference.  3.  Subjects  of  different  total  score  exhibit  different  characteristics  of  rule­hierarchies graphs.  4.  Subjects of the same total score with distinct response patterns exhibit  different rule­hierarchies graphs.  5.  Comparing  to  the  hierarchical  structures  on  rule  usage,  the  similarity  index is significantly influenced by participants’ grades instead of their  genders.  Besides,  there  is  no  interaction  between  the  indexes  of  their  genders and those of their grades.  The  findings  of  this  study  should  be  helpful  for  cognition  diagnosis  and  for  remedial  instruction.  It  is  recommend  that  this  system  can  be  applied  to  other cognitive fields for the rule usage or subjects of other ages.  Keyword:  correlation  thinking,  ordering  theory,  rule  usage,  cognition  diagnosis. ii .

(4) 目錄 摘要  ……………………………………………………………………………i  Abstract  ………………………………………………………………………ii  目錄..…………………………………………………………………………..iii  表目錄..………………………………………………………………………v  圖目錄..………………………………………………………………………vii  第一章 緒論..…………………………………………………………..……1  第一節 研究動機..…………………………………………….…………1  第二節 研究目的..…………………………………………………….…3  第三節 名詞解釋..…………………………………………………….…3  第四節 研究限制..…………………………………………………….…4  第二章 文獻探討..…………………………………………………….…….5  第一節 電腦化測驗..…………………………………………………….5  第二節 相關性思考概念..………………………………………………..13  第三節 規則評量方法..………………………………………………...14  第四節 精緻試題有向圖分析..………………………………………...28  第五節 次序理論..……………………………………………………...31  第六節 詮釋結構模式..………………………………………………...34  第三章 研究方法與系統建置..……………………………………………41  第一節 研究架構..……………………………………………………...41  第二節 研究流程..……………………………………………………...42  第三節 研究對象..……………………………………………………...44  第四節 研究工具..……………………………………………………...45  第五節 資料處理分析..………………………………………………...54  第六節 系統分析設計………………………………………………….63. iii .

(5) 第四章 結果與討論………………………………………………………..75  第一節 相關性思考測驗之各題通過率…………………………………75  第二節 不同年級與性別在相關性思考測驗上的表現…………………79  第三節 不同年級與性別解題規則次序結構圖之差異…………………80  第四節 受試者與專家之解題規則次序結構圖的比較分析……………81  第五章 結論與建議………………………………………………………….91  第一節 結論…………………………………………………………….91  第二節 建議…………………………………………………………….94  參考文獻…………………………………………………………………....96  附錄……………….…………………………………………………………105. iv .

(6) 表目錄 表2­1  測驗評量的發展時程表………………………………………………6  表2­2  電腦化測驗一覽表……………….……………………………………9  表2­3  Awang之相關性思考各規則下之作法……………………………..27  表2­4  試題2+2=(        )的反應與規則的對應關係表………………….……29  表2­5  試題 i 和試題  j 的使用次數之列聯表  ( i ¹  j )  ……………….……32  表2­6  S1  至  S5  元素關係表…………………….…………………………...35  表2­7  R ( A K  ) 矩陣和 M ( A K  ) 矩陣關係表……….…………………...……...39  表2­8  A 1 至 A 5  要素之階層關係……….…………………………………...39  表3­1  研究樣本來源統計…………………………………..…………....…..44  表3­2  研究樣本人數統計…………………………………..…………....…..44  表3­3  本研究測驗試題題目……………………………………..……....…..46  表3­4  相關性思考測驗的四個解題規則之作法與意義……………....…..50  表3­5  題目組成與各規則下的反應……………………..…................…..51  表3­6  本研究測驗第9題的反應與規則關係表……..…….....................…..52  表3­7  各試題的反應解釋力和反應區別力……………..……................…..53  表3­8  試題各規則之相對應的標準答案及計分………..……................…..55  表3­9  受試者各試題之規則計分………..……...................................…..55  表3­10  規則 i 和規則  j 的使用次數之列聯表  ( i ¹  j ) .............................…..56  表3­11  受試者各規則之 n 01  使用次數...................................................…..56  表3­12  受試者R( r k  )、M ( r k  )及R( r k  ) Ç M ( r k  )矩陣關係表......................…..58  表3­13  受試者之四個規則相對應的階層位置....................................…..59  表3­14  編號2239受試者與專家之規則次序矩陣的比較.......................…..61  表3­15  教師資料表格...........................………………………………....72. v .

(7) 表3­16  學生資料表格...................................………..………....………....72  表3­17  測驗資料表格...........................…………………….....………....72  表4­1  全體、不同年級與不同性別在各類型問題之平均通過率…….….....75  表4­2  全體受試者在各題的通過率...........................……………………....76  表4­3  不同年級受試者在各題的通過率..................…………………..…....77  表4­4  各年級試題平均通過率之單因子變異數分析摘要表……………....78  表4­5  各年級在各題通過率之事後比較分析摘要表……………………....78  表4­6  不同性別受試者在各題的通過率………………………………....79  表4­7  相關性思考測驗通過率之二因子變異數分析摘要表..….………....80  表4­8  不同年級與性別之相似性係數平均數.. ….…………….…. ...81  表4­9  不同年級與性別的相似性係數之二因子變異數分析摘要表…...81. vi .

(8) 圖目錄 圖2­1  槓桿圖…………………………………………………………………16  圖2­2  Seigler的規則評量方法之解題規則一模式…………………..……17  圖2­3  Seigler的規則評量方法之解題規則二模式….………………..……18  圖2­4 Seigler的規則評量方法之解題規則三模式……………………..……18  圖2­5 Seigler的規則評量方法之解題規則四模式……………………..……19  圖2­6  Awang魚的問題圖……………………………………………....25  圖2­7  Awang之相關性思考的解題規則一模式………………….………25  圖2­8  Awang之相關性思考的解題規則二模式…………………..………26  圖2­9  Awang之相關性思考的解題規則三模式…………………..………26  圖2­10  Awang之相關性思考的解題規則四模式………………….………27  圖2­11  試題2+2=(        )的反應與規則對應圖…………………………...…29  圖2­12  ISM結構圖的繪製……………………………………....………..40  圖3­1  本研究架構圖………………………………….…………....………..41  圖3­2  本研究流程圖…………………………………..…………....………..42  圖3­3  自編測驗第9題…………………………………..…………....…....45  圖3­4  解題規則一流程圖…………………………..………..……………47  圖3­5  解題規則二流程圖………………………………………....………48  圖3­6  解題規則三流程圖…………………………….…..……....………48  圖3­7  解題規則四流程圖………………………….……………..………49  圖3­8  反應與規則對應圖...........................................………………....52  圖3­9  解題規則結構圖繪製過程...................................………………....59  圖3­10  編號2239受試者與專家之解題規則結構圖.................……….…....61  圖3­11「相關性思考線上施測系統」系統架構圖....................…….….…....66  圖3­12 「教師登入」處理流程設計............................………...……….…....68. vii .

(9) 圖3­13  「學生登入」處理流程設計............................…………….….…....69  圖3­14  「管理者登入」處理流程設計............................……………....70  圖3­15  「測驗分析」處理流程設計...........................……...………....71  圖4­1  編號A、B、C受試者的解題規則次序結構圖.……………………..….82  圖4­2  同總分但反應組型不同之兩位受試者的解題規結構圖(高分組).84  圖4­3  同總分但反應組型不同之兩位受試者的解題規則結構圖(中分組).86  圖4­4  同總分但反應組型不同之兩位受試者的解題規則結構圖(低分組).88. viii .

(10) 第一章 緒論 本研究旨在分析國中小五、六、七年級學童在相關性思考(correlation  thinking)上的解題規則,瞭解其使用規則的次序關係,並發展一套相關性 思考之線上施測系統,以分析學童在解題規則之表現,提供教學者更深入 地瞭解學習者的學習訊息。本章就研究動機、研究目的、名詞解釋、研究 限制等四節進行闡述。. 第一節 研究動機 傳統評量大至可分為形成性評量(formative  evaluation)及總結性評量  (summative evaluation)  ,而大部分的傳統評量多以總分為學生學習成果的依 據,這種評量方式在教育上有其貢獻性,但是在對於學生如何應用策略解 決問題上,卻無法提供明確的訊息,例如正確的策略往往可以得到正確的 得分,而錯誤的策略也有可能得到正確的得分,因此答案的結果與策略的 採用是截然不同的,亦即測驗結果的得分與策略採用的分析是不相同的。 所以關於受試者之測驗總分的異同,其所採用的策略是否會有所差異,是 本研究欲探討的重點之一。而策略採用(rule  usage)的分析,在方法論上稱 為規則評量方法(rule assessment methodology),其主要是將解題者之解題過 程所使用之規則加以分析,以瞭解解題者之思考方式與認知模式,這對教 學上是相當有幫助的,本研究的認為有其研究之重要性。 在解決問題的過程中,受試者會依自身的經驗與知識結構,尋找出一 個適合的方法或策略來解決問題,而受試者所使用的方法或策略稱為解題 規則(引自林原宏、游森期,2006)。然而有關於解題規則的使用之討論議 題上,往往得到的只有規則使用的次數而已,卻無法得知其規則使用次序 的關係,本研究應用次序理論(ordering  theory)於相關性思考(correlation  thinking)問題的解題規則上,嘗試找出受試者解題規則使用的次序關係, 1 .

(11) 例如:解題者在解題時,會先使用規則A來解題,當不使用規則A時,就使 用規則B,則稱規則A為規則B的先備條件,而這種規則間使用的次序關 係,即是應用次序理論而得,藉由規則間使用的次序關係即可呈現受試者 之 知 識 結 構 。 而 次 序 理 論 常 用 於 決 定 試 題 間 之 次 序 關 係 (Bart  and  Krus,1973),其可提供規則使用次序的分析,且Airasian  and  Bart  (1973)認 為次序理論的主要目的有二:(1)衡量試題間的假設性之次序(hypothesizes  ordering),確定階層關係;(2)在沒有任何假設性次序的試題間,找出其階 層關係。因此,次序理論在學習階層與認知結構方面,可更深入地分析學 習者的認知型態,瞭解其內在思維及既有的經驗,這對教學者之教學有參 考及輔助之用。然而相關研究指出,性別的因素,會影響解題規則的使用  (Jansen and Van der Maas,1997),不同能力值的學生,所使用的規則並不一 致(樊雪春,1999),由此可知,不同年級與性別之學生,其內在知識結構 會有所不同,呈現的解題規則亦有所差異。因此,在比較專家與生手的解 題規則結構圖之差異,是值得探討的問題(Larkin,  McDermott,  Simon,  &  Simon, 1980),亦是本研究的重要主題之ㄧ。 在規則使用的討論議題當中,相關性思考是一個頗受重視的議題,而 相關性思考指的是人們在判斷、探究兩個變項之間對應關係的過程。例如 在學生的課業方面,其學習態度越積極,在成績上越容易有出色的表現; 或因閱讀能力不佳,降低學習動力造成學生學業成績低落,以系統性思考 的角度來看,任何在生活中或學習上的因素都有可能影響學生學習表現, 這就是變項間相關性的概念。在國小階段,相關性思考的問題大多呈現於 高年級階段,如速率、比例、機率等課程,故本研究針對國小高年級及國 中一年級之學童為研究對象,以此主題設計相關性思考問題,並進行分析 與探究。陳惠萍(2007)曾經探討相關性思考的解題規則,但該研究使用紙 筆測驗方式來進行,在了解學生的使用規則時相當的耗時耗力,因此本研 究希望能藉由電腦網路的科技性,達成快速分析、收集資料,並即時針對 2 .

(12) 學生做出認知診斷分析。 綜合以上所述,研究者針對相關性思考的問題,發展出一套電腦施測 系統,提供施測者即時分析受試者之解題規則,並瞭解其在相關性問題上 使用規則的次序性,藉此希望在學習者的知識結構之分析有所貢獻。. 第二節 研究目的 本研究主要目的在探討學童在相關性思考試題的解題規則,進而分析 學童的解題方式及知識結構,並建置一套相關性思考的線上施測系統,可 不受時空的限制,節省大量的成本與時間,來評量學童的解題規則類型之 表現。然而,更進一步的探討學童的年齡增長及性別的不同等因素,在本 研究測驗試題中的表現是否會有所差異。其目的如下所示: 一、 建置相關性思考的解題規則之線上評量系統,能即時分析、收集大量 樣本資料,並繪製分析個別受試者在相關性思考測驗之解題規則結構 圖。 二、 分析不同年級與性別之學生在相關性思考測驗的表現差異情形,並比 較其與專家結構圖之差異性。 三、 分析總分不同或總分相同但反應組型不同的個別學生,在相關性思考 的解題規則次序結構圖之差異。. 第三節 名詞解釋 壹、解題規則 本研究的解題規則所指的是受試者解決問題時會依循某種方法或策 略的心理歷程  (Jansen &Van der Maas, 2002)  。亦即當解題者面對問題時, 會基於既有的知識架構或經驗,用適當的方法或策略來解題(林原宏、游森 期,2006)。 3 .

(13) 貳、次序理論 次序理論主要應用於兩試題間的先備條件(precondition)之次序性,其可 偵測出試題間階層關係及次序關係。 參、相似性係數 旨在找出受試者與專家知識結構圖的相似程度。本研究引用林原宏、 游森期(2006)  將徑路搜尋法(pathfinder)應用在解題規則結構圖上的比較方 法,其中徑路搜尋網路C值(closeness  value)在比較受試者與專家之解題規 則結構圖上的差異度,即是相似性係數,其值介於0與1之間,0代表與專 家之結構圖完全不符合,而1表示與專家之結構圖完全符合。. 第四節 研究限制 一、 本研究因在有限的時間及經費下,採取樣本主要以台中縣市中小學 為主,其他縣市為少量樣本,在推論上有其限制。 二、 本研究以規則評量方法作為研究基礎,有關相關性思考的解題規則 受限於研究環境、時間與人力,並無法針對所有可能之解題規則進 行探究,故僅就符合一般性之四種解題規則。 三、. 本研究需在充足的電腦設備及網路狀況下,方能進行施測。. 4 .

(14) 第二章 文獻探討. 第一節 電腦化測驗 壹、測驗的發展趨勢 一、測驗的意義 測驗是「採用一套標準的刺激,對個人的特質作客觀測量的有系統程 序」(郭生玉,1980)。測量(measurement)是指以特定的工具,根據某一種 法則,指派一種符號(數字或文字等)給人、事或物的歷程或活動;此歷程 或活動與人的一生息息相關。測驗(test)或狹義的考試(examination)是測量 過程中最常見的工具之一,其內容多樣,形式也多。測驗或考試不外乎在 進行診斷、選才、安置、預測、成就評定、證照認定等活動,無論其目的 為何,測驗所要求的是準確、公平或合理(何榮桂,2006)。簡而言之,測 驗就是在作社會與行為科學的研究時,用來收集資料的一種工具(李連順,  2000)。 二、測驗的發展史 測驗最早可追溯至三千多年前中國隋堂時代的科舉制度,歐美各國之 文官考試制度亦效法於我國。考試制度的創設雖然源自中國,綿延數千年 後,世界各國爭相採用,以作為建立文官制度的選拔依據但是中國卻一直 沒有針對「考試」這門學問進行比較科學化的量化分析,致使近代的心理 計量學(psychometrics)卻發展且發揚於外國,西風東漸後,才傳入中國。心 理計量學是一門研究心理測驗(psychological  testing)與評斷(assessment)的 科學(Cohen, Montague, Nathanson, & Swerdlik, 1988, P.26),是一門包括量 化心理學(quantitative  psychology)、個別差異(individual  differences)、和心 理測驗理論(mental test theories)等研究範圍的學問(余民寧,1991)。而心理. 5 .

(15) 測驗的濫觴,是在西元1905年法國心理學家A. Binet and T. Simon所發展的 比西量表法(Binet­Simon Scale)智力測驗,它可以說是人類第一個客觀的心 理測驗。然就測驗與評量的發展史而言,根據美國教育委員會(American  Council on Education)所發行的「教育測量(Educational Measurement)」一書 將測驗評量的發展大至分為三個時期開創期(西元1850年~西元1950年)、 盛行期(西元1951年~西元1970年)、擴展期(西元1971年~西元1988年),研 究者參考相關文獻將測驗評量發展時程整理如下表2­1所示(余民寧,  1991;江仲翔,2003): 表2­1  測驗評量的發展時程表 時程. 相關理論. 測驗編製的重點. 1.  比西量表(測驗理論的起 1.  標準化測驗。  源) . 2.  實行試題分析。 . 2.  強調在測信度的重要性。  3.  利用電腦統計。 開創期  3.  重視內容校度和校標關 (西元1850年~1950年)  聯效度。  4.  提倡常模參照測驗的理 念。  1.  重視副本信度。 . 1.  由於電腦的快速. 2.  建構效度概念的建立。 . 分析,產生大量. 3.  提倡校標參照測驗。 . 的客觀測驗。 . 盛行期  2.  個別化趨勢,而 (西元1951年~1970年)  產生了適性測 驗。  3.  建立眾多題庫。. 6 .

(16) 表2­1  測驗評量的發展時程表(續)  時程. 相關理論 1.  認知理論的的影響。  2.  試 題 反 應 理 論 . 盛行期 . (Lord,1980)的誕生。 . (西元1951年~1970年)  3.  重視整合分析。  4.  貝式統計的思考模式提. 測驗編製的重點 1.  適 性 測 驗 之 編 製。  2.  電腦科技的融入  3.  強調測驗的倫理 規範。. 出。  1.  多 元 智 力 理 論  1.  測驗與評量的轉 (Gardner,1983)的提出,影. 型,重視實做與. 響後續智力理論的發展。 . 真實評量。 . 2.  強調應以「全人」和「終 2.  新 式 評 量 觀 念 轉型期  (西元1951年~1970年) . 生學習」為出發點的測驗. 「檔案評量」亦. 與評量。 . 被提出作為評量. 3.  此階段發展的評量信、效. 人類多元心智能. 度與測驗品質、客觀公平. 力的主要架構。. 性等,皆未獲得合理的解 決,仍需努力改進。  綜合上述,就測驗評量的理論而言,學者們將其分成兩派:一是古典 理論,主要以真實分數模式(true  score  model)  (Gullikson,  1987;  Lord  &  Novick, 1968)(亦即,觀察分數等於真實分數與誤差分數之和,數學公式為  X=T+E)為主幹,其發展已為時甚久,且有相當之規模,計算公式簡單明瞭, 適用於大多數的教育與心理測驗資料,以及社會科學資料的分析,為目前 測驗學界使用最廣的理論依據;另一是當代測驗理論(modern  test  theory)  主要是以試題反應理論(item  response  theory)  (Hambleton  &  Swaminathan,. 7 .

(17) 1985; Hambleton, Swaminathan, & Rogers, 1991; Hulin, Drasgow, & Parsons,  1983; Lord, 1980)為架構,其理論的發展為時較晚,正處於發展中的狀態, 計算公式較複雜深奧,但其立論與假設均合理且嚴謹,所適用的測驗資料 種類雖屬有限,卻深受測驗學者的青睞,與古典理論相較,有過之而無不 及(余民寧,1991)。然在測驗的施測方式及編製過程而言,因資訊科技的 發達、電腦與網路的普及,已從古典理論為基礎的標準化測驗,發展至現 今以試題反應理論為基礎的電腦化適性測驗,已有跨國性的測驗及我國許 多職考、資格考都應用電腦進行施測,如TOEFL、GRE、劍橋職場外語檢 測(BULATS)及我國交通部公路局的駕照考試、考選部的多項國家考試, 都已實施電腦化測驗,可見目前測驗的發展,已趨向電腦化的施測方式, 然電腦化測驗會因依據理論而有所不同,本研究將於下面繼續探討。. 貳、電腦化測驗的發展 測驗的理論與實際已不是一個新的問題,但隨著工具的發展與改變, 其實施方式也隨著改變。傳統的紙筆測驗,因電腦的輔助而有電腦化測 驗。測驗電腦化的結果,可使測驗的情境更標準化,取代人工計分,減少 誤差,節省時間與人力,皆為常見的優點。目前已有很多著名的測驗用電 腦化施測  (如ETS  之托福等),此種發展趨勢將逐漸取代紙筆測驗(何榮 桂,2000)。因電腦的發達,現今許多教學活動都已融入資訊科技,而網路 的普及,促使遠距離教學應運而生,當然電腦化測驗也隨之發展。然電腦 化測驗的發展最早可追溯到1934年,美國哥倫比亞大學教授Benjamin  Wood即與IBM的工程師合作開始發展電腦閱卷機(mechanical  test­scoring  machine),彼等的努力,隨即被一位高中的科學教師Reynold B. Johnson實 現,類似目前使用之電腦計分卡在這個時代就已誕生了(何榮桂,2006), 而運用電腦於測驗,大致上與電腦的發展是平行進行的,如1970年代的文 字介面大型電腦,此時電腦運用於測驗,僅是記分、閱卷及處理報告的功. 8 .

(18) 能。1980年代圖形介面及個人電腦的誕生,電腦才逐漸普及,也廣泛被應 用在各個領域,此時電腦與測驗的結合才真正被實現,但電腦化測驗僅是 將傳統的測驗電腦化嗎?在1980年代後期,開始發展針對個別化的適性測 驗,電腦化適性測驗的應用讓電腦化測驗的發展向前邁進了一大步。 何謂電腦化測驗?余民寧(2002)認為是用電腦科技來輔助施測者編輯 試題題本、進行施測、資料統計計分及結果的分析、報告、解釋之測驗方 式。換言之,電腦化測驗的主要內涵即是利用電腦科技間接地測量人類的 某種心理特質,測量的內容廣泛,例如:學習成就、認知能力及性向等(陳 新豐,2007)。隨著資訊科技進步,電腦化測驗依據不同的測驗理論及電腦 技術的發展,而發展出不同類型的電腦化測驗,而其分類方式繁多(余民 寧,2002;何榮桂,1990、1997;陳易芬,1993;陳志信,1993;陳柏熹,  2006;陳新豐,2007;葉千綺,1998;Bunderson , Inouye & Olsen, 1989)  , 其中何榮桂(1997)將電腦化測驗分類為「傳統的電腦化測驗(Computerized  Based  Tests,  CAT)」、「電腦化適性測驗(Computerized  Adaptive  Tests,  CAT)」、「線上測驗(Web  Based  Tests)」等,而陳新豐(2007)將其三種電 腦化測驗的意義整理如下表2­2: 表2­2  電腦化測驗一覽表(陳新豐,2007)  傳統的電腦化測驗. 電腦化適性測驗. 線上測驗. 英文全名 . Computerized Based  Tests . Computerized  Adaptive Tests . Web Based  Tests . 英文簡稱 . CBT . CAT . WBT . 將傳統紙筆測驗改 成以電腦螢幕或網 路當呈現介面,逐一 或全部呈現試題的 電腦輔助施測的方 式。. 針對不同能力程度的 考生及其不同的作答 速度,提供適合其能 力作答的適當難度試 題,謀求估計考生能 力的最大精確性,達 成量身訂作的「因才 施測」最高理想境界。. 就測驗環境而 言,結合網際 網路的優點, 將能夠提供超 越時空、隨選 隨測、高彈性 的施測環境的 測驗方式。. 意義. 9 .

(19) 表2­2  電腦化測驗一覽表(續) . 理論基礎. 特色 . 實例 . 傳統的電腦化測驗. 電腦化適性測驗. 古典測驗理論. 試題反應理論. 線上測驗. 古典測驗理論 試題反應理論 1.與傳統紙筆測驗內 1.量身訂製的施測內 1.網際網路的 容相同  容  施測環境  2.施測及計分利用電 2.可以顯現個別的能 2.施測時間、 腦輔助  力差異  地點彈性 3.施測流程非線性  4.無法跳答  5.施測長度不同  TOEFL、GRE、SAT  目前尚無全球 International  舉辦之正式考 Computer Driving  Licence:ICDL、  試 Institute of Certified  Management  Accountants:ICMA . 陳新豐(2007)針對國內博碩士論文以「電腦化測驗」為主題進行搜尋 整理,發現電腦化測驗相關研究以「電腦化適性測驗」及「線上測驗」居 多,而多數的線上測驗屬於傳統電腦化測驗,由此顯見國內電腦化測驗的 研究趨勢。何榮桂(2006)認為電腦化測驗運用資訊科技管理測驗,簡化試 務流程,符合應考人即測即評之「效率」及「經濟」需求,已是測驗發展 之必然趨勢。 有關電腦化的測驗的優點,本研究參考相關文獻整理如下(李連順,  2000;何榮桂,1990;林敏芳,2005;周倩,1998;陳志信,1993;Ree and  Carreta,1998)。  1.  不受時空的限制,可隨時隨地進行,且易於反覆的練習。  2.  可立即得到回饋。  3.  多樣化的呈現方式,可利用圖片、聲音、動畫及影片的結合,真實. 10 .

(20) 呈現題目的情境。  4.  節省人力與時間,提高工作效率。據一些研究顯示,以電腦來實施 同一版本的紙筆測驗,前者只需後者的57%的施測時間。  5.  可作適性化測驗,達因材施教的評量環境。  6.  在施測中,可收集測驗過程或受試者額外的訊息,可提供改進施測 的依據,亦可做認知診斷的分析。  7.  題庫眾多,擴充、修改容易。  8.  可將測驗標準化,進行情境的有效控制,避免人為的情境干擾。  9.  可降低測量的誤差,如利用電腦可控制顯示題目的數目,避免字跡 對評量的影響。  10. 易引發學習動機。 電腦化測驗結合網際網路之後,其更可以提供超越時空、隨選隨測、 更彈性的施測環境(何榮桂,1997)。McCormack and Jones (1997)認為網路 測驗能夠改善評量的程序和方法,因為網路測驗具備有節省時間、即時回 饋、減少資源、保存記錄、更加便利等特性。然電腦化測驗亦存在著一些 問題,是值得我們注意的,本研究亦參考相關文獻整理如下(李連順,2000; 林裕集,2001;林敏芳,2005;陳志信,1993;Mazze  and  Harvey,1988;  Ager,1993):  1.  試題呈現的方式,電腦化測驗通常採一題一題的方式呈現,遇到過 長的閱讀測驗文章往往須加修改,以免受試者在閱讀時必須按鍵以 控制螢幕移動。  2.  能否回溯再答或修改,傳統測驗中,受試者是可以回頭或跳過題 目、或對不滿意的題目進行修改。但從測驗理論看,此種情形亦造 成誤差,電腦測驗的學者多不主張修改先前的答案。  3.  電腦化測驗題型多限於選擇題、填充題,因電腦很難判斷開放式的 答案。 11 .

(21) 4.  測驗實施時,施測者需準備足夠的電腦供受試者使用,且必須考慮 電腦當機的問題。  5.  題庫的建立不易,對教學者或出題者而言,題目的數量越多越好, 除要兼顧數量外,亦得注意題目的品質,得需花費大量的時間與人 力。  6.  實施網路測驗時,由於遠端冒用的替身的問題仍無法解決,因此考 試作弊的問題無法獲得有效的控管。  7.  電腦化測驗較不適合呈現必須閱讀文字章節的題型,因為螢幕解析 可能增加閱讀的困難性。  8.  網路塞車所造成的問題,會因題目及回饋的延遲造成測驗結果而有 所影響,亦可能造成受試著的不良反應,影響其作答。  9.  類似數學、理化等必須計算的題目,學生會因為必須在草稿紙上抄 下題目在計算,而可能影響其作答速度。 雖然電腦化測驗存在著這些問題需要注意改進,但林敏芳(2005)認為 若能著眼於克服線上測驗目前所遭遇的一些問題,相信未來以線上測驗取 代傳統測驗將是指日可待,且若能建立一個完整的評量系統,則將為改進 傳統的學習注入一個新的契機,如此一來,教師也可將多餘時間投注在形 成性的評量上,並採用歷程記錄、觀察、實驗記錄等多元化的評量方式來 實施,以改進教學和學習。 電腦化測驗與紙筆測驗的結果是否相同?根據楊亨利與應鳴雄(2005)  的研究結果顯示「已擴充語意後的智慧型評分機制」與「紙筆評分」的評 分結果並無顯著差異;陳新豐(2005)研究發現,若將傳統紙筆式測驗和電 腦化測驗做一個比較,在認知方面上,其測驗人數相等時,測驗效果並無 差異,而且參數估計也是一致的;陳易芬(1993)利用加州評量測驗的分測 驗,進行電腦化測驗和紙筆測驗的比較,在各自的平均數、標準差、信度、 標準誤等方面,其研究結果顯示兩者沒有差異。 12 .

(22) 綜合上述,電腦化測驗已是未來測驗發展的趨勢所在,因此本研究結 合電腦的優勢及網路的便利性,以Siegler(1981)的規則評量為核心理論, 發展一套相關性思考解題規則的施測系統,藉此分析診斷受試者的解題策 略。. 第二節 相關性思考概念 洪榮昭(2002)針對創意教學發展出一個成效評估指標,共有八項評估 指標,相關性思考屬於聯想性思考指標中的子項目,其意義為依物性的意 涵做相關連結或依類似事理舉例。然相關性思考為相關性概念的一環,而 相關性概念在各領域有廣泛的應用,如在統計學上,相關性(correlation)指 的是兩個隨機變量次序之間對應關係,當其中一個變量增加或減少時,另 一個變量亦會隨之改變,通常以相關係數(correlation  coefficient)來代表兩 個變數之間關係密切與否的程度(林清山,1992)。在認知心理學上,Piaget  認為相關性的概念衍生於概率觀念與一種與比例結構相似的結構之綜 合,其亦是Piaget總結出的八種形成結構化的運算格式之一(陳惠萍,  2007)。 相關性的認知發展有賴於分類概念的成熟,而Piaget認為物體間「分 類(classes)」與「關係(relations)」是兒童脫離具體或直覺思維的重要關鍵(李 其維,1995)。Piaget將人類的認知發展分為感覺動作期、前運思期、具體 運思期及形式運思期,其分類與關係之理解在各時期亦有所不同,並指出 兒童對於「分類」與「關係」的概念,會由分開到最後發展成合為一體的 理解。 相關性思考在國小階段提及甚少,故研究者針對國小高年級學童,以 此概念設計測驗題目,題目旨在辨別兩班學童身高與體重的相關性,藉此 刺激學童判斷與思考,亦盼能以此對後續研究者提供參考之用。. 13 .

(23) 第三節 規則評量方法 壹、規則評量方法概論 受試者解決問題時會依循某種方法或策略的心理歷程稱之為解題規 則  (Jansen and Van der Maas, 2002)  ,亦即當解題者面對問題時,會基於既 有的知識架構或經驗,用適當的方法或策略來解題(林原宏、游森期,  2006)。然而,Jansen and Van der Maas (1997)將解題規則分析方法的探究稱 之為規則評量方法論(rule assessment methodology)。規則評量方法是Siegler  改進Piaget研究方法的重要發現,其意義是以解題者在解題過程的反應得 知其使用的規則,並以規則作為評量的單位分析,瞭解解題者的思考的模 式,目的在於透過評量人們已知的知識來提昇學習能力。 規則評量方法有其基本假設與限制(Siegler,  1981):1.解題者會依照假 設的規則來解題;2.可從解題者的作答反應組型看出其所使用的規則;3.  概念的發展可透過逐次增加有用的規則來呈現。有關測驗的概念必須有其 解題規則作為根本,而解題規則與認知發展息息相關,Siegler(1981)在  Piaget的液體保留問題在概念發展研究中,指出不同階段的兒童在面對不 同問題時,所考量的面向會有所不同,其所採取的解題策略亦有所不同。 然解題規則的發現,往昔大多以晤談方式進行,其所耗費時間過多,近年 來已運用資訊科技進行解題策略的模擬,如Shranger and Siegler (1998)運用 電腦模擬及瞭解孩童的能力,可簡單的檢測出學齡前兒童對加法策略的選 擇。. 貳、談各種規則評量的方法 探究解題規則的方法,可分為質性與量性兩大部份,說明如下所示。 一、質性的分析方法 在質性分析方法上,以早期的Inhelder  and  Piaget  (1958)觀察與訪談兒 童的思維為代表,透過觀察、晤談與紀錄,可深入分析解題者的解題思考 14 .

(24) 歷程與策略。晤談是質性研究的主要方法,以一系列的問題和受試者進行 問答,以不強調受試者答案的正確性為原則,不斷的溝通,直至了解學生 可能的想法為止(郭重吉、吳武雄,1990)。後續許多相關文獻以晤談方式 進行研究,如Watts (1983a, 1983b)  以晤談方法探究學童對力與對能量的概 念;Hardiman (1984)利用學童嘗試測驗時的晤談來啟發對槓桿的平衡情形 做預測;White and Gunstone (1992)  以POE (Predict­Observe­Explain)晤談來 探究學生對於物體平衡、重量與位置高低間三因素間的概念情形;Halford  and Dalton (1995)  以晤談來比較2  到3  歲學童教學前後對槓桿平衡的判斷 情形;Welzel (1998)  利用晤談配合紙筆測驗的前後測來探究學生對機械的 概念;Michelle (1998)  運用紙筆測驗及操作具體物時的晤談來探究多樣化 的簡單機械教學前後所呈現對槓桿概念的想法。 然而,質性研究所得的結果可提供量性研究的依據,但質性研究較費 時費力,且樣本人數少,不適於做推論,且需注意研究者或解題者的主觀 特質或因素(林原宏、游森期,2006)。 二、量性的分析方法 量性研究是指以量化的統計與測驗方法分析研究資料,其所得到的結 果,可提供推論依據,以下分述五種量性分析方法。 (一)Seigler  的認知分析  Siegler  長期致力於兒童成長期間的解決問題和推理,並著重在「策略 選擇」,「長期的學習」,及「教育應用」的認知發展理論之研究,主要 以Piaget的「兒童認知發展階段理論」結合訊息處理學習論中的「演化  (evoluctionary)」作為研究理論基礎,因此亦被稱為新皮亞傑學派的成員之 一(李雅林,1996;彭杜宏、劉電芝,2004)。Seigler (1976)  曾設計30題平 衡槓桿作業,在一個平衡槓桿上,變換砝碼放置的位置,要求兒童預測槓 桿會向左下垂、向右下垂或保持平衡,其槓桿圖如下圖2­1所示。. 15 .

(25) 圖2­1  槓桿圖 經分析兒童在平衡作業上的解題行為後,Seigler指出兒童是依據瞭解 層次,而表現出不同的解題行為,且認為層次的發展具有一致性,可透過 規則一~規則四的獲得,而在題目上表現進步。 然而,後續Seigler (1981)依據Piaget的規則模式,針對平衡桿問題設計 出六種問題模式情境,來偵測四個解題規則(Jansen  &  van  der  Maas,  1997),其內容如下:  1.  相等問題(equal problems):首位和次要面向之值相同。  2.  主要面向問題(dominant problems):首位面向的值不冋,但次要面向的 值相同。  3.  次要面向問題(subordinate problems):次要面向的值不同,但首位面向 的值相同。  4.  首位面向衝突問題(conflict  dominant  problems):首位面向與次要面向 皆不同,首位面向影響較大。  5.  次要面向衝突問題(conflict subordinate problems):首位面向與次要面向 皆不同,而次要面向影響較大。  6.  相等衝突問題(conflict­ equal problems):首位面向與次要面向皆不同, 而兩面向的衝突影響互相抵消。 在該研究中,以5、9、13、17歲等不同的年齡層學生為對象進行實驗 施測,發現不同年齡層的學童,在不同的問題模式的表現是有所差異的, 其結果大致如下:  1.  首位面向衝突問題的表現,五歲孩子答對率為89%,而十七歲的孩子. 16 .

(26) 答對率為51%,可知在這些問題的表現,十七歲表現的比五歲孩子差。  2.  而在次要面向不同的問題表現五歲孩子答對率為9%,而九歲的孩子答 對率為78%,而十七歲的孩子答對率為95%,在此類型問題從五到十 七歲,其發展漸增。  3.  相 等 及 首 位 面 向 衝 突 問 題 兩 種 問 題 表 現 , 有 持 續 性 的 正 確 , 從  88%~100%。  4.  次要面向衝突(次要面向影響較大)問題及相等衝突(首位面向與次要 面向的影響相抵消)問題的表現,分別是7%~40%及11%~50%。 透過學童在各種問題的反應可分析其解題規則,可了解其在該概念的 發展情形。而本研究的測驗問題亦參考其中的次要面向不同的問題、相等 衝突問題以及首位面向衝突問等三類問題模式進行編製。  Seigler將兒童的解題規則之發展,用一種流程圖來表示,其是利用電 腦程式語言的處理流程圖(If….then….else)概念來說明四種解題規則的過 程,以找出兒童所使用的規則,其流程圖如圖2­2、圖2­3、圖2­4、圖2­5  所 示。(胡啟有,2008;Seigler, 1981) . 圖2­2 Seigler的規則評量方法之解題規則一模式. 17 .

(27) 圖2­3 Seigler的規則評量方法之解題規則二模式. 圖2­4 Seigler的規則評量方法之解題規則三模式 18 .

(28) 圖2­5 Seigler的規則評量方法之解題規則四模式. 由上述流程圖可知四種規則具有階層性,規則一屬最低階的策略,依 序至規則四屬最高階之策略,其考慮較多的面向及變數,且能有系統的進 行解題。Siegler and Alibali(2005)認為確認典型的規則發展順序和兒童使用 的方法,是為了可以協助教師預測採用哪一種教學經驗,來幫助特定兒童 的學習,由此可提昇教師的教學效率及學童學習的成效。  Siegler(1982)除了將規則評量方法應用在槓桿問題上來研究兒童的推 理外,尚有投影、填滿、機率、數的保留、液體質量保留、固體質量保留、 數數、河內塔問題、道德推理問題、時間、速度及距離等問題上,發現了 在教育上有重要影響的八個結論,說明如下。  1.  透過研究發現,以往認定對兒童的先備知識的描述可能不正確。  2.  使用規則評量方法著重於不同任務間之推理的穩定性。  3.  研究發現,兒童的推理不受時間性的影響,在不同時間點給予相 19 .

(29) 同的任務,兒童的推理一致性相當的高。  4.  若能正確的測出兒童的先備知識,對兒童可提供最有效的指導方 式。  5.  特殊的知識並非影響學習的唯一因素,例如年齡亦是影響其發展 或規則選擇的因素之一。  6.  編碼(encoding)與學習能力的關係:有限的編碼會使學習能力亦受 到限制,亦即編碼能力是可以訓練的。  7.  提昇兒童的學習能力,應多注重改善兒童編碼的因素,如鼓勵兒 童嘗試用分析的態度。  8.  使用規則評量方法的經驗可獲得一系列的知識,其可改善兒童的 編碼能力。 由上述可知,Siegler將規則評量方法應用於認知發展上,主要是著重 於兒童的先備知識、學習能力及刺激兒童的編碼等三個面向,其在探討具 不同先備知識對學習的影響,及不同發展狀況下兒童學習能力之差異等教 育議題,亦可見規則評量在教育上的意義。 (二)潛在類別分析(latent class analysis)  潛在類別分析(簡稱LCA)是一種潛在特質分析的模式,其是利用測驗 題型的反應組型,將受試樣本作最佳的異質群體分類,依據每一類別下的 試題答對機率,來詮釋受試者使用解題規則或策略的內在認知結構(吳毓 瑩、林原宏, 1996;Jansen & Van der Maas, 2002)。Jansen and Van der Maas  (2002)認為Siegler (1976)所提出的規則評量方法,是將受試者歸類至使用某 種規則評量,其無法完全適用,因此提出潛在類別分析方法應用於平衡槓 桿問題之解題規則分析上。 潛在類別分析在教學上主要提供兩大用途,作用是在分群,以利各組 群的教學及學習效力之提昇,其一是將同質性的學生分成同組,此可針對 學習上共同的問題進行修正,亦可使學習步伐一致,達到相加相成的功 20 .

(30) 效;其二是異質性的分組,此可配合討論活動或合作學習,因異質性高, 可達不同認知結構的轉變與同化。 (三)試題反應理論(item response theory, IRT)  試題反應理論是當代心理計量學主流理論,其對心理與教育測驗等有 革命性的突破,甚至對於社會科學或人類科學  ( human sciences )  等常用之 問卷調查、評等量尺、排序等亦有相當大的影響。試題反應理論係從試題 作答反應(item response)觀點,來探索與分析測驗等化、題庫建置、測驗編 製、電腦化適性測驗、差異試題功能、其他測驗應用等議題,有別於以整 份測驗作答反應(test  response)角度立論的古典測驗理論內涵(余民寧,  2009)。然而,其模式相當多,本研究列舉幾種理論進行說明,如下所示。  1.  規則空間模式(rule space)  Tatsuoka  (1983)提出一種「規則空間」(rule  space)的數學模式,是用 來 診 斷 及 偵 測 小 學 生 在 解 決 算 術 中 四 則 運 算 上 的 錯 誤 規 則 (erroneous  rules) , 藉 由 學 生 的 反 應 組 型 , 可 推 論 受 試 者 的 潛 在 知 識 狀 態 (latent  knowledge  state),更深入可瞭解其知識結構。研究發現學童使用錯誤規則 來解題,因此產生系統化的錯誤,這些錯誤反映在學童的不尋常反應組型 裡,同時,他們導出這些觀察得到的失誤情形的理論分配,並且稱這個分 配為 「失誤分配」(bug  distribution)。這項重要的發現,對教育的實務問 題具有很重大的涵意:教師可以透過有目的、結構化的設計試題,經過規 則空間的分析,就能順利找出或診斷出具有認知失誤、或「錯誤概念」  (misconception)的學生來,以便對症下藥進行補救教學(余民寧,1994)。 使用規則空間的評量方法,其所採用的試題必須經過特別的設計,如 此才能從受試者的試題反應,診斷出受試者的知識狀態。每道試題必須包 含幾個認知屬性(cognitive attributes),這些認知屬性需要能反應出知識的向 度。必須注意的是,試題所包含的認知屬性並非由規則空間的方法所產生 的,而是透過工作分析(task  analysis)的方式,分析出能代表該知識領域的 21 .

(31) 表現行為(涂金堂,2003)。亦即經由認知屬性與試題反應理論的架構下, 依據受試者的反應組型,即可推論出其可能的解題規則。 綜合上述,規則空間模式可提供豐富且準確的診斷訊息,供教學者判 斷學習者的學習歷程與學習成果,然而,目前可能還無法廣泛被應用至教 學現場,其原因一是評量者會對於規則空間的複雜公式不熟悉,而不知如 何採用此法;之二是教學心理學對於各學科領域的學習教材,尚未有豐碩 的研究成果,供教學者參考編製符合規則空間模式要求的評量試題。因其 任何概念都需事先建立一套規則空間,對於編製適用此模式的試題著實不 易 。 Linn(1990) 就 曾 評 論 說 : 「 Tatsuoka 的 研 究 僅 限 於 結 構 良 好 (well­  structured)的問題領域,至於結構較不良的問題,規則空間是否仍能提供有 用的訊息,則有待日後的證實」。因此,發展一套分析技術,以期能適用 於各種學科領域知識的診斷,是未來認知診斷測驗可以走的方向(余民寧,  1994)。  2.  線性邏輯測驗模式(linear logistic test model, LLTM)  線性邏輯測驗模式是由Fischer  (1973)所發展出來的,是Rasch  模式的 一種延伸。運用線性邏輯測驗模式的評量方法,即可透過受試者的試題反 應組型,推估出受試者可能因沒有具備某種認知操作的知識或技能,而導 致無法答對包含該種認知操作的題目。同時,也可推估出全部試題的所有 認知操作,哪些認知操作是受試者比較容易學習獲得的,而哪些認知操作 對受試者是比較艱深的。其在應用實例上,Spada  and  Kluwe(1980)以949  名中學生為研究對象,採用線性邏輯測驗模式,探究中學生解決24道槓桿 平衡的試題。Spada  and  Kluwe  歸納出解決這些槓桿平衡問題時,所可能 需要具備的8項認知操作。 此模式的優點是比Rasch  模式更能診斷出受試者因缺乏某種認知操作 的知識或技能,而無法答對包含該種認知操作的試題。據此,教學者可由 線性邏輯測驗模式所提供的診斷訊息,更清楚掌握受試者的學習歷程。缺 22 .

(32) 點是線性邏輯測驗模式是以Rasch模式為基礎,再加以擴增對試題難度的探 討,而Rasch  模式常被批評的缺點是並未考慮鑑別力參數與猜測參數,而 這個缺點同樣也出現在線性邏輯測驗模式上。另外,若想採用線性邏輯測 驗模式的評量方法,則必須使用Fischer  所開發的LpcM  套裝軟體,才能進 行各種參數值的估算。礙於LpcM  套裝軟體的取得與LpcM  套裝軟體的使 用能力等因素,目前線性邏輯測驗模式,並未廣泛的被應用在教室的教學 評量(涂金堂,2003)。  3.  混合策略模式(mixed strategies model)  混合策略模式是由Mislevy  and  Verhelst  (1990)所提出,他們認為  Fischer(1973)的線性邏輯測驗模式對於試題的測驗內容,已經關注到不同 的認知操作。但這些不同的認知操作,通常被假定為使用於同一種解題策 略,亦即所有受試者會採用同一種策略,解決所有測驗的試題,而這些試 題則包含了各種不同的認知操作。然而混合策略模式則是假定受試者對同 性質的所有試題,可能會採取不同的解題策略。混合策略模式的這一點假 定,是比較符合受試者的真實解題情境,亦即對同性質的試題,受試者可 能會採用不同的解題策略。其次,將受試者的試題反應組型,透過混合策 略模式的估算,可以估算出不同能力值的受試者,選擇不同策略的概率函 數值的高低,據此,可推估不同能力值的受試者,較可能採用何種解題策 略。 使用混合策略模式的前提是,評量者必須事先確定受試者可能會採用 哪幾種不同的解題策略,而這個部分則有賴於心理學提供豐富的研究成 果,但以目前教學心理學對於各學科領域的探究成果,可能無法有效滿足 評量者的需求(涂金堂,2003)。  4.  解題規則診斷之測驗模式  Misailidou  and  Williams  (2003)整理相關文獻後進行比例理解試題的 編製,以Rasch  模式之試題反應理論進行檢驗,晤談所提供診斷詮釋為依 23 .

(33) 據,建立解題規斷之題庫,其可提供教師及研究人員用此測量和診斷孩子 有關比例理解的想法。 (四)劇變論(catastrophe theory, CT)  劇變論是由法國數學家Thom  (1975)  從拓樸學中提出的一種幾何模 型,能夠描繪多維不連續的現象,其以突變作為數學模型來描述不連續的 現象,並掌握其規律性。這套理論會受眾人矚目,就是因為自然界中有許 多不連續的現象及系統等待處理,然近年來研究者已擴展到社會科學。Van  der  Massand  Molenaar  (1996)  則將劇變論應用於解題規則發展階段的分析 與解題規則的探討,其頗能解釋解題規則發展階段的現象,但因其理論艱 深難懂,在實用上較不普遍,因此一般研究較少將劇變論應用於分析上。 (五)知識空間(knowledge space)模式  Doignon  and  Falmagne  (1985)所提出的知識空間模式是用來做為評估 學生學習成效的一種方法,其必須先在測驗之前分析解題的所有操作,再 針對各個操作的難易及學習上的先後次序,亦即知識空間模式可以評量出 學習者的知識結構,藉此可以診斷出學習者對各概念之間的異同情形,是 否產生適當的連結關係。然此模式是經由專家分析數學學科的操作,認為 可由一個題目來表現一個操作,並針對各操作設計題目,其過程相當繁 瑣,需要用到許多複雜的心理計量公式,軟體開發亦較稀少(如PRAXIS), 因此,此模式較少應用於教學評量中。. 參、相關性思考的解題規則 本研究之解題規則改編自Awang(1984)魚的問題(The  Fish  Problems)的 四種相關性思考的解題規則,主要是藉由魚的大小與魚的顏色(黑、白)之 間的相關性,探討受試者在此概念的解題規則模型,其題目如下所示: 圖2­6中,有左右兩圖的魚,有些大、有些小、有些黑、有些白,請仔 細的觀察每個圖,並回答下面的問題:. 24 .

(34) 請問你認為在下面兩圖中,魚的顏色和大小,哪一個圖的魚看起來黑 的傾向大,白的傾向小的情形比較明顯?. 圖2­6 Awang魚的問題圖 本研究以解題規則流程圖說明四種規則的使用,為方便說明,假設左 邊圖黑且大及白且小的魚總數為LC;左邊圖白且大及黑且小的魚總數為  LD;右邊圖黑且大及白且小的魚總數為RC;右邊圖白且大及黑且小的魚 總數為RD。其各規則流程圖如圖2­7、圖2­8、圖2­9、圖2­10  所示。(陳惠 萍,2007;Awang,1984) . 圖2­7 Awang之相關性思考的解題規則一模式. 25 .

(35) 圖2­8 Awang之相關性思考的解題規則二模式. 圖2­9 Awang之相關性思考的解題規則三模式. 26 .

(36) 圖2­10 Awang之相關性思考的解題規則四模式 由上述流程圖,可將四個解題規則下的作法整理成表2­3  說明,如下 所示。 表2­3 Awang之相關性思考各規則下之作法 規則. 規則作法說明 直接比較主要面向值,即比較黑且大和白且小的魚之數量和,. 一 數量多者相關性大。 先比較主要面向值,即比較黑且大和白且小的魚之數量和,若 二. 相同,再比較次要面向值,即比較黑且小和白且大的魚之數量 和,數量大者相關性較小。 先將各圖中黑且大和白且小的魚之數量和,與白且大和黑且小. 三 的魚之數量和進行相減,算出差值,差值較大者則相關性較大。 先將各圖中魚黑且大和白且小的數量和,與魚白且大和黑且小 四. 的數量和進行相減,算出差值,再除於各圖中魚的總數,並取 其絕對值,比較最後所得的比值大小,比值大者相關性較大。. 27 .

(37) 綜合上述,可與Seigler的規則評量方法之流程圖進行比較,規則二部 份,圖2­3其流程選擇的是次要面向較多的值,而圖2­8選擇的是次要面向 較小的值,兩者在流程上是有所差別的;規則三部份,比較圖2­4與圖2­9, 經後續研究Seigler從1970年Fischbenin、Parmpu、Manzatn及1975年Chapman  等人的研究文獻中,發現兒童在使用規則三時,是利用減法的方式進行解 題,而非胡亂猜測(胡啟有,2008),圖2­9即是利用減法方式進行解題與圖  2­4有所不同;最後規則四的部份,比較圖2­5與圖2­10,圖2­10則是以兩面 向之差值再除以魚的總數之比值,並取其絕對值,較明確地說明圖2­5之適 當地組合兩面向的值。. 第四節 精緻試題有向圖分析 壹、精緻試題有向圖分析概論 精緻試題有向圖分析(refined item digraph analysis, RIDA)是由Bart and  Williams­Morris  (1990)所提出,主要應用於試題分析,其採用半密集試題  (semi­dense  item)的前兩種特性,反應解釋力(response  interpretability)和反 應區別力(responsediscrimination)  作為衡量試題的解題規則診斷功能之兩 大指標,Bart  &  Williams­Morris  (1990)認為,試題若無解題規則的解釋與 區別功能,雖有嚴謹的認知診斷模式,亦無法進行解題規則的認知診斷探 討。其中半密集試題(semi­dense item)是指一個試題能精確解釋學生在解題 時所犯的錯誤,這個試題就稱為半密集,其具有反應解釋力(response  interpretability)、反應區別力(response  discrimination)、規則區別力(rule  discrimination) 、 詳 盡 規 則 慣 用 性 (exhaustive  rule  set  usage) 及 半 密 集  (semi­Density)等五項性質(Bart et al.,1994)。. 貳、精緻試題有向圖分析  Bart  and  Williams­Morris  (1990)所提出的精緻試題有向圖分析(refined 28 .

(38) item digraph analysis, RIDA)是一種心理計量模式,其能檢視解題規則之測 驗試題品質,以反應解釋力與反應區別力作為衡量試題之認知診斷力的兩 大指標。下面以Bart and Williams­Morris (1990)所舉的試題例子,說明反應 解釋力與反應區別力的意義。 假設試題2+2=(  )有三種反應,即0、1和4等三種答案選項,可以利 用加減乘除等四種規則對應表示,如圖2­11表示。. 題目 . 反應. 規則 . 0 . 2+2  2-2 . 1 . 2+2=(        ) . 2´2  4  2÷2. 圖 2­11  試題 2+2=(        )的反應與規則對應圖. 如圖2­11所示,將其整理成表2­4的反應與規則對應關係表,其中反應 若能被規則所解釋,則以1代表,若無,則以0代表。 表 2­4  試題 2+2=(        )的反應與規則的對應關係表 規則  列總和 .  . 應 反. 2+2  (規則 1)  0 (反應 1)  1 (反應 2)  4 (反應 3) . 0  0  1 . 2-2  2´2  (規則 2)  (規則 3)  1  0  0 . 0  0  1 . 2÷2  (規則 4) . dis i . 0  1  0 . 1  1  2 . 反應解釋力指的是該反應能被規則所解釋的程度,若測驗試題的每一 個反應至少可以被一個規則所解釋時,則該測驗試題便具有反應解釋力, 例如表2­4中,答案選項為0時(反應1)可以被減法(規則2)所解釋。然而,反 應解釋力的值介於[0,1]之間,0代表試題的所有反應都不能被規則解釋, 29 .

(39) 1代表試題的所有反應都能被規則解釋,林原宏(2005b)歸納反應解釋力公 I . å int  i. 式可令為  i =1 . I . ,其中 I  是反應的數目,當反應 i 對應的列總和 dis i  大於0 . 時,則 int i  為1;反之,當反應 i 對應的列總和 dis i  等於0時,則 int i  為0。所 1 + 1 + 1  = 1 。反應解釋力的值域介於[0,1]  3 . 以,表2­4中該題的反應解釋力為 . 之間,其值愈高,表示該題的反應愈能被規則所解釋。 反應區別力指的是該反應能被規則所區別的程度,若測驗試題的每一 個反應都只能被一個規則解釋時,則該測驗試題具有反應區別力,林原宏  I . æ  1  ö. å çç dis  ÷÷. (2005b)認為反應區別力公式為 . i =1 . è. i. I . ø. ,其中 I  是反應的數目,而 dis i  是. 1  為0。所以,表2­4中該題的反應區 dis i . 反應 i 的列總和;如果 dis i  = 0 ,則令 . æ 1 ö æ 1 ö æ 1 ö ç ÷+ç ÷+ç ÷ 1  1  2  5  別力為 è ø è ø è ø = 。其反應區別力的值域介於[0,1]之間,其值愈高, 3  6 . 表示該題的反應愈能被不同的規則所區別出來。 反應解釋力的數值大小,能提供施測者許多重要的診斷訊息,因為根 據反應解釋力的數值大小,施測者可藉由受試者所挑的選項,來推論受試 者答題時,可能經歷的各種認知運作歷程。反應解釋力數值越大,越有機 會顯現出受試者答題時,可能經歷的各種心理運作歷程。而反應區別力的 數值大小,會影響到施測者能否由獲得的相關訊息,正確的推論出受試者 答題時,經歷過哪一種認知運作歷程  (涂金堂,2003)。由此可知,反應解 釋力與反應區別力在實證研究上,除了可以作為施測者選題的依據外,亦 可藉由受試者的作答反應,推測受試者的心理運作歷程或解題策略。. 30 .

(40) 第五節 次序理論 壹、次序理論概論 次序理論之基礎起源於  Guttman  之量表圖分析法(Scalogram  analysis)  及線性量尺技術  (linear scaling technique) (Jansson, 1986)。Guttman 量表圖 分析法可以找出測驗試題的次序性,以利試題編排,其分析僅限於線性次 序(linear  ordering)的分析,所能提供的階層關係訊息有限。然而,為改善 其分析缺陷,Airasian and Bart 於 1973 年提出次序理論,其可分析線性與 非線性次序的關系,主要應用於衡量兩試題間的次序關係,可呈現試題階 層(item hierarchy)(林原宏,2005a)。  Airasian and Bart (1973)  指出次序理論有兩個一般性的目的:(1)  測試 兩個項目間的假設性的次序,以確定其次序關係;(2)將未具備假設性次序 的項目進行一般化的次序,以判斷該些項目是否具有次序關係。此外,由  Bart  and  Krus  (1973)研究中可知,次序理論僅能處理二元的資料,即侷限 於二元計分的試題,不過為了使其應用在多元計分的研究領域上,Lin, Bart  and Huang (2006)已將次序理論擴展到加權式廣義多元計分的模式。. 貳、次序理論的分析 由上述可知,次序理論主要應用於分析試題間的次序關係,例如,試 題 i 為試題  j 的先備條件,意旨試題 i 是試題  j 的下位概念,反之試題  j 為試 題 i 的上位概念。下列以「試題i  和試題j  的答題人數之列聯表」說明二元 計分的試題i  和試題j (i  ≠  j )之間的關係,其中答對以1  表示、答錯以0  表 示,如表2­5  所示(林原宏,2005a)。. 31 .

數據

Updating...

參考文獻

相關主題 :