科學建構反應評量之發展與研究

全文

(1)國立臺灣師範大學教育心理與輔導系博士論文. 指導教授：林世華博士. 科學建構反應評量之發展與研究. 研究生：林小慧撰. 中華民國一○五年七月.

(2) 中文摘要. 本研究主要在發展「科學建構反應評量」，並發展評閱科學能力之「科學建構反應評量規準」。全評量包含「科學知識的記憶與了解」、「科學程序的應用與分析」、「科學邏輯的論證與表達」以及「問題解決的評估與創造」四個分評量，共計32 題建構題。研究者透過項目分析、建構效度及信度的檢驗，分析處理實徵資料，以檢視評量的信效度。分析結果顯示，評分者內之一致性值均＞ .9 ，可見評分者內的一致性相當穩定。其次，評分者間之Kendall ω 和諧係數值＞ .9 ，P 值＜ .05，達顯著相關，顯示評分者間的評分結果相當一致。再者，評分者嚴苛度之多面向M 卡方考驗未達顯著水準 (χ2 = 5.01，df = 3, p = .171 )，分散指標信度 (separation reliability) 為.57 ，表示評分者間具有一致性，與古典測驗理論的分析結果一致。另RSM 及PCM 模式比較之卡方考驗則達顯著水準，表示評分閾值 (threshold) 存在差異，未達理想水準。然將RSM 與PCM. 所估計出來的Deviance 進行BIC 的. 轉換，結果顯示RSM 較為適配，顯示評分者間有相同的評分閾值。基此，後續仍應持續蒐集資料，進一步確認評分者閾值嚴苛度的一致性。此外，題本之內部一致性，均＞ .8 ，全評量α 則在.90 以上，顯示SCRA 之Cronbach’s α 呈現相當不錯的範圍。最後，根據CFA 分析結果顯示，實徵資料尚且支持「科學建構反應評量」理論概念模式。「科學知識的記憶與了解」、「科學程序的應用與分析」、「科學邏輯的論證與表達」以及「問題解決的評估與創造」所檢測四個一階潛在因素，可被二階因素之「科學能力」解釋的百分比分別為.92 、.56 、.46 、.46。關鍵詞：科學建構反應評量、評分者一致性、RSM 與PCM 模式比較、多面向Rasch 測量模式、驗證性因素分析. i.

(3) The Development of Scienctific Constructed-Response Assessment. Abstract. This study aims to advance the Scientific Constructed-Response Assessments (SCRA), with a focus on the Rubric of Scientific Constructed-Response Assessments (RSCRA) designed to evaluate the extent of scientific comprehension. To this end, the optics is just the scientific unit of the assessment, consisting of 32 open-ended items categorized into 4 subscales: the memory and understanding of scientific knowledge，the application and analysis of scientific procedure，the demonstration and expression of scientific logic, and the evaluation and creating of problem solving. Item analysis, the Cronbach’s α of the intra-rater was bigger than .9, and showed the intra-rater consistency good. The Kendall coefficient of concordance of the inter-rater reliability was bigger than .9, the value of P was smaller than .5, and showed the inter-rater consistency good. Another, The analysis of many-facet Rasch measurement (MFRM) shows that the chi- square test of rater sevirity was not significant. This means the same of inter-rater consistency and the results are consistent with the classical test theory. And the comparison of the rating scale model (RSM) and the partial credit model (PCM) shows that the chi- square test of rater sevirity was significant.This means the difference of inter-rater threshold. However, the Bayesian Information Criterions (BIC) of RSM and PCM shows that the RSM was goodness-of-fit, and the inter-rater threshold can be considered the same. Therefore, we should continue to collect informations to confirm the consistency of inter-rater threshold. Furthermore, the Cronbach’s α of the items were bigger than .8. and also. were within acceptable range. Finaly, Second-order confirmatory factor analysis shows ii.

(4) that there was an acceptable goodness-of-fit among the SCRA. The SCRA accounted for .92, .56, .46, and .46 of the variance associated with the first test of 4 subscale.. Key Words: Scientific Constructed-Response Assessments, rater consistency, the model comparison of RSM & PCM, many-facet Rasch measurement, confirmatory factor analysis. iii.

(5) 目次中文摘要 ............................................................................................................................i The Development of Scienctific Constructed-Response Assessment .............................. ii 目次 ..................................................................................................................................iv 表次 ..................................................................................................................................vi 圖次 ............................................................................................................................... viii 第一章. 緒論 ...........................................................................................................1. 第一節. 研究動機 .................................................................................................. 1. 第二節. 研究目的 .................................................................................................. 4. 第三節. 研究問題 .................................................................................................. 4. 第四節. 研究假設 .................................................................................................. 4. 第五節. 名詞解釋 .................................................................................................. 5. 第六節. 研究限制 .................................................................................................. 5. 第二章. 文獻探討 ...................................................................................................7. 第一節. 科學建構反應之基礎研究 ...................................................................... 7. 第二節. 科學建構反應評量之基礎研究 .............................................................. 9. 第三節. 多面向 Rasch 測量模式 ....................................................................... 12. 第三章. 研究方法 .................................................................................................17. 第一節. 研究架構 ................................................................................................ 17. 第二節. 研究對象 ................................................................................................ 18. 第三節. 研究工具 ................................................................................................ 20. 第四節. 研究步驟 ................................................................................................ 37. 第四章第一節. 研究結果 .................................................................................................45 預試分析結果 ........................................................................................ 45 iv.

(6) 第二節第五章. 正式評量分析結果 ................................................................................ 49 研究討論 .................................................................................................61. 第一節. 綜合討論 ................................................................................................ 62. 第二節. 研究應用 ................................................................................................ 67. 第三節. 研究建議 ................................................................................................ 69. 參考文獻 .........................................................................................................................71 附錄一科學建構反應評量 ...........................................................................................76 附錄二「科學建構反應評量」評閱範例 ...................................................................90 進階範例 ................................................................................................................ 90 精熟範例 .............................................................................................................. 104 基礎範例 ...............................................................................................................118 待加強範例 .......................................................................................................... 132 附錄三科學建構反應評閱規準 .................................................................................147. v.

(7) 表次表 3-1 預試人數統計表 .................................................................................................18 表 3-2 受試人數統計表 .................................................................................................21 表 3-3 評分者評閱班級一覽表 ......................................................................................22 表 3-4 光學內容架構 .....................................................................................................23 表 3-5 科學建構反應評量雙向細目表 .........................................................................27 表 3-6 「科學建構反應評量」向度能力一覽表 ......................................................... 28 表 3-7. 知識水準一覽表 ...............................................................................................29. 表 3-8. 認知水準 ............................................................................................................36 表 3-9 表現標準 .............................................................................................................38 表 3-10 科學建構反應評量規準 ...................................................................................39 表 3-11 「科學建構反應評量」評分標準 ...................................................................42 表 4-1 KMO 和 Bartlett’s 球形檢定 (N ＝ 173)......................................................... 46 表 4-2 因素相關矩陣 (N ＝ 173) ................................................................................ 46 表 4-3 「科學建構反應評量」組型矩陣 .....................................................................48 表 4-4 「科學建構反應評量」向度一覽表 .................................................................49 表 4-5 「科學建構反應評量」描述統計表 (N ＝ 1190) .......................................... 49 表 4-6 評分者描述統計表 .............................................................................................50 表 4-7 評分者 Cronbach’s α 分析結果 ........................................................................50 表 4-8 Kendall ω 和諧係數分析結果 (N ＝ 81) .........................................................51 表 4-9 MFRM 嚴苛度估計 .............................................................................................52 表 4-10 RSM 嚴苛度估計 .............................................................................................. 53 表 4-11 RSM 及 PCM 模式比較之卡方考驗 (N ＝ 1190) ........................................ 54 表 4-12 「科學建構反應評量」之建構信度暨抽取變異比一覽表 (N ＝ 1190).... 55 vi.

(8) 表 4-13 「科學建構反應評量」2nd order CFA 適配度一覽 (N ＝ 1190)...............59 表 5-1 RSM 嚴苛度估計 ................................................................................................63 表 5-2 MFRM 之評量任務難度估計結果 ....................................................................68. vii.

(9) 圖次圖 3-1 研究架構圖 .........................................................................................................19 圖 4-1「科學建構反應評量」理論構念模式徑路圖暨標準化估計值（註：＋係數係指設定 1 之參數變項） .............................................................................................60 圖 5-1 MFRM facets (facet: rater + criteria) 估計結果 .................................................66 圖 6-1 「科學建構反應評量」進階範例 1 .................................................................. 91 圖 6-2 「科學建構反應評量」進階範例 2 .................................................................. 92 圖 6-3 「科學建構反應評量」進階範例 3 .................................................................. 93 圖 6-4 「科學建構反應評量」進階範例 4 .................................................................. 94 圖 6-5 「科學建構反應評量」進階範例 5 .................................................................. 95 圖 6-6 「科學建構反應評量」進階範例 6 .................................................................. 96 圖 6-7 「科學建構反應評量」進階範例 7 .................................................................. 97 圖 6-8 「科學建構反應評量」進階範例 8 .................................................................. 98 圖 6-10「科學建構反應評量」進階範例 10 .............................................................. 100 圖 6-11「科學建構反應評量」進階範例 11 ..............................................................101 圖 6-12「科學建構反應評量」進階範例 12 .............................................................. 102 圖 6-13「科學建構反應評量」進階範例 13 .............................................................. 103 圖 6-14「科學建構反應評量」精熟範例 1 ................................................................ 105 圖 6-15「科學建構反應評量」精熟範例 2 ................................................................ 106 圖 6-16「科學建構反應評量」精熟範例 3 ................................................................ 107 圖 6-17「科學建構反應評量」精熟範例 4 ................................................................ 108 圖 6-18「科學建構反應評量」精熟範例 5 ................................................................ 109 圖 6-19「科學建構反應評量」精熟範例 6 ................................................................ 110 圖 6-20「科學建構反應評量」精熟範例 7 ................................................................ 111 viii.

(10) 圖 6-21「科學建構反應評量」精熟範例 8 ................................................................ 112 圖 6-22「科學建構反應評量」精熟範例 9 ................................................................ 113 圖 6-23「科學建構反應評量」精熟範例 10 .............................................................. 114 圖 6-24「科學建構反應評量」精熟範例 11 .............................................................. 115 圖 6-25「科學建構反應評量」精熟範例 12 .............................................................. 116 圖 6-26「科學建構反應評量」精熟範例 13 .............................................................. 117 圖 6-27「科學建構反應評量」基礎範例 1 ................................................................ 119 圖 6-28「科學建構反應評量」基礎範例 2 ................................................................ 120 圖 6-29「科學建構反應評量」基礎範例 3 ................................................................ 121 圖 6-30「科學建構反應評量」基礎範例 4 ................................................................ 122 圖 6-31「科學建構反應評量」基礎範例 5 ................................................................ 123 圖 6-32「科學建構反應評量」基礎範例 6 ................................................................ 124 圖 6-33「科學建構反應評量」基礎範例 7 ................................................................ 125 圖 6-34「科學建構反應評量」基礎範例 8 ................................................................ 126 圖 6-35「科學建構反應評量」基礎範例 9 ................................................................ 127 圖 6-36「科學建構反應評量」基礎範例 10 .............................................................. 128 圖 6-37「科學建構反應評量」基礎範例 11 .............................................................. 129 圖 6-38「科學建構反應評量」基礎範例 12 .............................................................. 130 圖 6-39「科學建構反應評量」基礎範例 13 .............................................................. 131 圖 6-40「科學建構反應評量」待加強範例 1 ............................................................ 133 圖 6-41「科學建構反應評量」待加強範例 2 ............................................................ 134 圖 6-42「科學建構反應評量」待加強範例 3 ............................................................ 135 圖 6-43「科學建構反應評量」待加強範例 4 ............................................................ 136 圖 6-44「科學建構反應評量」待加強範例 5 ............................................................ 137 圖 6-45「科學建構反應評量」待加強範例 6 ............................................................ 138 ix.

(11) 圖 6-46「科學建構反應評量」待加強範例 7 ............................................................ 139 圖 6-47「科學建構反應評量」待加強範例 8 ............................................................ 140 圖 6-48「科學建構反應評量」待加強範例 9 ............................................................ 141 圖 6-49「科學建構反應評量」待加強範例 10 .......................................................... 142 圖 6-50「科學建構反應評量」待加強範例 11 ..........................................................143 圖 6-51「科學建構反應評量」待加強範例 12 .......................................................... 144 圖 6-52「科學建構反應評量」待加強範例 13 .......................................................... 145. x.

(12) 第一章. 緒論. 第一節研究動機. 有鑑於國內教育與升學體制的改革風潮，諸如十二年國民基本教育正式上路，為達到學生學習監控、教師教學與評量專業的提升，暨服膺學生學習成果的目標，所啟動入學考試暨班級評量的變革，因而引領與過去傳統測驗迥異之創新教育評量技術發展的趨勢，諸如多元題型暨標準本位評量 (standards-based assessment, SBA) 的發展，均朝向評量目的不僅止於評估學生的能力，更要瞭解其學習上的困難，以協助孩子的學習。基此，標準本位評量立意有四，一則教師可藉由清楚界定表現標準與評分等級之評分規準 (scoring criteria)，瞭解所要評估的特點或範疇，藉以釐清教學目標；二則促進學生瞭解學習目標，據以進行修改和評估學習狀況；三則提高評分結果的客觀性與公平性；四則可使家長瞭解孩子的學習內容與學習目標，裨益積極有效協助孩子的學習。過去傳統測驗係為常模參照測驗 (norm-referenced test)，主要依據應考生之測驗分數對照其在團體中的相對位置所衍生的測驗解釋，目的在區別學生之間的成就水準，不僅無法指出學生學習到什麼暨還未學到什麼，更致強化群體間競爭、排序的壓力（郭生玉， 2004 ）。然相對於常模參照測驗，標準參照測驗 (criterion-referenced test) 則強調個體本質能力的解釋，專家會針對每個表現等級提出表現標準的描述，藉以了解學生在某個界定清楚的行為領域的成就水平，係為植基事先訂定的標準所衍生的測驗解釋，並非如同常模參照測驗只注重個人與團體其他考生的比較，而能明確指出學生學習到什麼暨會做什麼。為協助教師教學暨評定學生學習成果的目的，提供學習能力指標架構之適性 1.

(13) 回饋機制 (adaptive feedback mechanism, AFM)，以達到概念釐清與理解之形成性目的，傳統標準測驗實難以滿足現行兼具科學論證表達、科學實驗設計和儀器操作技術，以及應用科學理論解決問題等重要科學能力與素養之教育目標。郭生玉 (2004) 指出試題類型大致可分為兩類，其一為選擇反應型 (selecting response type)，受試者需從所提供答案中選出較適當的選項，諸如：是非題、選擇題或配合題，其二則是提供反應型 (supplying response type)，受試者必須根據題幹敘述作答，如填充題 (completion item)、簡答題或申論題 (essay)。其中，申論題係要求受試者依據題幹說明，組織、建構暨闡釋想法，反應有文字敘述的答案，不僅能夠測量敘述與程序知識，還能評測記憶、組織與想法啟發等高階認知能力(Valenti, Neri, & Cucchiarelli, 2003)。另Toranj 與 Ansari (2012) 指出回饋 (feedback) 能夠促使學生. 瞭解別人對其申論寫作的反應，並能從中學習。 Valenti、Cucchiarelli 與Panti (2002) 指出，現行多數評量工具均植基於客觀性的題型 (objective-type questions)，諸如選擇題 (multiple choice)、複選題 (multiple answer)、簡答題 (short answer)、配合題 (selection/association) 等，然而有些複雜的學習成就實難以用客觀型態 (objective-type) 的問題來測量。Gronlund (1985) 進一步指出某些複雜成就層次的能力 (complex achievement)，諸如回憶、組織與整合想法的能力、以文字表達自我的能力，暨提供相對於客觀性試題，較不具結構性反應之資料詮釋 (interpretation) 與應用 (application) 的能力，即 Bloom (1956) 6 種思考模式中的綜合 (synthesis) 與評鑑 (evaluation) 之高層次能力，並無法透過客觀性的題型 (objective-type questions) 測量，其必須仰賴建構反應題型方能有效檢測。 Bennett 與 Ward (1993) 則指出建構反應評量. (constructed-response. assessments) 檢具很多優勢，但若施行於大規模評量 (large-scale assessment) 則將耗費大量成本及人力。Toranj 與 Ansari (2012) 亦指涉教師常受限於時間及大班教學的限制，因而無法提供即時和準確的回饋給學生。是以，科學建構反應評量是 2.

(14) 教育歷程的重要活動，但卻礙於評量工作耗時費力，而難以將其納入正式課程 (Calkins, 1994; Foltz, Laham, & Landauer, 1999)。再者，Kintsch、Steinhart、Stahl、 Matthews 與Lamb (2000) 研究指出科學開放性問答有利於學生概念的理解，然而評分者對於評分規準的詮釋及嚴苛度的變異，令人疑慮評分的客觀性，加上評閱工作耗時費力，是以科學建構反應評量的發展並未受到教師的青睞。然而，科學論證 (argumentation) 暨闡釋 (interpretation) 表達能力係為重要的科學能力與素養，為了檢視學生在科學概念理解的學習發展狀況，開放申論測驗題型可謂一個有效評量工具，既可深度反應學生的知識層次與應用，亦可評量學生的闡釋表達能力，但卻受限該評量方式之客觀與耗時疑慮暨無充分足夠的評量題庫可供使用。基此，研究者及教育者開始聚焦在建構反應評量暨評量規準的研發與應用 (Toranj & Ansari, 2012)。綜整上述，科學建構反應評量 (scientific constructed-response assessments) 暨科學建構反應評量規準 (scientific constructed-response assessment rubrics) 的發展，係為教師專業教學與學生學習監控的有效利器。科學建構反應評量不僅可以協助教師瞭解學生科學知識的學習狀況，更能評估應用分析、闡釋表達，以及問題解決等高階認知能力。而科學建構反應評量規準既可精確詳細提供學生各項學習目標情形的資訊，又能提供評閱教師客觀計分的準則，致使評分趨於一致。因此，本研究首先發展「科學建構反應評量」與「科學建構反應評量規準」，並驗證「科學建構反應評量」之理論構念模式是否能為實徵資料所驗證支持，藉以檢視「科學建構反應評量」的效度與確立「科學建構反應評量規準」的預測結果暨解釋力。其次，以多面向Rasch 測量模式 (MFRM)，在考量評分者嚴苛度和任務難度的前提下，進行能力估計與評分者一致性的檢驗。基此，本研究首先根據文獻回顧科學建構反應之相關研究，裨益界定科學建構反應的本質內涵；其次闡述說明科學建構反應評量的架構與內涵，作為發展科學建構反應評量及規準的理論依據；最後，則簡MFRM 的基礎研究及理論應用。 3.

(15) 第二節研究目的. 本研究根據研究動機，提出三個研究目的如下：. 一、發展「科學建構反應評量」暨「科學建構反應評量規準」二、探究「科學建構反應評量」之理論構念模式是否能為實徵資料所支持三、驗證「科學建構反應評量」的信度. 第三節研究問題. 本研究根據研究目的，提出三個研究問題如下：. 一、「科學建構反應評量」是否檢具建構效度？二、「科學建構反應評量」是否檢具信度？三、評分者內暨評分者間是否檢具一致性？. 第四節研究假設. 本研究根據研究問題，提出三個研究假設如下：. 一、「科學建構反應評量」檢具建構效度二、「科學建構反應評量」檢具信度三、評分者內暨評分者間信度檢具一致性. 4.

(16) 第五節名詞解釋. 一、建構反應評量 (scientific constructed-response assessments) 建構反應評量係指填充題、簡答題或申論題等題型，受試者根據題幹內容說明，提出帶有文字敘述的反應。其中，申論題係要求受試者依據題幹說明，組織、建構暨闡釋想法，反應有文字敘述的答案，不僅能夠測量敘述與程序知識，還能評測記憶、組織與想法啟發等高階認知能力。另簡答題及填充題則是要求受試者提供. 一個確切的答案。. 二、科學建構反應評量規準 (scientific constructed-response assessment rubrics) 科學建構反應評量規準係指能夠提供內容標準 (content standards) 及表現標準 (performance standards) ，藉以闡述受試者能力表現的指引，亦即依據其作答反應，闡釋所具備的知識與認知水準。其中，內容標準主要闡述受試者「應知」與「應能」的表現程度，前者係指受試者所具備的知識水準，後者則指所具備的認知水準。另表現標準意指闡述各表現水準所應體現的表現品質，可說明受試者達到內容標準的精熟程度，一般包括進階、精熟、基礎及待加強。. 第六節研究限制. 本部分將以下列議題為綱要，藉以探討本研究的限制。討論的議題包括：研究樣本限制、研究工具限制、研究方法限制、與研究樣本症狀嚴重度限制。. 一、研究樣本的限制儘管本研究希望能在隨機抽樣的情況下取到代表性的樣本，然礙於現實研究場域的限制，仍無法達到理想上的隨機。基此，本研究僅以台北市之中學生作為 5.

(17) 研究對象，然而本評量是否適用其他地區或不同學制學生，則有待進一步檢核。另所得之結果若應用到其它群體時，也必須要更為保守與謹慎，以避免造成錯誤或不當的解釋。. 二、研究工具的限制本研究工具有二，其一為「科學建構反應評量」，其二為「科學建構反應評量規準」。（一）科學建構反應評量科學領域涵蓋的範圍很廣，包括物理、化學、生物及地球科學。本研究考量到評量內容及評測時間的限制，故所發展之「科學建構反應評量」，係以光學單元做為試題研發的內容基礎，無法涵蓋所有的科學範圍。因此，本評量所評測之結果的解釋僅限於物理領域之光學單元，不宜過度適用到其他科學範疇領域的表現解釋。（二）科學建構反應評量規準本研究發展「科學建構反應評量規準」的目的，係針對建構題型提供一個評分的規準，以避免評閱老師受到主觀及偏誤的影響，進而客觀評分學生的作答表現。由於本研究重點係在檢驗「科學建構反應評量」的信效度，並未針對「科學建構反應評量規準」進行效度的檢核。因此未來需要進一步確認該規準的評分效度，暨開專家會議進行標準設定，以提供受測學生標準參照模式暨有診斷功能之分析式的回饋。. 6.

(18) 第二章. 文獻探討. 本研究旨在檢驗「科學建構反應評量」的信效度，藉以檢核該評量評測學生包括科學知識的記憶與了解、科學程序的應用與分析、科學邏輯的論證與表達，以及問題解決的評估與創造等科學能力的精確性。基此，本研究首先根據文獻回顧科學建構反應之相關研究，裨益界定科學建構反應的本質內涵；其次闡述說明科學建構反應評量的架構與內涵，作為發展科學建構反應評量及規準的理論依據；最後，則簡介MFRM 的基礎研究及理論應用。. 第一節科學建構反應之基礎研究. 本節首先回顧科學建構反應之基礎研究，包括三個部分：第一部分係為探討科學建構反應的本質內涵；第二部分則進行科學建構反應之文獻回顧；第三部分旨在論述科學建構反應評量之基礎研究、闡釋科學建構反應評量標準，裨益本研究建立科學建構反應評量暨科學建構反應評量規準之架構。. 一、科學建構反應的本質內涵寫作與申論寫作係指針對主題進行相關內容的撰寫，包括敘述、說明、闡釋與論說。Witkin (2000) 指出，早在17世紀，人們已經將文學寫作 (literary form of writing) 和科學建構反應 (scientific form of writing) 區分開來，文學寫作強調美學、文化與人文思想，並重視語言本身係如何被運用來表達、探索、分析與創造。然對科學建構反應而言，語言則僅是進行客觀事實描述的媒介，不過後現代主義思潮促使專業暨科學建構反應被界定為意義建構 (meaning-making) 的歷程，亦即為探究的歷程。Witkin (2000) 進一步指出，科學建構反應檢具既定文章結構的形式，諸如問題陳述、文獻探討、方法、結果與討論。通常文學寫作的範疇比科學建構 7.

(19) 反應廣泛，內容上可以任憑作者的想像力而恣意地天馬行空，亦即論述觀點 (the elaborating of viewpoints) 可依憑作者個人的理念闡述，並無關乎對錯。然科學強調推理、解析及邏輯性，有其正確理論基礎為後盾，因此科學建構反應必須植基理論與邏輯進行推演及論證，亦即作者必須在客觀事實 (objective reality) 範疇進行理性思維暨合理解析。綜上所述，科學建構反應與文學寫作在本質上顯然有所差異，文學寫作除理性論述之外，更多是強調感性的抒發，而科學建構反應則偏重在理性的闡釋與論述。. 二、科學建構反應之實徵研究 Newell (1984) 研究科學建構反應 (scientific writing) 與概念學習間之交互作用，結果發現科學建構反應不僅有助於學生的學習，包括闡釋、解釋及假設 (hypothesizing)，並可促進學生整合新訊息至相關的先備知識 (Newell, 1986)。另 Rowell (1997) 提出寫作係為建構科學知識的學習工具，學生透過寫作不僅能夠了解科學家團體的文化，並能培養理由陳述、疑慮澄清、提問暨替代觀點 (alternative ways of thinking) 的提出，及指出重要發現等能力。基此，寫作歷程有助於知識習得、知識建構與想法的釐清 (clarifying ideas) (Rivard, 1994)。又Langer 與Applebee (1987) 探討限制寫作 (limited writin) 與延伸寫作 (extensive writing) 對學習及思考的影響成效，結果指出延伸寫作對於文本內容的回憶 (recall) 較佳。其次，當學生僅只是回答研究問題，多聚焦於離散的訊息 (discrete bits of information)；若是筆記則關注的範圍較廣，但卻流於表面形式；然當學生進行科學建構反應時，在面對複雜的思考歷程則會整合訊息；再者，相較於只有閱讀的對照組學生，任何寫作形態，包括回答研究問題、筆記、摘要寫作 (writing summaries)、分析式申論 (analytic essays) 的學習成效均較好。 Breger (1995) 認為科學建構反應能使學生重新組織知識，或是對自己的知識內容有所回饋。其次，學生可藉由科學內容綱要的擬定歷程，理解主題的主要想法、次要想法暨細節間的層次關係 (Ediger, 1998)，並且利用相關知識，加以合併 8.

(20) 新資訊暨闡述和擴展知識 (Langer & Applebee, 1987)。研究指出 (Kintsch et al., 2000) 摘要有助於學生對於科學文本 (scientific texts) 的理解 (comprehension) 及回憶，學生若無法進行段落摘要 (summarize a passage)，則無法了解段落的意義 (Palinscar & Brown, 1984)，基此摘要 (summarizing) 是建構 (constructing) 與整合 (integrating) 新知識的有效方法 (León, Olmos, Escudero, Cañas, & Salmerón, 2006)。 Kirkpatrick 與Pittendrigh (1984) 進行一項研究，請大學生解釋日常生活的自然現象，結果發現90%的大學生認為寫作能夠強化物理概念的學習；另有研究指出 (Horton, Fronk, & Walton, 1985; Thall & Bays, 1989; VanDeWeghe, 1987)，寫作有助於化學概念的學習。此外，Sensenbaugh (1989) 也認為寫作除有助於科學內容的學習外，與思考 (thinking) 有密切的關聯。. 第二節科學建構反應評量之基礎研究. 本節將針對「科學建構反應評量」之發展相關理論進行闡述及說明。首先論述科學建構反應評量的內涵，其次界定科學建構反應評量架構，釐清規準設定的內涵與理論，裨益本研究確立科學建構反應評量暨評量規準的架構。. 一、科學建構反應評量的內涵 Kintsch 等人 (2000) 研究發現，摘要相較於傳統理解測驗更能評量出學生是否了解文本。申論 (essay) 係為評量學習結果最有效的工具，其應用到受試者本身回憶、組織與整合想法等認知能力，也是資料解釋及應用之自我書寫表達能力的展現 (Valenti et al., 2003)。因此有學者 (Carter, Ogle, & Royer, 1993) 提出教師可透過科學建構反應成品檢視學生科學概念的理解程度暨思考歷程。換言之，教師可藉由科學申論寫作評量 (scientific essay writing assessment) 來檢視學生理解科學概念的程度 (Stepanek, 1997)。. 9.

(21) 學者指出 (Miller & Calfee, 2004) 大型寫作評量 (writing assessments) 能檢測二種截然不同卻呈高相關的認知能力，其一為閱讀理解 (reading comprehension) ，其二則是將理解轉換成寫作的能力。其中學生如何將所獲得的想法與認知轉譯 (translation) 成寫作文字植基於基模理論 (schema theory)，其係為一個有助於學生進行理解及撰寫之思考的建構 (schema construct)。Miller 與 Calfee (2004) 進一步將寫作評量分為兩類，包括文本取向寫作評量 (text-based assessments) 與單一寫作評量 (stand-alone assessments)。（一）文本取向寫作評量文本取向寫作評量係植基一篇閱讀文本，學生必須依據該篇文本完成寫作任務 (writing task) 。 Miller 與 Calfee (2004) 認為若學生缺乏獲得背景知識 (background knowledge) 的機會，即期待學生完全植基個人經驗或鼓勵學生進行創作是不合理的評量，亦即文本可作為學生進行思考、理解及組織的中介 (medium)，促使其從不同的認知觀點 (cognitive perspectives) 檢視任務。因此，舉凡學術性寫作評量均納入文本，藉以提供學生從中習得修辭結構 (rhetoric structure) 暨語意關聯 (semantic associations)，促使連結先備經驗 (prior experiences)。換言之，透過文本聚焦闡述的寫作提示 (writing prompts)，不僅能夠活化 (activates) 學生先備知識，並且可以激發學生得以融貫 (coherence) 及有效寫作之思考的隱含模式。（二）單一寫作評量 Miller 與 Calfee (2004) 主張單一寫作評量則僅包含寫作任務，係植基個體的先備知識或經驗進行寫作，並認為個體只有在理解狀態下，才能進行修辭、概念及語意觀點之動態心智活動 (dynamic mental entity)，致使能夠組織寫作任務。因此，開放性試題應該提供作答指引，以協助學生提取相關既有基模或經驗，進行概念表達的寫作反應。有鑑於本研究係在發展科學建構反應試題，暨科學建構反應評量規準，藉以檢視中學生的科學能力暨提供其可能闕漏的訊息 (missing informantions)，以協助 10.

(22) 學生提升科學概念思考與論證邏輯的能力，因此科學建構反應評量採用單一寫作評量方式。. 二、科學建構反應評量架構的界定 Foltz、Laham 與Landauer (1999) 研究指出，雖然有些植基於LSA 理論所發展之寫作自動評估技術均已聚焦在文法、拼字及標點部分，但是仍有其他可供評定的因子用以評量申論品質。以摘要能力為例，在評定時主要依據三個規準 (criteria)：其一，評估學生概念知識的正確性 (correctness) 及完整性 (completeness)；其二，檢視學生論證 (arguments) 的合理性；其三，審核學生寫作的流暢 (fluency)、優雅及理解性 (comprehensibility)。另Roid (1994) 提出科學建構反應評量約略可以從主題、想法、組織，和表達四個方面來探討，茲闡述如下: （一）主題 (theme) 科學建構反應應該切入主題並逐步引入相關概念，藉以提供完整及充份的資訊來論述 (discouse) 主題內涵或支持主題的論點，其文章內容必需植基主題發展，而非偏重在無法支持主題的描述。（二）想法 (ideas) 科學建構反應並非僅止於主題字面上的描述 (description)，而是應針對相關概念進行深入探討。若只是重複描述相同概念，而無進一步的闡釋，顯示學生對於該主題的內涵本質了解有限，亦即科學文章的論述應該聚焦在學生是否正確地使用科學概念暨理論的解釋是否符合邏輯。（三）組織 (organization) Huang (1999) 指出科學建構反應應該針對主題呈現明確的層次觀念，利用主題句 (topic sentence) 將理論帶出，透過主題「銜接」的延伸概念，從一個段落發展到好幾個段落的闡述，最終形成一份完整且具有階層組織的文章。（四）表達 (presentation) Foster (1984) 認為科學建構反應檢具簡潔、明瞭的風格，他質疑看不懂科學內 11.

(23) 容，即意謂文章專業性的觀念。學生對於概念理解的程度和文章陳述的明確性具有一定的關係。此外，內容是否有文法、標點、用法的錯誤存在，也在考量範疇。 Miller and Calfee (2004) 認為寫作大致包含摘要 (summarization)、延伸，以及轉換三種型式。其中，摘要主要強調文本中關鍵語意元素 (semantic elements) 及反應文本結構；延伸係指超越摘要，內容包括文本訊息與其他相關的知識及經驗；另轉換則是要求學生超越摘要及各類連結，輸出個性化暨新奇的建構。綜上所述，本研究在科學建構反應評量架構確立二大主軸暨四個向度。二大向度係指「應知」及「應能」的表現內涵 (performance standards)，亦即知識內涵 (knowledge connotation) 與認知內涵 (cognitive connotation)。知識內涵的四個向度 (dimension) 包括事實、概念、程序以及後設認知等知識。認知內涵的四個向度則涵蓋記憶與了解、應用與分析、論證與表達及評鑑創造等能力。基此，本研究評量規準包括四個向度：首先，評估學生對於主題概念基本知識的記憶了解程度；其次，端詳學生針對主題概念程序知識的應用分析能力；再者，審視學生論證邏輯的合理性，亦即是否具備邏輯論證的表達評論能力；最後，則是檢視學生是否具備連結科學主題或概念解決問題的應用能力暨領會科學概念的弦外之音而提出未來可能的開發應用，亦即問題解決的評估創造能力。. 第三節多面向 Rasch 測量模式. Eckes (2009) 指出，MFRM (Many-Facet Rasch Measurement) 是單參測量模式的延伸，適用於多個潛在變項影響評量結果的測量模型，以及評分者中介的評量。因此本節首先介紹Rasch 測量模式及Rasch 延伸模式，其次介紹建構反應評量的特性和影響評分者之評分歧異的原因，以作為發展評量規準的參考。. 12.

(24) 一、單參數模式 (Rasch Model) Rasch 模式意指藉由受試者的作答反應，得到客觀且等距的量尺 (Rasch, 1960)。Rasch 模式包括試題難度 (β) 及試者能力 (θ) 二個參數，其二元計分的作答反應即是答對或答錯的差別，以1 分或0 分表示，如公式2.1 所示。. 𝑝. ln�𝑝𝑚𝑚1� = 𝜃𝑚 − 𝛽𝑘. ( 2.1). 𝑚𝑚0. Pmk1 與Pmk0: 受試者m 在試題k 答對及答錯的機率；θm: 受試者m 之能力估計值； βk: 試題k 之難度估計值。. 二、單參數延伸模式 Rasch 延伸模式，包括多元計分、RSM、PCM，以及MFRM 等模式，茲依序簡介如下。（一）多元計分模式多元計分 (polytomous scoring) 意指學生的作答反應檢具多個評分原則，並非只有1 分與0 分的區別，如公式2.2 所示。. ln�𝑝. 𝑝𝑚𝑚j. 𝑚𝑚(𝑗−1). � = 𝜃𝑚 − 𝛽𝑘𝑘. (2.2). Pmkj 與Pmk(j-1): 受試者m 在試題k 得j 分及(j-1) 分的機率；θm: 受試者m 之能力估計值；βkj: 試題k 在階閾j 之難度估計值。. （二）評定量尺模式 (rating scale model, 簡稱RSM) RSM 意指評量試題均使用相同的評定量尺，亦即各階閾值均為等距，如公式 2.3 所示。 13.

(25) ln�𝑝. 𝑝𝑚𝑚𝑚. mk(𝑗−1). � = 𝜃𝑚 − (𝛽𝑘 + 𝐶𝑗 ). (2.3). Pmkj 與Pmk(j-1): 受試者m 在試題k 得j 分及(j-1) 分的機率；θm: 受試者m 之能力估計值；βk: 試題k 之難度估計值；Cj: 階閾j 之難度估計值。（三）部分給分模式 (partial credit model, 簡稱PCM) PCM 意指評量試題使用不同的評定量尺，亦即各階閾值不等距，係屬順序量尺，如公式2.4 所示。. ln�𝑝. 𝑝𝑚𝑚𝑚. mk(𝑗−1). � = 𝜃𝑚 − (𝛽𝑘 + 𝐶𝑘𝑘 ). (2.4). Pmkj 與Pmk(j-1): 受試者m 在試題k 得j 分及(j-1) 分的機率；θm: 受試者m 之能力估計值；βk: 試題k 之難度估計值；Ckj: 試題k 在階閾j 之難度估計值。（四） MFRM 測量模式 1. MFRM的數學公式 Linacre (1994) 指出 MFRM 係為 Rasch 模型所延伸發展而來的測驗模式，其包含多個面向 (facets)，諸如受試者能力 (ability)、試題難度 (difficult) 及評分者嚴苛度(severity) 等。此模型系將所有需考量的潛在變項放在同一個尺度上，並將分數轉化為一等距尺度 logit 分數（參照 three facets: 公式 2.5）。. l�𝑝. 𝑝𝑚𝑚𝑚𝑚. 𝑚𝑚(𝑗−1)𝑛. � = 𝜃𝑚 − (𝛽𝑘 + 𝐶𝑘𝑘 + 𝜂n ). (2.5). Pmkj 與Pmk(j-1): 受試者m 被評分者n 在試題k 評j 分及(j-1) 分的機率；θm: 受試者. m 之能力估計值；βk: 試題k 之難度估計值；Ckj: 試題k 在階閾j 之難度估計值；. ηn: 評分者n 的嚴苛度。. 14.

(26) 2. MFRM的分析應用 Landy 與 Farr 研究指出 (1983) 有鑑於很多作答反應表現，並非只受試題難度及受試者能力的影響。以建構反應評量為例，即使提供同一個評量規準，仍然無法避免評分者對於評分規準的詮釋歧異，因此便產生除能力及難度因素外，影響作答表現的因子。Linacre 研究指出 (1989)，作答反應表現不僅會受到難度與能力的影響，也包括評分者對於評分規準的詮釋及嚴苛度，而MFRM 無疑是解決這類影響評分結果問題的統計方法。Eckes (2009) 進一步指出MFRM 係為雙重Rasch 測量模式的擴展：其一，可考量能力及難度以外更多的面向，如評分者嚴苛度、任務難度、計分規準難度等影響評量結果之潛在多變項進行分析，藉以客觀估算受試者能力、評分者嚴苛度、任務及規準難度、評分者一致性 (rater consistency)，暨面向間潛在交互作用的檢驗。其二，資料分析並不限定是二元計分，還包括多元計分的資料。. 三、評分者中介之實作評量 Eckes (2009) 指出應用提供建構反應試題的實作評量，受試者必須根據題目內容敘述，提出帶有文字敘述的答案，評分者 (raters) 則依據計分規準評估作答反應品質。Palinscar 與 Brown (1984) 研究指出科學建構試題評閱過程中，儘管評分者植基同一個評量規準進行評分，仍然無法避免評分者對於評分規準的詮釋歧異，以及主觀評分回饋的變異，令人疑慮評分的客觀性，進而影響評量的效度與公平性。因此，建構反應試題之評分品質的監控就顯得相當重要。. 四、影響建構評量評分品質的因素 Eckes (2009) 認為影響建構反應試題評分品質，包括近端與遠端二個因素，依序分別闡述如下：（一）近端因素 (proximal factors) Eckes 認為直接影響受試者作答反應回饋的因子，統稱為近端因素，包括評分者變異、任務難度的變異，以及計分規準的變異。 15.

(27) 1. 評分者變異評分者的變異主要涵蓋評分者之效應 (effects)、誤差 (errors) 與偏誤 (bias)，係指會影響構念評測的效度，。其中，評分者效應之嚴苛度 (severity)、月暈效應，以及趨中效應三者，尤以嚴苛度最常被研究及探討。在 MFRM 架構下，嚴苛度可視為一個 facet 並能模式化，因而受試者能力能夠在考量嚴苛度的前提之下被精準地估計。 2. 任務難度的變異任務難度係指受試者所需達到試題或任務等作答反應或實作目標的水準。 3. 計分規準難度的變異計分規準難度，係指提供內容及表現水準架構敘述的程度。（二）遠端因素 (distal factors) Eckes 認為間接影響受試者作答反應回饋的因子，統稱為遠端因素，包括受試者、評分者以及情境特質。其中個人特質、目標、性別 (gender)、種族 (ethnicity)、母語 (first language) 及信念 (beliefs) 均歸屬於受試者特質的範疇，而專業背景 (professional background)、目標、動機 (motivation) 則屬於評分者的特質。另外評分者評分期間所承受時間、勞力的負擔 (rater workload)、以及所處技術理環境與管理品質則歸類在情境特質。 Knoch、Read 與 von Randow (2007) 指出評分者適配指標 (fit indices) 係為評分一致性的檢核依據，因此評分者進行計分回饋的訓練及監控就顯得相當重要。本文認為研究者固然可藉由提供訓練及相同的評閱準則，拉近評閱教師之間的評分變異，但仍無法避免評分教師對於評閱準則的詮釋歧異，以及主觀的評分變異，是以令人疑慮評分的客觀性與公平性。故而，本研究採用 MFRM 分析，在考量嚴苛度與任務難度等面向 (facets) 的前提下，合理估計學生的作答表現，藉以克服評分者變異所產生的影響。. 16.

(28) 第三章. 研究方法. 第一節研究架構. 本研究首先召集研究專家教師3 位進行會議討論，並發展「科學建構反應評量」及「科學建構反應評量規準」。其次透過預試資料進行項目分析與探索性因素分析，作為「科學建構反應評量」及「科學建構反應評量規準」的修訂依據。接著將修訂後的評量版本進行大規模正式施測，並展開評量閱卷與資料建檔工作。最後則進入分析階段，茲將分析項目工作簡述如下（參照圖3-1）：. 一、建構效度的檢驗本研究透過二階驗證性因素分析 (2nd order. confirmatory factor analysis, 簡稱CFA )，考驗實徵資料是否能夠支持「科學建構反應評量」四向度的構念模式，即「科學建構反應評量」是否能由「科學知識的記憶與了解」、「科學程序的應用與分析」、「科學邏輯的論證與表達」，以及「問題解決的評估與創造」等一階因素與「科學能力」之高階共同因素組成為二階模式，藉由實徵資料驗證的支持證據，確立「科學建構反應評量」之二階心理構念模型。. 二、信度的檢驗（一）評分者一致性的分析本研究首先針對所有評分者各自內部的一致性進行分析，其次將4 位評分者在各向度規準的總分，進行Kendall ω 和諧係數分析。再者以ConQuest 分別透過 MFRM ，暨RSM 及PCM 模式比較，進行卡方考驗，藉以考驗評分者的一致性。有鑑於Schwarz (1978) 所提出的貝氏訊息準則 (BIC)，在樣本數較大時，正確選取模型的機率遠比其他準則要好，其值越小，表示模式的適配度較好。基此，本研究另外採用BIC 準則，進行RSM 與PCM 的模式比較，並以BIC 的卡方考驗，檢核評分者間的一致性。 17.

(29) （二）評量試題Cronbach’s α 的信度分析本研究針對科學建構反應評量試題，進行Cronbach’s α 的信度分析，以檢視評量的信度。. 第二節研究對象. 一、評量暨評分規準制訂成員本研究聘請數理背景領域專家 4 人，召開評量試題暨評量規準討論會議，藉以發展科學建構反應評量試題與評量規準。除了界定「科學建構反應評量」的範圍及試題以外，亦要建置評量各向度之表現水準敘述的評分規準，以及提供各向度內容所對應表現水準的範例。. 二、「科學建構反應評量」預試對象本研究包括兩階段的預試，前階段以 8 ~9 年級學生共計 9 人進行預試，藉以確認試題文句敘述是否為學生所理解，並依據學生意見進行修正；後階段則實施「科學建構反應評量」修正版本預試，並將分析結果作為修訂科學建構反應評量試題的參考（參照表 3-1）。. 表 3-1 預試人數統計表預試對象. 班級. 人數(N). 累計. 百分比(%). 累計百分比(%). 台北市立國中. 814. 35. 35. 20.23. 20.23. 台北市立國中. 901. 36. 71. 20.81. 41.04. 台北市立國中. 914. 34. 105. 19.65. 60.69. 台北市立國中. 918. 33. 138. 19.08. 79.77. 台北市立國中. 921. 35. 173. 20.23. 100.00. 合. 計. 173. 100.0%. 18.

(30) 發展階段. 1.釐清評量目的 2.訂定表現標準個數暨命名. 科學建構反應評量規準科學建構反應評量. 3.建置表現標準的陳述 4.選擇及訓練標準設定成員. 分析階段. 撰寫結論階段. 二階驗證性因素分析. 建構效度報告. 考驗： 1. 科學建構反應評量之理論構念模式. 1.科學建構式反應評量之理論構念模式與實徵資料適配結果. 5.進行標準設定評分者一致性的檢驗. 評分者一致性的檢驗. 估計： 1. 評分者內的一致性: Cronbach’s α 2. 評分者間的一致性: (1) 古典理論: Kendall 和諧係數分析 (2) 現代理論: A. MFRM 之嚴苛度的估計 B. RSM 之嚴苛度的估計 C. MFRM 之卡方考驗 D. RSM 與 PCM 模式比較之卡方考驗 E. 貝氏訊息準則. 提供： 1.評分者內 Cronbach’s α 數值 2.評分者間的一致性: (1) Kendall 和諧係數分析結果 (2) 現代理論: A. MFRM 之嚴苛度的估計結果 B. RSM 之嚴苛度的估計結果 C. MFRM 之卡方考驗結果 D. RSM 與 PCM 模式比較之卡方考驗結果 E. BIC 適配指標轉換及卡方考驗. 內部一致性的信度檢驗. 內部一致性的信度檢驗. 3. 「科學建構反應評量」之 Cronbach’s α 信度. 2. 「科學建構反應評量」之 Cronbach’s α 估計結果. 6.回饋標準設定訊息 7.建置評量標準. 預試階段. 正式施測. 科學建構式反應評量. 科學建構反應評量. 1.釐清評量目的 2.界定評量領域範圍. 修訂階段科學建構反應評量規準. 3.訂定雙向細目表 4.決定評量試題格式 5.確立評量分數解釋型態 6.提出評量計分準則. 科學建構反應評量. 7.發展評量試題. 圖3-1 研究架構圖. 19.

(31) 三、「科學建構反應評量」正式施測對象本研究立意取樣台北市共計 1190 位學生（參照表 3-2），舉行大規模「科學建構反應評量」正式版本的施測，並進行 CFA 效度檢驗、信度檢驗（評分者一致性、內部一致性），以及評分者嚴苛度暨學生科學學生能力的估計。. 四、「科學建構反應評量」之閱卷對象本研究進行試卷評閱之前，首先聘請 4 位評分教師會議討論評分規範（參照附錄三）與展開評分訓練。其次，透過等化設計，將 4 位評分者的評閱結果進行校準轉換至同一量尺，以利嚴苛度的的比較。本研究依據試題反應理論的假設，規劃定錨班級比例為評分者評閱班級 37% 至 63%，以利嚴苛度的估計（參照表 3-3）。. 第三節研究工具. 一、科學建構反應評量（一）內容範圍本研究「科學建構反應評量」命題依據係植基「國民中小學九年一貫課程綱要」自然與生活科技學習領域國中階段能力指標、「國民中小學九年一貫課程學習成就評量指標與方法手冊」（林世華、陳學志、盧雪梅，2004），暨現行各版本教科書關於「光學」內容架構（參照表3-4），共有35 題建構反應試題，所涵蓋的單元包括「光的傳播與光速」、「反射定律與面鏡」、「光的折射與透鏡」、「光學儀器」」、「色光與顏色」，試題內容則涵蓋「應知」及「應能」的內容標準，包括科學知識的記憶與了解、科學程序的應用與分析、科學邏輯的論證與表達，以及問題解決的評估與創造。. 20.

(32) 表 3-2 受試人數統計表正式施測對象 801 802 803 804 805 806 807 808 809 810 811 812 813 815 816 817 818 台 819 北 820 市 821 區 822 國 823 民 902 中 903 學 904 905 906 907 908 909 910 911 912 913 915 916 917 919 920 922 923 Total. 人數(N) 30 29 30 29 31 32 29 29 32 29 31 28 33 34 33 32 34 33 25 30 31 32 29 31 29 29 30 27 21 27 17 26 28 25 25 27 28 32 31 23 29 1190. 累計 30 59 89 118 149 181 210 239 271 300 331 359 392 426 459 491 525 558 583 613 644 676 705 736 765 794 824 851 872 899 916 942 970 995 1020 1047 1075 1107 1138 1161 1190. 21. 百分比（%） 2.52 2.44 2.52 2.44 2.61 2.69 2.44 2.44 2.69 2.44 2.61 2.35 2.77 2.86 2.77 2.69 2.86 2.77 2.10 2.52 2.61 2.69 2.44 2.61 2.44 2.44 2.52 2.27 1.76 2.27 1.43 2.18 2.35 2.10 2.10 2.27 2.35 2.69 2.61 1.93 2.44 100.00. 累計百分比（%） 2.52 4.96 7.48 9.92 12.52 15.21 17.65 20.08 22.77 25.21 27.82 30.17 32.94 35.80 38.57 41.26 44.12 46.89 48.99 51.51 54.12 56.81 59.24 61.85 64.29 66.72 69.24 71.51 73.28 75.55 76.97 79.16 81.51 83.61 85.71 87.98 90.34 93.03 95.63 97.56 100.00.

(33) 表 3-3 評分者評閱班級一覽表正式施測對象 801 802 803 804 805 806 807 808 809 810 811 812 813 815 816 817 818 台 819 北 820 市 821 立 822 國 823 民 902 中 903 學 904 905 906 907 908 909 910 911 912 913 915 916 917 919 920 922 923 Total. 評分者 A ˇ ˇ ˇ ˇ ˇ ˇ ˇ ˇ. ˇ. 評分者 B. ˇ ˇ ˇ ˇ ˇ ˇ. 評分者 C. ˇ ˇ ˇ ˇ ˇ ˇ ˇ ˇ. ˇ ˇ. ˇ ˇ ˇ ˇ ˇ ˇ ˇ ˇ. ˇ ˇ ˇ. ˇ ˇ ˇ. ˇ ˇ. 評分者 D. ˇ ˇ ˇ ˇ ˇ ˇ ˇ. ˇ ˇ ˇ. ˇ 19. 16 22. ˇ ˇ ˇ ˇ ˇ ˇ ˇ ˇ. ˇ ˇ. ˇ ˇ ˇ ˇ ˇ. 16. 16.

(34) 表 3-4 光學內容架構單元. 專有名詞. 光速. 非力學波. 特定細節或要素. 知識向度. 光速＝3×105 km＝3×108 m。. 概念知識. 光速比聲速快。. 事實知識. 放煙火，會先看到煙火，再聽到爆炸聲。. 事實知識. 打雷時，會先看到閃電，再聽到雷聲。. 事實知識. 光速傳播的快慢依序為：真空>空氣>液體>透光固體。. 概念知識. 光的傳播不需要介質. 事實知識. 針孔成像證明光有直線前進的特性。. 概念知識. 針孔成像會形成倒立實像。. 事實知識. 針孔成像的大小算法：光的傳播. 𝐿1. d1. =. L2. 𝑑2. 。. 與光速程序知識針孔成像. 針孔成像的實例：白天樹下有好多個亮圈，就是太陽光經過。. 事實知識. 葉子縫隙（針孔）所形成的實像（針孔成像）。. 事實知識. 光直線前進性質的實例：立竿見影、影子、日食、月食…. 事實知識. 光直線前進性質的應用：皮影戲、日晷、射擊瞇眼瞄準…. 概念知識. 入射線、法線、反射線在同一平面上。. 概念知識. 入射線與法線的夾角稱為入射角。. 概念知識. 反射線與法線的夾角稱為反射角。. 概念知識. 入射角＝反射角反射定律概念知識反射定律與面鏡單向反射發生在光滑平面. 概念知識. 單向反射. 平行光入射至光滑平面，反射光也將平行射出。 23. 概念知識.

(35) 單元. 專有名詞. 特定細節或要素. 知識向度. 漫射發生在凹凸不平的平面. 概念知識. 漫射. 平面鏡. 凹面鏡. 凸面鏡. 可逆性. 平行光入射至凹凸不平表面，反射光將不平行射出。. 概念知識. 平面鏡成像性質：正立、等大、虛像。. 概念知識. 平面鏡成像性質：左右相反。. 概念知識. 平面鏡成像性質：物距＝像距。. 概念知識. 若要看到物體全身，面鏡長至少為物長的一半。. 概念知識. 若要看到物體全身，鏡子至少離地為眼高的一半。. 概念知識. 凹面鏡成像性質：正立、放大、虛像；左右相反。. 概念知識. 凹面鏡成像性質：左右相反。. 概念知識. 凹面鏡也可形成倒立實像。. 概念知識. 凹面鏡的應用：汽車大燈、探照燈、手電筒、太陽爐。. 概念知識. 凸面鏡成像性質：正立、縮小、虛像。. 概念知識. 凸面鏡成像性質：左右相反。. 概念知識. 凸面鏡的應用：汽車後視鏡、車道轉彎鏡。. 概念知識. 光往返行進的路徑皆為同一條. 概念知識. 光從一種介質斜向進入另一種不同的介質，光的前進方向會改變，這種現象稱為光的折射。. 概念知識. 光從光速快的介質進入光速慢的介質，會偏向法線。. 概念知識. 光的折射與透鏡. 折射定律光從光速慢的介質進入光速快的介質，會偏離法線。. 概念知識. 24.

(36) 單元. 專有名詞. 特定細節或要素折射現象：筷子放到水裡看似斷掉、池子水深看起來比實際淺、海市蜃樓、彩虹……. 凹透鏡. 事實知識. 凹透鏡可分為雙凹、平凹、凸凹。. 事實知識. 凹透鏡成像性質：正立縮小虛像，與物同側，在物之前。. 概念知識. 凹透鏡的應用：可做近視眼鏡，用以矯正近視眼。. 程序知識. 凸透鏡會會聚光線，又稱會聚透鏡。. 事實知識. 凸透鏡可分為雙凸、平凸、凹凸。. 事實知識. 凸透鏡成像性質：可以形成倒立實像及正立虛像. 概念知識. 物之後。. 概念知識. 物在焦點外(F之外)：形成倒立實像，與物異側。. 概念知識. 物在F~2F:像在異側2F之外，倒立、放大、實像. 概念知識. 物在2F之上:像在異側2F之上，倒立、等大、實像. 概念知識. 物在2F之外:像在異側F~2F之間，倒立、縮校、實像. 概念知識. 物在無窮遠處:像在1F之上，一點。. 概念知識. 老花眼凸透鏡的應用：照相機、投影機、幻燈機、望遠鏡、放大鏡。. 顯微鏡. 照相機. 光學儀器. 眼睛. 近視眼. 概念知識. 物在焦點上(F之上)：不成像，或物在無窮遠處。. 凸透鏡的應用：可做遠視或老花眼鏡，用以矯正遠視眼或. 複式. 事實知識. 凹透鏡會發散光線，又稱發散透鏡。. 物在焦點內(F之內)：形成正立放大虛像，與物同側，在. 凸透鏡. 知識向度. 程序知識. 程序知識. 由兩組凸透鏡組成. 程序知識. 接物鏡由焦距小的凸透鏡組成，產生倒立放大實像。. 程序知識. 接目鏡由焦距大的凸透鏡組成，產生正立放大虛像。. 程序知識. 照相機的鏡頭由凸透鏡組成。. 程序知識. 拍照物體經照相機均形成倒立縮小實像，成像在底片上。. 概念知識. 照相機的光圈控制光線的多寡。. 概念知識. 照相機的快門控制曝光的時間。. 概念知識. 眼睛的水晶體由凸透鏡組成，相當照相機的鏡頭。. 程序知識. 眼睛的視網膜相當照相機的底片。. 概念知識. 眼睛的瞳孔相當照相機的光圈。. 概念知識. 眼睛的眼皮眨眼相當照相機的快門。. 概念知識. 光線經水晶體會聚在視網膜之前，產生模糊的影像。. 概念知識. 通常是眼球過長或者水晶體焦距過短所致。. 概念知識. 需用近視透鏡（凹透鏡：發散透鏡）矯正。. 程序知識. 25.

(37) 單元. 專有名詞. 遠視眼. 特定細節或要素. 知識向度. 光線經水晶體會聚在視網膜之後，產生模糊的影像。. 概念知識. 通常是眼球過短或者水晶體焦距過長所致。. 概念知識. 需用遠視透鏡（凸透鏡：會聚透鏡）矯正。. 程序知識. 牛頓使太陽光通過三稜鏡，會散成七種不同色光，稱為色散。事實知識太陽光不是單色光。太陽各色光在三稜鏡中的速度不同，紅光最快，紫光最慢，色散. 光的三原色. 不透光物色光與顏色. 質的呈色. 透光物質的呈色. 雷射光. 因而產生色散現象。. 事實知識概念知識. 色散實驗：使太陽光通過三稜鏡，產生類似彩虹的顏色。. 程序知識. 色散實驗：背對陽光噴水，也會產生類似彩虹的顏色。. 程序知識. 光的三原色：紅、藍、綠. 事實知識. 紅光＋藍光→紫光. 事實知識. 紅光＋綠光→黃光. 事實知識. 藍光＋綠光→青光. 事實知識. 紅光＋藍光＋綠光→白光。. 事實知識. 紅色不透光物質：反射紅光，吸收其他色光。. 事實知識. 藍色不透光物質：反射藍光，吸收其他色光。. 事實知識. 綠色不透光物質：反射綠光，吸收其他色光。. 事實知識. 白色不透光物質：反射所有色光。. 事實知識. 黑色不透光物質：吸收所有色光。. 事實知識. 紅色透光物質：通過紅光，吸收其他色光。. 事實知識. 藍色透光物質：通過藍光，吸收其他色光。. 事實知識. 綠色透光物質：通過綠光，吸收其他色光。. 事實知識. 白色透光物質：通過所有色光。. 事實知識. 黑色透光物質：吸收所有色光。. 事實知識. 雷射光經過三稜鏡不會產生色散現象。. 事實知識. 雷射光是單色光. 事實知識. 雷射光束細而直，不會散開成錐狀。. 事實知識. 雷射光能量集中，要避免射到眼睛。. 事實知識. 工業應用雷射光：鑽孔、切割、焊接。. 程序知識. 醫學應用雷射光：開刀、止血、除斑、美容、治療近視、視. 程序知識. 網膜剝離生活應用雷射光：光碟機、DVD、CD. 26. 程序知識.

(38) （二）試題發展 (item development) 本研究所發展之「科學建構反應評量」的形式 (format) 包括勾選題、簡答題、繪圖題，以及申論題型。每一建構反應試題均涵蓋「應知」及「應能」的內容標準，亦即知識水準 (knowledge level) 與認知水準 (cognitive level)（參照表 3-5）。知識水準部分涵蓋四個內容向度 (content dimension)，依序為「光的傳播與光速」、「反射定律與面鏡」、「光的折射與透鏡」，以及「色光與顏色」。另認知水準部分亦檢核四個能力向度 (ability dimension)，包括「科學知識的記憶與了解」、「科學程序的應用與分析」、「科學邏輯的論證與表達」，以及「問題解決的評估與創造」。其中科學知識的記憶與了解涵蓋光學四個次單元的基本知識，包括「光的傳播與光速」5 題、「反射定律與面鏡」6 題、「光的折射與透鏡」3題，以及「色光與顏色」6 題，共計20 題。另其他三個認知向度則各以一個光學次單元來設計題目，依序「科學程序的應用與分析」5 題、「科學邏輯的論證與表達釋」4 題，以及「問題解決的評估與創造」6 題。每一單元均提供一個清楚的科學概念提示 (scientific concept prompt)，藉以活化學生既有基模 (schema) 之先備知識，致使學生能進行概念表達之動態心智活動，並進一步組織評量任務。本研究植基光學單元內容，共發展35 題選建構反應試題，藉以檢視學生科學基本能力（參照表3-6）。. 表 3-5 科學建構反應評量雙向細目表內容. 認知. 記憶與了解應用與分析論證與表達評估與創造合. 光的傳播與光速. 5. 反射定律與面鏡. 6. 光的折射與透鏡. 3. 色. 色. 6. 5. 計. 20. 5. 合. 光. 與. 顏. 計 5. 6 4. 12 7 11. 4. 27. 6. 35.

(39) 表 3-6 「科學建構反應評量」向度能力一覽表量表向度. 主要檢測能力. 題號. 使用科學術語或符號；. C1, C2, C3, C4, C5, C6,. 科學知識的. 記憶基本科學知識；. C7, C8, C9, C10, C17,. 記憶與了解. 了解科學概念、原則及理論。. C18, C19, C24, C25, C26,. 題數. 20. C27, C33, C34, C35 使用科學工具；科學程序的. 執行科學算則或實驗步驟；. 應用與分析. 應用科學技巧或方法解決問題；. C28, C29, C30, C31, C32. 5. C20, C21, C22, C23. 4. 推論觀察或實驗的結果。解釋科學現象、概念、原則或理論；科學邏輯的. 使用科學表徵(符號、圖表)進行科學現象、. 論證與表達. 概念、原則或理論的解釋；根據科學資料提出結論。根據觀察資料或科學現象，提出科學問題；描述科學問題與提出科學假設；. 問題解決的. C11, C12, C13, C14, C15, 針對科學問題與科學假設提出解決方法；. 評估與創造. 6 C16. 針對科學問題與科學假設執行所提出的解決方法或創造產品。. 合計. 35. 二、科學建構反應評量規準科學建構反應評量規準係指能夠提供內容標準及表現標準，並闡述受試者能力表現的指引，亦即根據課綱與能力指標之內容標準及作答反應，闡釋學生所具備科學概念的水準。本研究所發展之科學建構反應評量規準，即用以陳述「應知」的內容標準與「應能」表現標準。其中「應知」係指所具備的知識水準，包括事實、概念、程序，以及後設認知等知識（參照表 3-7）；「應能」表示受試者所展現的認知水準（參照表 3-8），包括評估學生對於科學單元之基本知識的記憶 28.

(40) 與了解程度、檢核學生對於科學單元之程序知識的應用與分析程度、審視學生對於科學單元之邏輯論證的表達與解釋程度，以及檢視學生問題解決的評估與創造程度。（一）評量規準制訂歷程本研究參考Cizek 等人所提出規準訂定原則 (Cizek & Bunch, 2007)，聘請專家進行評分規準的制訂。發展步驟有三，其一是釐清本研究的評量目的；其二則是訂定表現標準的個數，並加以命名類別；其三，發展現水準敘述 (performance level descriptions，簡稱PLDs)，藉以確立科學建構反應評量規準。（二）知識水準本研究之「科學建構反應評量」，係植基「光學」課程架構作為命題依據，並依據Bloom 的學生 Anderson (1999) 所提出Bloom 分類法修訂版之「知道什麼（思維的內容）」層次，依序闡釋如下（參照表3-7）：. 表 3-7. 知識水準一覽表知識水準. 次類型. 事實知識. 專有名詞、特定細節與要素. 概念知識. 分類和類別、原則和通則化、模式和結構學科技能與算則的知識. 程序性知識. 學科技巧與方法的知識依情境需要決策程序的知識. 後設認知知識. 策略的知識、自我的知識、認知任務的知識. 29.

(41) 1. 事實知識 (factual knowledge) Anderson 與 Krathwohl (2001) 指出事實知識係指分離、獨立的內容元素，亦即片段的訊息，包括術語 (terminology) 及特定細節要素的知識，例如事實、位置、人、日期、訊息等知識來源，泛指學生了解學科知識或用以解決問題所應知道的基本要素。. 示例1 下圖是針孔成像的實驗裝置，請問針孔成像可以證明光傳示例答案：光直線前進的特性播的何種特性？. 說明：針孔成像遵循光的直線前進性質，在紙屏上形成倒立的實像。. 2. 概念知識 (conceptual knowledge) Anderson 等人 (2001) 認為概念知識係指較為複雜及系統化知識，包括分類 (classifications) 和類別 (categories) 的知識、原則 (principles) 和通則化 (generalization) 的知識、理論、模式和結構的知識。 (1) 分類和類別的知識將不同主題內容加以分類之結構化與組織化的知識，其性質比事實知識更為抽象 (abstract)，學習的難度也較高。Slotta 等人研究指出 (Slotta, Chi, & Joram, 1995)，當學生將熱學、光學、力學及電學等科學概念，進行非歷程性之材料物質 (material substances) 的歸類時，會發生理解上的困難。是以，若學生能夠將正確地這些科學單元進行分類時，就如同概念改變 (conceotual change) 一般。. 30.

(42) 示例2 一位顧客前來，反應他的眼睛能夠看清楚近處示例答案：凹透鏡的東西，但是看遠處則會模糊不清楚，因此想說明：配副眼鏡。針對這位顧客的視力問題，你會為這位顧客看近處清楚，遠處模糊，應是近視。他配什麼樣的透鏡來矯正，使他能夠看清楚遠近視係為光線透過水晶體成像在視網膜之處的東西？請在框中打（）. 前，因此必須用發散透鏡矯正。. (2) 原則和通則化的知識原則和通則化的知識，係透過專家組織與融貫 (coherent) 特定事實知識，並加以歸類、統整及總結現象觀察之摘要知識，通常被用以研究現象或解決問題。. 示例3 遠古有一個文明古國，吏治清明，國泰民安。其國內. 示例答案：. 建有一個監獄（參照如下圖），牢房前的空曠區，依. 1.. 序佈滿空氣、透明玻璃、黑色磚頭及透明清水，藉以區隔外界並防止罪犯逃獄，外圍則是鐵製的百葉窗。獄卒固定每天早上 6 點打開，好讓陽光射進監牢，並於下午 4 點關閉。監獄牢房的分配是，若犯重刑，則關押於不見陽光的牢房，若犯罪輕者，則關押於可見陽光的牢房。因此罪責越輕的罪犯，越能早見當天第一道曙光，反之則越晚得見太陽曙光。今有 4 罪犯：. 2. 光在不同介質的傳播速度有異，在真空最. 甲犯殺人罪，刑責最重；乙犯強盜罪，刑責次重；丙. 快，其次則依序是空氣、液體，在透明固體. 犯竊盜罪，刑責較乙為輕；丁犯詐欺罪，為 4 人中最. 的傳播速度最慢，亦即光在各種介質的傳播. 輕（罪刑由重至輕，依序為甲＞乙＞丙＞丁）。今 4. 速率大小為：真空＞空氣＞液體＞透光固. 罪犯同時入獄，請問：如果你是獄卒，依照監獄關押. 體，因此，本題中，太陽光射入鐵百葉窗後，. 罪犯原則，應該如何安排 4 個罪犯的牢房？請說明你. 因中間行進的介質有異，快慢有別，陽光最. 31.

(43) 安排囚犯牢房的光學原理或者理由為何？. 先抵達牢房1，其次依序為牢房4、牢房2。另黑色磚頭不透光，因此光無法進入，所以牢房3的罪犯是永不見天日的，當然也是刑責最重的！依據4位罪犯的刑責輕重（甲＞乙＞丙＞丁），依序安排牢房3、牢房2、牢房4、牢房1。. (3) 理論、模式和結構的知識針對一系列複雜的現象、問題所提出系統性觀點 (systemic view) 之原則與通則化的知識，加以組織所形成理論、模式和結構的知識，包括被用以描述、解釋及預測現象的典範 (paradigms) 及知識論 (epistemologies)，屬於最抽象的知識陳述。. 示例4 小明同時以太陽光照射藍色A4影印紙及藍色示例答案： A4玻璃紙，請預測小明將看到什麼顏色的A4 1. （藍）色A4影印紙及（藍）A4玻璃紙影印紙及A4玻璃紙？如下圖所示，你認為太陽 2. 藍色A4影印紙的呈色原理為：B 光照射藍色A4影印紙及藍色A4玻璃紙的呈色 3. 藍色A4玻璃紙的呈色原理為：D 原理分別為下列何者？. 說明： 1. 藍色A4影印紙係的呈色係屬不透光的成色原理，乃因為只反射藍色光源，因此我們會看到藍色A4影印紙。 2. 藍色A4玻璃紙的呈色則屬透光的成色原. 理，乃因為只透射藍色光源，因為我們會看到藍色A4玻璃紙。. 32.

(44) 3. 程序知識. (procedual knowledge). Anderson 等人 (2001) 指出程序知識係指技能 (skills)、算則 (algorithms)、技術 (techniques) 等一系列的步驟，例如採用探索之程序與方法的知識，以及特定學科之技能與算則的知識，茲分別簡述如下： (1) 特定學科技能與算則的知識諸如運用水彩繪畫的技能、植基結構分析決定字義的技能、二次方程解題運算的技能等。. 示例5 下圖是小明想用畫圖方式來解釋「反射定律」，示例答案：你認為小明應該要再畫出什麼圖形或提出什麼補充說明，才能完整地解釋「反射定律」呢？請你協助小明完成下圖，以完整地解釋「反射定律」。. 說明：反射定律原理：入射角=反射角，入射角係指入射線與法線的夾角，反射角則為反射線與法線的夾角，依據圖示，入射角＝60∘，故反. 射角＝60∘。. (2) 特定學科技巧與方法的知識特定學科技巧與方法係指由觀察、實驗或發現的一致性看法 (consensus) 、協議 (agreement) 或學科規範 (disciplinary norms)，其實驗設計會因變項的變異而所有不同，故其結果多半更為開放暨不固定。這類知識係能反應專家在特定領域是如何思考與觸發問題，而非思考或問題解決的結果，諸如有關社會科學的研究方法、尋求問題解決的科學技術等。. 33.