S(KPL)S 理論架構分為五個層面,包括:社會情境層面、知識與資訊層面、心 理層面、邏輯層面以及回歸社會情面。分析的方式是檢視學生的形成性評量資料,
尋找符合各層面基本能力指標的證據,計算每項能力指標全體學生在三個教學模組 的完整學習之後,能表現出各項能力指標的人數及人數比例。
貳、總結性評量 一、實作評量
實作評量分析分為量化分析與質性分析兩個部分。量化分析依據學生的實作解 題成績及書面報告的分數,呈現實作解題的評量結果。質性分析的部分則依據學生 的書面報告及現場觀察記錄,分析學生如何建構解題計畫及使用的解題策略,以探 討學生的解決問題能力。
二、歷程檔案評量
歷程檔案評量除了前述評量工具的評量結果分析外,再進一步從兩個向度來探 討學生呈現的能力,這兩個向度是:思考階層(Macdaniel & Lawrence, 1990)以及 S(KPL)S 基本能力指標。每個向度的分析均包括質性分析與量化分析兩個部分。
叁、STS 教學之成效評量
本研究從以下四個向度來檢視及評量 STS 教學之成效。1.高中化學教育目標;
2.《九年一貫課程綱要》中,自然與生活科技學習領域之能力指標;3. S(KPL)S 教 學指標;4.STS 課程的教育目標。利用前述的研究工具,在模組的設計、教學過程 中的形成性評量、實作評量以及歷程檔案評量中檢視達到評量目標的證據,以了解 STS 教學之成效。
肆、評量工具的信度與效度
一、形成性評量
形成性評量藉由檢測研究者與甲校兩位化學專題研究教師之評分者信度以及 各分項成績與形成性評量總成績之相關性考驗確立一致性。
二、總結性評量 (一)實作評量
總結性評量中的實作測驗,藉由檢測研究者與甲校兩位化學專題研究教師之評 分者信度以及檢驗學生得分與學期總分的相關性,以確立一致性。
(二)歷程檔案評量
本研究為顧及評量工具的信度與效度,歷程檔案評量的成績僅採計研究者及甲 校兩位化學專題研究任課教師的評分結果,其餘各評分者的評量結果主要回饋給學 生、家長及行政單位參考。
1.信度
藉由研究者及甲校兩位化學專題研究任課教師評分結果的一致性考驗,以建立 評分者信度。此外依據學生在檔案評量各子項目 A、B、C 及 D(參見表 3-1)的得分 與整體檔案評量得分之相關性進行檢驗,以確定一致性。
2.效度
本研究採效標關聯效度,效標關聯效度建立在下列四項相關的檢驗:
(1)學生歷程檔案的得分結果與當學期化學成績之相關性檢驗。
(2)學生歷程檔案的得分結果與高一至高二四學期化學平均成績之相關性檢驗。
(3)學生歷程檔案的得分結果與高一至高二四學期專題研究平均成績之相關性檢 驗。
(4)學生歷程檔案的得分結果與學生在高三時參加當屆大考中心舉辦之學科能力 測驗自然科成績之相關性檢驗。
(三)化學專題研究學期總成績評量之效度
本研究採效標關聯效度,效標關聯效度建立在下列四項相關的檢驗:
(1)學生化學專題研究學期總成績與當學期化學成績之相關性檢驗。
(2)學生化學專題研究學期總成績與高一至高二四學期化學平均成績之相關性檢 驗。
(3)學生化學專題研究學期總成績與高一至高二四學期專題研究平均成績之相關 性檢驗。
(4)學生化學專題研究學期總成績與學生在高三時參加當屆大考中心舉辦之學科 能力測驗(以下簡稱大學學測)自然科成績之相關性檢驗。
三、STS 教學之成效評量
由研究者及二位任課教師分別依據前述評量工具獨立進行檢核,關於證據的確 認,由三人事先針對認定標準建立共識,分別進行檢核後,檢驗評分者間信度。最 後的評鑑結果,是以三人經過充分討論後的證據認定,來確定本研究 STS 教學之成 效評量結果。效度的部分,本研究依據國內外科學教育學者對於 STS 教學提出之評 量標準來進行評量,以確定研究工具之內容效度。