第三章 研究方法與步驟
第七節 研究工具
本研究之研究工具，主要分為測驗（量表）、及評量表（Rubrics）兩 種型態，包含：「機構概念性知識測驗（一）（二）」、「STEM 實作單元學 習單」、「機構玩具設計單」、「機構玩具作品評量表」、「專題口頭報告評 量表」、及「STEM 態度量表」等。
在發展研究工具的歷程中，本研究皆透過嚴謹的程序以建立工具之 信、效度。在效度方面，本研究於工具發展歷程中及初稿完成後，皆邀 請專家針對各項工具內容之正確性、代表性及周延性進行審查，以建立 專家效度。此外，亦邀請資深高中生活科技教師來確認各項工具所規劃 之行為標準難易度，是否符合高中學生之程度以及本研究預期的學習成 效，以確認評量表之內容效度。
此外，在信度方面，測驗及量表在正式施測前，皆經過預試的檢驗 與修正。而在評量表的評分者信度方面，則是先由本研究之研究者進行 各項研究資料的評分，而後再邀請負責實施教學之教師與科技教育專家 協助檢核評分結果的正確性，以建立研究結果之信度。各項工具之詳細 發展歷程與內容分述如後：
機構概念性知識測驗（一）（二）
機構概念性知識測驗主要以 En-STEM 教學模組中所涵蓋的機構概 念知識與相關的 STEM 知識為範圍。本機構概念性知識測驗為複本測驗，
已於階段一的前導研究過程中發展完成。測驗編製的歷程主要依據李坤 崇（2006）所提出之測驗發展步驟進行，包括：(1)決定測驗目的；(2)設
計雙向細目表；(3)編擬測驗試題；(4)審查與修改測驗試題；(5)編輯測驗
在預試後，本研究針對其中四題鑑別度較低的選擇題進行修正，而 後將修正後的題庫以複本方式設計成前後測之試卷。每份試卷中皆包含 14 題單選題及兩題開放性問題，並給予不同比例的配分。題項之規劃分 為：(1)低階的「機構基本知識」，含七題選擇題，每題 4 分，共 28 分；
(2)中階的「科學及數學概念應用」，含七題選擇題，每題 4 分，共 28 分；
及(3)高階的「機構設計問題分析」，為兩大題之開放性問題，包含 7 個 子題，共 44 分。
STEM 實作單元學習單評量表
依據第六節所述，STEM 實作單元學習單之設計分為「機構基本知 識」、「探究實驗」、「挑戰思考」等三個區塊，以漸進式的方式引導學生 理解、以學習應用機構相關概念知識。因此，在評量方面，本研究以相 對應的能力指標及預期的學習表現為基礎，將之轉化為評量項目、並發 展具體之評量標準。具體之評量表規劃如表 3-7 所示：
表 3-7
STEM 實作單元學習單評量表
評量項目 評量重點 優 良 中 可 劣 缺交
5 4 3 2 1 0 機構基本
知識
是否正確回答學習單上 所列之基本知識問題。
探究實驗 是否能依據學習單的要 求，正確進行測量、記 錄與分析。
挑戰思考 是否能依據學習單的要 求，完成挑戰活動，並 回答研究思考問題。
機構玩具作品評量表
依據第六節所述，機構玩具是學生在專題活動中工程設計能力與 STEM 知識應用的展現。因此，在評量標準方面，本研究針對重要的工 程設計核心能力，及其在機構玩具設計製作專題中所扮演的角色，規劃
「設計複雜度」、「機構完成度」、及「製作精緻度」等三個評量面向，並 以五等量表的方式進行評分。各面向的定義與評量重點如下，具體之評 量表如表 3-8 所示：
1. 設計複雜度：整體（含機構與玩具部分）機構選用與傳動機構設計之 多元性、複雜度、與製作難度。由此向度，可分析學生是否能活用多 元化的機構知識，發展其機構玩具作品之設計方案，亦即工程設計 中的「發展方案」與「預測分析」能力。
2. 機構完成度：整體（含機構與玩具部分）運作及傳動之順暢度、玩具 動作之互動性與趣味性。由此向度，可分析學生是否可解決製作過 程中所遭遇的問題，並最佳化其作品，亦即工程設計中的「測試修 正」與「最佳化」能力。
3. 製作精緻度：材料加工之精緻度、機構與玩具組裝之精確性。由此向 度，可分析學生是否能成功的製作出可呈現其設計概念的實體模型，
亦即工程設計中的「原型建模」能力。
表 3-8
專題口頭報告評量表
為深入評估學生工程設計核心能力及 STEM 知識應用的表現，並彌 補書面資料的不足。在本階段的實驗研究中，本研究要求每位學生透過 口頭報告的方式，說明其玩具專題設計與製作時的相關構想與解決問題 的歷程，每位學生報告的時間約 3-5 分鐘。而為聚焦學生報告之內涵，
本研究規劃了五個問題，要求學生逐一回答：
1. 這個機構玩具的主題與設計理念為何？
2. 這個機構玩具呈現的動作有哪些？應用的機構種類（原理）有哪些？
3. 在製作過程中遭遇最大的問題為何？（請舉 1~2 例子說明）
4. 這些問題是否有被解決？解決的方法為何？
5. 這個機構玩具是否還有待改進的地方？你認為可以如何改進？
針對上述問題，本研究規劃了「構想與應用」及「問題解決」等 兩面向，採取五等量表的方式進行量化的評分。其中，「構想與應用」
此一面向主要針對 1、2 題進行評量，聚焦於分析學生是否能提出可行 的設計構想，並活用多元化的機構知識，選用正確的機構以產生預期 的動作，亦即工程設計中的「發展方案」與「預測分析」兩項核心能 力。而「問題解決」此一面向則針對 3-5 題進行評量，聚焦於分析學生 是否可解決製作過程中所遭遇的問題，並思考後續可能的改良方向，
亦即工程設計中的「測試修正」與「最佳化」兩項核心能力。具體之 評量表規劃如表 3-10 所示：
表 3-10
之關連性與感受。透過因素分析顯示，其內部一致性信度是可以接受的
（信度的α=0.82）（Hernandez et al., 2014）。本研究修改後的初步規劃之 量表問項如表 3-8 所示，採用四點量表方式評分。量表之設計包含：興 趣（Interest）、自覺能力（perceived ability）和價值（value）等三個向度。
其中，興趣是學生對於 STEM 相關學科之學習興趣，自覺能力意指對自 我能力的信念與自覺，而價值則是學生對於 STEM 知識的價值、意義、
重要性及有效性的感受。
在經 162 位高一學生預試的項目分析之結果顯示（見表 3-11），第 一題與第二題在信度分析當中其相關係數低於 0.3，顯示這兩題與全量 表不同質。同時，參照相關分析結果，第一題與第二題與其他題目亦缺 乏相關性，因此將其刪除，並改用原本英文量表之題目：「對我來說，學 校裡面其他學科比理工方面的科目（科學、科技、工程和數學）來的有 趣」。在刪除第一題與第二題之後，整體量表信度分析之 Cronbach's Alpha 值為.87。而在另外兩個向度方面，「自覺能力」題項之間的 Cronbach's Alpha 值為.83；「價值」題項之間的 Cronbach's Alpha 值為.78，顯示兩 個向度的題目內容各具有良好的內部一致性。
此外，本量表亦透過專家會議檢視其內容的適切性，以建立專家效 度。而在依據專家之建議，為使學生更容易理解題目之敘述，在部分題 目中加入舉例說明，例如將第 10 題由原本的「生活科技課程中所學到的 工程設計經驗，是一個能幫助我理解科學和數學等學科知識的重要途 徑。」改為「生活科技課程中所學到的工程設計經驗（如機構玩具課程）， 是一個能幫助我理解科學和數學等學科知識的重要途徑。」修改後正式 施測之量表如附錄四所示。
表 3-11