第三章 研究設計與實施
3.3 研究設計
由於學校情境，不可能為了應付實驗需要，更動功課表或重新編班，
因此，從事實驗研究時，只能遷就既有的事實，應用現有班級，作實驗分 組，因此，不等組的前測-後測控制組設計是教育研究領域，相當流行與 有用的設計(王文科，王智弘，2008)，研究者基於學校行政作業已經完成 編班，故無法運用隨機分配抽取等組學生參加實驗，本研究採用準實驗設 計之不等組前-後測設計，兩組學生均接受相同前後測及追蹤測驗。兩組 學生均為同班的二年級學生，入學成績相近程度相同，本實驗設計模式如 表 3-3 所示。
表 3-3-1
實施模擬教學之準實驗設計模式表
組別 前測 實驗處理 後測 後測
實驗組 01 X O2 O3 O7
控制組 O4 05 O6，
表 3-3 各代號的涵義如下 O1：實驗組之認知學習前測。
模擬教學活動進行前一週內，實驗組接受「認知學習成就測驗前測量表」
的施測。
O2：實驗組之認知學習後測。
模擬教學活動結束後一週內，實驗組接受「認知學習成就測驗後測量表」
的施測。
O3：實驗組技能學習測驗。
模擬教學活動進行完成，第九週對實驗組進行「技能學習成就測驗量表」
的施測。
O4：控制組之認知學習前測。
傳統講述教學活動進行前一週內，控制組接受「認知學習成就測驗前測量 表」的施測。
O5：控制組之認知學習後測。
傳統講述教學活動結束後一週內，控制組接受「認知學習成就測驗後測量 表」的施測。
O6：控制組之技能學習測驗。
傳統講述教學活動完成，第九週控制組接受「技能學習成就測驗量表」的 施測。
O7：實驗組之學後滿意度量表。
模擬教學活動進行完成後，第九週實驗組接受「學後滿意度量表」的施測。
X：實驗組之實驗處理。實驗組接受為期八週的電腦模擬教學實驗。
3.4 研究工具
本次教學實驗設計測量表，採用一、認知學習成就測驗前測量表；二、
認知學習成就測驗後測量表；三、技能學習成就測驗量表；四、電腦模擬 教學滿意度量表等四種測量工具，並以此工具收集所需之資料。教師完整 記錄每位學生完成每一次實作的時間，當作評量學生是否熟練的依據。
壹、認知學習成就測驗前測量表
認知學習成就測驗前測量表於教學活動實施前一星期對所有學生施測，目 的為當作實驗設計實施前後學習成效比較，並且瞭解兩組學生在未實施教
學前的差異。測驗內容依據學生一年級所學的基礎專業知識為主，分別為 一、試圖與繪圖；二、電器器具之裝置；三、電器器具之使用；四、主電 路裝配；五、控制電路裝配；六、檢查及故障排除。
一、認知學習成就測驗前測編製過程 (一)、設計測驗藍圖
內容效度為測驗內容的代表性和取樣的適切性。教材內容與教學目標是確 立內容效度的重要層面，根據教材內容與教學目標建立雙向細目表，可用 來判斷測驗的內容效度(郭生玉，2012)。
建立雙向細目表(two-way specification table)作為認知學習成就測驗 的藍圖，以教學目標與教材內容做為命題參考依據，是效標參照測驗試題 最常採用的方法，也就是很明確的呈現課程內容、測驗層次、比率分配或 題數分配，所以效標參照測驗特別重視內容效度。編製學科成就測驗，教 學目標分為六個層次，即記憶、了解、應用、分析、評鑑與創作。本研究 之前測在命題之前，先確定教學目標、分析教材及教學的情境，然後就教 材內容擬定測驗雙向細目表，明顯的呈現出課程內容及比率分配，而後組 織客觀式命題，因此可獲得良好的內容效度。由於前測試題都是屬於選擇 題的題型，所以對於認知層次中的分析、評鑑與創作較高的三個層次並不 適合，因此前測試題以記憶、了解與應用三個認知層次的試題為主。
根據可程式控制實習教學目標與教材內容建構量表之內容效度，編製雙向 細目表，再依據雙向細目表確定測驗內容及行為目標的層次編製兩倍或兩 倍以上之試題數，以確保樣本試題足以代表欲測量的領域。本量表預試題 數為 100 題，編製後請三位以上富有教學經驗之任課教師審核後定稿。
表 3-4-1
認知學習成就測驗前測預試雙向細目表
(二)、預試與選題
本研究以市立高工電機科學生為預試對象，共計 42 名。預試完透過試題 難度、鑑別度分析試題合適性，並請三位以上富有教學經驗之教師審查後，
確定刪除題目的原則：依據雙向細目表上所訂之教材內容與教學目標認知 層次的題數 ，刪除太困難或太簡單（P<.2 或 P>.8）、與鑑別度較差（D<.2 以下）、 及鑑別度為負值之試題（郭生玉，2012）。但為考量參與測驗學 生人數、教育背景、能力水準、及教學型態等因素均可能影響分析結果，
因此，判斷試題品質的優劣，仍以題目是否測量重要的教學目標，或學習 結果為主要依據（郭生玉，2012）。可程式控制實習專業基礎能力測驗之 試題分析結果如附錄三所示，依據附錄三各題之難易與鑑別度結果，再考 量教育目標及欲測之學習結果，歸納刪除 50 題後，本測驗正式量表 50 題 如附錄四所示。
表 3-4-2
認知層次 單元名稱
記憶 了解 應用 總計
1、識圖與繪圖 8 3 1 12
2、電器器具之裝置 9 5 2 16
3、電氣器具之使用 9 4 1 14
4、主電路裝配 11 6 3 20
5、控制電路裝配 12 8 3 23
6、檢查及故障排除 9 5 1 15
總 計 58 31 11 100
認知學習成就測驗前測雙向細目表
(三)、信度分析
認知學習成就測驗量表因為（1）題目的記分屬於非對即錯題；（2）
題目沒有明顯的受到速度的影響；（3）題目是同質性的。符合庫李信度的 假定（郭生玉，2012）所以採用內容一致性庫李信度， 由表 3-4-3 學科 測驗前測量表試題信度分析表， 再將試題信度分析資料應用庫李 20 號公 式，得到本測驗量信度為 0.83。量表與三位以上對該課程經驗豐富的專 家討論後確認。
表 3-4-3
認知學習成就測驗前測量表試題信度分析表
題數 人數 平均數 標準差 KR-20 信度
50 42 69.57 11.63 0.83
貳、認知學習成就測驗後測量表
本測驗試題依據教材內容及教學目標編製，以測量學生經過八週不同 教學策略實驗後，於可程式控制實習課程學科專業知識的學習成效差異。
編製過程、預試與選題及信、效度分析分別如下加以說明。
一、內容效度分析
認知層次 單元名稱
知識 理解 應用 總計
1、識圖與繪圖 5 1 0 6
2、電器器具之裝置 6 2 1 9
3、電氣器具之使用 4 2 1 7
4、主電路裝配 5 3 2 10
5、控制電路裝配 6 3 2 11
6、檢查及故障排除 3 2 2 7
總 計 29 13 8 50
內容效度(content validity) 又稱合理或邏輯效度 (rational or logical validity)，因為測驗內容的分析，本質上是一種合理和判斷的 分析，故此種效度有時又可稱為課程效度(curricular validity)．因為 內容是否合理，是依據和課程符合的程度而判斷，此種效度最適合於成就 測驗的效度考驗 (郭生玉，民 87)。而雙向細目表(two-way
specification table)是效標參照測驗試題最常採用的方法，也就是很明 確的呈現課程內容、測驗層次、比率分配或題數分配，所以效標參照測驗 特別重視內容效度。雙向細目表的測驗層次分類，由布魯姆(Bloom,1956) 所提出的認知領域教育目標六個層次，即知識(knowledge)、理解
(comprehension)、應用(application)、分析(analysis)、綜合(synthesis) 與評鑑(evaluation)，常被用為設計成就測驗時的參考；Aiken(1997)認 為大多數測驗界定測驗所要測量的目標，常未與上述的分類有著緊密接合，
故測驗層次之分類可根據實際情況來設計。本研究之學科測驗後測量表在 命題之前，先確定教學目標、分析教材及教學的情境，然後就教材內容擬 定測驗雙向細目表，明顯的呈現出課程內容及比率分配，而後組織客觀式 命題，因此可獲得良好的內容效度，如表 3-4-4 所示。由於前測試題都是 屬於選擇題的題型，所以對於認知層次中的分析、綜合及評鑑較高的三個 層次並不適合，因此後測試題以知識、理解與應用三個認知層次的試題為 主。
表 3-4-4
認知學習成就測驗後測試測雙向細目表 認知層次
單元名稱 知識 理解 應用 總計
1、電工法規 3 1 1 5
2、電氣符號 4 1 1 6
(二)、預試與選題
本研究以北部某高工電機科二年級甲班學生為預試對象，共計 42 名。
預試完透過試題難度、鑑別度分析試題合適性，並請三位以上富有教學經 驗之教師審查後，確定刪除題目的原則：依據雙向細目表上所訂之教材內 容與教學目標認知層次的題數 ，刪除太困難或太簡單（P<.2 或 P>.8）、
與鑑別度較差（D<.2 以下）、 及鑑別度為負值之試題（郭生玉，2012）。
但為考量參與測驗學生人數、教育背景、能力水準、及教學型態等因素均 可能影響分析結果，因此，判斷試題品質的優劣，仍以題目是否測量重要 的教學目標，或學習結果為主要依據（郭生玉，2012）。
表 3-4-5
認知學習成就測驗後測雙向細目表
3、基本電學 7 6 4 17
4、電工機械 8 6 1 15
5、低壓工配 9 7 4 20
6、高壓工配 6 5 1 12
7.工業電子與邏輯電路 4 2 2 8
8.可程式控制器 8 6 3 17
總 計 49 34 17 100
認知層次 單元名稱
知識 理解 應用 總計
1.電工法規 3 1 1 5
2.電氣符號 4 1 1 6
3.基本電學 7 6 4 17
4.電工機械 8 6 1 15
5.低壓工配 9 7 4 20
6.高壓工配 6 5 1 12
7.工業電子與邏輯電路 4 2 2 8
(三)、信度分析
學科成就測驗後測量表因為（1）題目的記分屬於非對即錯題；（2）題目 沒有明顯的受到速度的影響；（3）題目是同質性的。符合庫李信度的假定
（郭生玉，2012）所以採用內容一致性庫李信度，由表 3-3 學科測驗前測 量表試題信度分析表， 再將試題信度分析資料應用庫李 20 號公式，得到 本測驗量信度為 .95。量表與三位以上對該課程經驗豐富的專家討論後確 認。
表 3-4-6
認知學習成就測驗後測量表試題信度分析表
題數 人數 平均數 標準差 KR-20 信度
50 42 78.33 20.96 .95
參、術科學習成就測驗 一、編製過程
本研究學後術科學習成就評量試題是依照可程式控制實習課程內容編製，
內容為可程式控制器簡介、可程式控制器基本操作、基本指令介紹、狀態
內容為可程式控制器簡介、可程式控制器基本操作、基本指令介紹、狀態