第三章 研究方法
第四節 研究工具與信效度
一、研究工具
針對研究問題與研究假設，本研究主要運用之研究工具為藝術領域「課程設 計教案評分量表」與師資生「課程實施意見問卷」。茲說明如下：
（一）課程設計教案評分量表
本研究所建立之藝術領域「課程設計評分量表」初步透過課程設計文獻 探討建立「學習目標」、「學習內容」、「組織結構」、「學習活動」、「評量策略」
構面及評分指標如表 3-2 所示：
表 3-2：課程設計評量指標理論依據
主概念 次構念 指標 理論依據
課程設計 學習目標 具體明確 Tyler(1949）；Wheeler (1967); Gronlund
（1978）；Kemp（1985）
認知面向 Bloom et al.（1956）； Anderson &
Krathwohl（2001）；Anderson &
Krathwohl（2001）；葉連祺、林淑萍
（2003）；李坤崇（2004）
情意面向 Krathwohl et al.（1964）
技能面向 Simpson（1972）； Harrow（1972）
學習內容 嚴謹正確 Ornstein& Hukins（1993）
符合藝術關鍵學習 Eisner（2002）；Efland (2002)；郭禎祥、
主概念 次構念 指標 理論依據
內容 楊須美（1988）；陳瓊花(2004)
顧及學習者生活經
驗
Tyler（1949）；黃政傑（1997）
連結其它學科領域 Fogarty (1991)；黃政傑（1997）；黃永
和（1999）；陳瓊花(2004)
組織結構 順序性 Tyler（1949）；Oliver (1977); Eisner
（1994）；Bruner（1996）黃政傑（1997）；
歐用生（1993）；郭禎祥、楊須美（1988）
繼續性 Tyler（1949）; Oliver（1977）; Eisner
（1994）；Bruner（1996）；黃政傑
（1997）；歐用生（1993）；郭禎祥、楊
須美（1988）
統整性 Tyler（1949）;黃政傑（1997）; 歐用生
（1993）；郭禎祥、楊須美（1988）
學習活動 顧及學習動機 Barnes（1982）；Ornstein& Hukins
（1993）；黃政傑（1997）
設計多元教學活動 Barnes（1982）；Ornstein& Hukins
（1993）；黃政傑（1997）
流程順暢 Barnes（1982）；Ornstein& Hukins
（1993）；黃政傑（1997）
含創作表現 Eisner（1989）；郭禎祥、楊須美（1988）；
主概念 次構念 指標 理論依據
陳瓊花(2004)
含鑑賞學習 Eisner（1989）；郭禎祥、楊須美（1988）；
陳瓊花(2004)
評量策略 能對應課程學習目
標
Tyler（1949）；Wiggins (1993)；余民寧
（1997b）
採用多元評量策略 Wiggins (1993) ；余民寧（1997b）；李
坤崇（1999）；陳瓊花(2004)
學習歷程的形成性
評量
Wiggins (1993)；余民寧（1997b）；李坤
崇（1999）；陳瓊花(2004)
總結成果的評量 Wiggins (1993)；余民寧（1997b）；李坤
崇（1999）；陳瓊花(2004)
資料來源：研究者整理
研究量表並參酌美國「國家教師品質委員會」（The National Council on Teacher Quality）所發展之「中學階段教師教案評分量表」（Lesson Plan Rubric）
建立初稿，再透過藝術領域課程專家與實務工作者進行專家效度評分檢驗後修正 為正式藝術領域「課程設計評分量表」，並透過藝術課程設計教案試評測，以「評 分者間信度（interrater reliability）」進行檢驗，以取得教案評分過程與評分工具 之信度，課程設計教案評分量表經上述設計流程後形成如附件二。
（二）課程實施方式意見問卷
二、研究效度
本研究工具之效度建立於「課程設計教案評分量表」之專家效度。由研 究者邀請藝術教育領域相關專家進行內容效度檢定，包含藝術教育領域專家、
高中現職藝術教師、課程專家以及研究統計專家以「評分量表課程設計構面 與構面子項目內容適切性」針對評分量表逐題檢閱修訂以求評分量表之適當 內容效度，課程設計評分專家資料如表 3-3 所示：
表 3-3：課程設計評分量表內容效度專家資料表
代號 服務單位 職稱 專長領域
A 臺北市立大學 教授 研究法與統計
B 國立臺灣師範大學 教授 研究法與統計
C 東方設計學院 教授 藝術教育、課程設計
D 國立臺灣藝術大學 教授 藝術教育、課程設計
E 國立基隆女中 教師 藝術教育、課程設計
F 臺北市立大同高中 教師 藝術教育、課程設計
G 國立臺南大學 教授 藝術教育、課程設計
H 國家教育研究院 助理研究員 藝術教育、課程設計
I 臺北市立中山女中 教師 藝術教育、課程設計
J 國立彰化師範大學 教授 藝術教育、課程設計
K 台北市立景美女中 教師 藝術教育、課程設計
L 國立新港藝術高中 教師 藝術教育、課程設計
效度檢定方式依據內容效度指標 (Content Validity Index, CVI)，並使用三
分評量法(three-point rating scale)作為評量標準：1 分「不適用」，表示要刪除；
2 分「適用」，表示修改後予以使用；3 分表示「非常適用」表示內容與用詞適 當不須修改即可使用。專家題項內容效度指標(Item-level Content Validity Index, I-CVI)計算方式為專家評分 3 分以上皆列入 1 分，2 分以下皆列入 0 分，是將 此題目評定為 3 分專家數，除以專家總人數則為 I-CVI 之平均值，再將所有專 家同意之題數除以總題數則得到整體量表內容效度指數(Scale-Level Content Validity Index, S-CVI)，學者建議 I-CVI 在 0.78 以上，而 S-CVI 則在 0.8 以上 可被視為良好內容效度(Polit & Beck, 2006; Polit, Beck, & Owen, 2007)。本課程 設計評分量表之五項「主構面」之總體 CVI 值為 1.00，「組織結構」構面之總 體 CVI 值為 0.96，「學習目標」構面總體 CVI 值為 0.96，「學習內容」構面總體 CVI 值為 0.90，「學習活動」構面總體 CVI 值為 0.96，「評量策略」構面總體 CVI 值為 0.90。各題項 I-CVI 之平均值請參照表 3-4：
表 3-4：課程設計評分量表之主構面 I-CVI 平均值表
題項 原始構面內容 評分計算 I-CVI 值 修正建議 修正後構面內容
1 學習目標 11/11 1.00
2 學習內容 11/11 1.00
3 組織結構 11/11 1.00
4 學習活動 11/11 1.00
5 評量模式 11/11 1.00 模式修正
為「策略」
評量策略
表 3-5：課程設計評分量表之「學習目標」構面 I-CVI 平均值表
題項 原始項目內容 評分計算 I-CVI 值 修正建議 修正後項目內容
題項 原始項目內容 評分計
題項 原始項目內容 評分計 算
I-CVI 值 修正建議 修正後項目內容
1 能符應藝術學習目標 9/11 0.81 修正為「能 符應課程 學習目標」
能符應課程學習 目標
2 多元評量形式 9/11 0.81 修正為「採
用多元評 量策略」
採用多元評量策 略
3 學習歷程的形成性評
量
11/11 1.00
4 總結成果的評量 11/11 1.00
三、研究信度
研究者建立「師資生課程設計教案評分量表」評分構念與評分指標後，
研究者開始引導進行整體課程設計教案評分規範的研擬。評分在概念上是對 課程設計教案的整體表現進行評等，以「學習目標」、「學習內容」、「組織結 構」、「學習活動」、「評量策略」五個構面做考量，每個構面之各項指標以六 點量尺進行評分，可能得分為 1 至 6 分，最終加總成為課程設計教案的整體 分數。
研究之信度檢驗由研究者邀請 3 位藝術教育實務專家透過「師資生課程 設計教案評分量表」對師資生所發展之課程設計教案進行試評檢測，了解「評 分者間信度」一致性之情形。研究者從師資生「實驗組」與「對照組」中各 隨機抽選 3 件，總共 6 件課程設計教案，請 3 位藝術教育專家進行試評，並 將所評分之分數以「克隆巴赫係數（Cronbach's alpha）」，又稱 alpha 信度（alpha reliability）之「組內相關係數（intra-class correlation coefficient, ICC）」求評分 者間（組內）評分相關性。
「組內相關係數」通常用來分析資料組內的相關性，亦即連續資料上的 一致性（Shrout ＆ Fleiss, 1979）。其評分模式共有六種，其中 ICC（3, k）模 式為隨機抽出被評分者，每一位隨機抽出的被評分者被相同的評分者評分，
而這些評分者為研究之所有評分者(固定評分) ，焦點在於 k 位評分者間信度。
根據文獻指出運用 ICC 分析相關同意度若數值介於 0.75 至 1.00 為非常良好，
數值介於 0.60 至 0.74 為良好，數值介於 0.40 至 0.59 可接受，低於 0.4 則不佳
（Cicchetti, 1994)，然而整體而言 Cronbach alpha 係數值應大於 0.7 以上為佳
（Nunnally, 1978）。
評分者信度經分析後結果如表 3-5 所示，經過第一次 ICC 統計後，評分者 信度在「學習目標」構面之 ICC 數值較為偏低（.482）。經過研究者與三位評分 者討論後發現，評分者對於「學習目標」構面之評分較難有高度一致性之原因，
在於師資生所撰寫之教案格式「前端所列舉出之學習目標」與「教案設計內容 中引申出的學習目標」，會讓評分者產生混淆之情形，導致評分者 A 可能針對
「教案列舉出之學習目標」評分，但評分者 B 是針對「教案設計內容中引申的 學習目標」評分。因此研究者與三位評分者經過溝通討論後，確定以實際教案 設計內容中引申出的學習目標為評分依據。除外也由於評分者一致性誤差可能 是評分者主觀判斷所造成，因此在第二次評分時，評分者與研究者亦透過充分 溝通討論、澄清觀點及建立共識並建立各項目評分說明表，經過重新檢討評分 作程序後，研究者邀請三位評分者進行第二次評分，經統計分析後各構面之 ICC 數值達到 0.7 以上，表示評分者之評分過程與研究工具符合信度標準。
表 3-10：課程設計評分量表與評分者信度
課程設計構面 組內相關係數（intra-class correlation coefficient, ICC）
第一次信度分析 第二次信度分析
學習目標 .482 .728
學習內容 .825 .751
組織結構 .761 .848
學習活動 .602 .816
評量策略 .686 .707