第三章 研究設計與過程
第三節 研究工具與信效度
第三節研究工具與信效度
本節為研究工具與研究信效度，將分別說明研究工具的訂定與使用，以及研 究信效度之檢定，分為兩個部分：一、研究工具；二、研究信度與效度，以下分 述說明。
一、研究工具
本研究使用內容分析類目表為研究工具，因本研究之主題以教師專業發展評 鑑為題的學位論文與期刊論文，分析其發展概況與研究成果。研究者參考眾多關 於教育方面概況研究之論文，多數皆包含以主題類目、目的類目、方法類目和對 象類目為分析類目（王詩惠，2012；黃玉君，2010；陳鴻賢，2003），故本研究使 用內容分析類目表為研究工具，其中以「說什麼」類目中的研究主題類目、研究 目的（價值）類目、研究方法類目與研究對象（主角）類目進行分析研究。茲將 四種類目所包含的內容列出，並加以說明如下。
（一）研究主題類目
此類目的訂定參考吳俊憲（2010）將教師專業發展評鑑主題區分為十二項，
包括：1.推動現況、文題、成效與歷程；2.學校效能和教學效能；3.評鑑規準或指 標建構；4.學校與教師壓力；5.教師文化與組織文化；6.教師認知、態度與接受情 形；7.校長領導；8.教師專業角色知覺；9.教師專業承諾與變革關注；10.教師賦權
47
增能；11.後設評鑑分析；12.跨國研究或比較等。丁一顧（2013）在研究中則將教 師專業發展評鑑主題分為十三項，包括：1.政策；2.可行性研究；3.培訓；4.動機 意願；5.態度認知；6.指標；7.歷程；8.實施概況；9.成效困境；10.因應策略；11.
變相關係探究；12.個案探究；13.其他等。經過與指導教授討論並探究相關文獻後，
考量整合吳俊憲（2010）和丁一顧（2013）分別提出的十二項及十三項主題中，
將相似面向之主題合併。最後，研究者將研究主題類目區分為八項，包括：1. 指 標規準；2.政策脈絡；3.推動與執行；4.教師觀感；5.教育領導；6.學校組織；7.後 設評鑑；8.比較研究等。以下表 3-1 將八項主題類目及其內涵加以說明。
表 3-1
研究主題類目
類目 內涵
1.指標規準 教師專業發展評鑑在指標、規準的建構之相關研究，包 括指標之建構、指標權重分析與選用、指標之指引等。
2.政策脈絡 關於教師專業發展評鑑計畫之政策制定過程，以及發展 之背景脈絡分析等相關研究。
3.推動與執行 教師專業發展評鑑推動後的現況、運作過程、辦理的成 效和產生的問題，包括實施現況、實施歷程、運用策略、
實施成效與實施困境等。
4.教師觀感 以教師角度探究教師專業發展評鑑之相關研究，包括教 師之態度與認知、教師之工作感、教師變革關注、教師 專業承諾、教師效能等。
5.教育領導 以教育領導層面探究教師專業發展評鑑之相關研究，內 涵包括校長領導、主任領導及教師領導等。
6.學校組織 探究學校組織與教師專業發展評鑑之研究，其內涵包括 學校組織文化、學校組織氣氛、學校效能等。
（續）
48
類目 內涵
7.後設評鑑 以後設評鑑分析教師專業發展評鑑之研究，經過評鑑後 再評鑑，瞭解評鑑整個過程以及相關缺失，以利後續求 改善與進步。
8.比較研究 不同教師專業發展評鑑系統之比較研究，包括其他國家 對於教師專業發展評鑑的研究，或是與臺灣教師專業發 展評鑑之比較。
註：研究者自行整理。
（二）研究目的類目
研究目的是指達成的功用為何。教育研究之範圍極廣，本研究之教師專業發 展評鑑亦屬於其中。教育研究的目的是要建立理論、解決教育問題，及改進教育 活動。吳明清（2003）、潘慧玲（2003）、葉重新（2005）認為依研究目的可區分 為基本研究、應用研究、評鑑研究與行動研究共四類。王文科、王智弘（2004）
認為依研究目標可分為基本研究、應用研究、評鑑研究、研究與發展、行動研究 共五類。周新富（2007）將教育研究分成基礎研究及應用研究，其中應用研究包 括評鑑研究、研究與發展與行動研究。為求周全，本研究綜合吳明清、潘慧玲、
葉重新、王文科、王智弘及周新富之觀點，將研究目的類目訂為五項，分別為基 本研究、應用研究、評鑑研究、研究與發展與行動研究。下列表 3-2 將五項研究目 的類目其內涵加以說明。
49
表 3-2
研究目的類目
類目 內涵
1.基本研究 以建立教育學術理論和解釋教育現象為主要目的，提出 新學說、新觀點和新方法，但不涉及實際教育問題的理 解，也不提出解決或改進教育問題的建議。
2.應用研究 以基本研究所建立的理論為基礎，對具體教育問題進行 理論分析，目的在解決現實中存在的某些問題，或改進 實際活動。
3.評鑑研究 透過蒐集和分析資料，目的在檢討並評定特定政策、計 畫和方案實施的結果與成效，對教育的相關活動作出價 值判斷，以供決策之參考。
4.研究與發展 研究與發展的主要目的在發展可應用到學校的產品，以 滿足特別的需求，這些產品包括教師訓練教材、學生學 習材料、教學媒體、一組行為目標、管理系統等。
5.行動研究 由實際工作者（通常是教師）擔任研究工作，強調工作 上日常問題的解決，目的為改進實際教學工作，解決教 育實踐中的問題。
註：修改自教育研究法（頁 8-10），周新富，2007，臺北：五南。
（三）研究方法類目
此類目針對本研究的研究對象所使用之研究方法，加以分門別類。教育研究 法其方法的運用大多採用自社會科學領域。研究者參考學者王文科、王智弘（2004）、
洪仁進（1995）、周新富（2007）與吳明清（2003）對於教育研究法之研究方法之 分類，彙整出歷史研究法、內容分析法、個案研究法、行動研究法、調查研究法、
50
實驗研究法及相關研究法等七項。以下表 3-3 進行研究方法類目及其內涵之說明。
表 3-3
研究方法類目
類目 內涵
1.歷史研究法 透過蒐集史料，了解過去的事件，以釐清當前事件的歷史 背景，解釋其中的因果關係，進而預測未來發展的趨向（吳 明清，2003）。
2.內容分析法 透過量化的技巧和質的分析，以客觀及系統的態度，對文 件內容進行研究與分析（歐用生，1995）。
3.個案研究法 針對個案問題，探討其癥結，分析其全貌及相關因素，作 系統的分析與診斷，從而提出具體解決方案（高強華，
1995）。
4.行動研究法 以解決工作情境中的實際問題為目的，著重特定的研究對 象，強調研究和行動的結合以及共同參與、協同合作的歷 程（張世平，1995）。
5.調查研究法 採用問卷、訪問或觀察等技術，從母群體中蒐集資料，決 定母群體在一個或多個變項上的現況，或諸多變項間之關 係（王文科、王智弘，2004）。
6.實驗研究法 指研究者控制影響實驗結果的干擾變項，探討自變項和依 變項之間是否存有相關（林清山，1995）。
7.相關研究法 旨在蒐集資料，決定兩個或多個可數量化之變項間的關 係，關係程度以相關係數表之（王文科、王智弘，2004）。
51
（四）研究對象類目
研究對象指的是研究者關注的主體。本研究探討的主題是教師專業發展評鑑，
依據文獻資料整理，本研究之研究對象分為兩個類別，第一類為人員類目，包括 教師、學校行政人員、教育行政人員、學者專家、家長、學生、文件文獻及其他 等八項；第二類為階段類目，包括幼稚園、國小、國中、高中職、特殊教育及其 他等六項。茲將研究對象類目說明如下表 3-4。
表 3-4
研究對象類目
研究對象（人員）類目 研究對象（階段）類目
1.教師 1.幼稚園
2.學校行政人員 2.國小 3.教育行政人員 3.國中
4.學者專家 4.高中職
5.家長 5.特殊教育
6.學生 6.其他
7.文件文獻 8.其他
註：研究者自行整理。
二、研究信度與效度
研究者依據相關研究建立類目表，並透過類目表分析學位論文與期刊論文，
本節針對此類目表的信度與效度處理進行說明。
52
（一）信度處理
內容分析法的信度檢核包括兩項：其一為把在時間內的兩點或更多點的相似 文獻，作比較以查核信度，稱之工具信度；其二為兩個以上研究者在相同時間點 的研究結果作比較，以查核信度，稱之分析者信度（王文科、王智弘，2004）。分 析者信度當中，評分員處理研究單位分派給類目時，是否能將相同的內容歸入相 同的類目中，使所得的結果一致。若評分員對所有單位的同意度一致，表示信度 高；相反則表示信度低。因此，信度直接影響內容分析的結果（王石番，1989；
歐用生，1995）。
本研究中之研究類目包括主題類目、目的類目、方法類目及對象類目，其中 以主題類目的區別較為困難，故研究者針對主題類目進行信度處理，以工具信度 及分析者信度檢定之。主題類目在工具信度的處理上，研究者參考吳俊憲（2010）
及丁一顧（2013）對於教師專業發展評鑑主題之區分標準再加以修改，工具信度 已達相當程度；主題類目在分析者信度的處理，研究者參考王石番（1989）提及 的公式進行分析者信度檢定。分析者信度處理，按以下步驟進行。
1.首先邀請一位課程與教學碩士班研究生共同擔任評分員。
2.向其說明主題類目劃記方式與原則。
3.從研究對象 330 篇論文中選取 110 篇論文。
4.以系統取樣方式，將論文按數字順序編號後，以抽樣間隔數 3 為單位，每隔 3 選取 1 篇論文，共得 110 篇論文。
5.評分員各自進行主題類目的歸類劃記。
6.研究者蒐集劃記的結果，使用評分者公式計算結果（如圖 3-3）。
最後，經過計算得知相互同意度為 0.83，分析者信度為 0.91。一般而言，內 容分析法的信度應在 0.8 或 0.9 以上（楊涍榮，1989），而主題類目之分析者信度 為 0.91，表示信度已達相當程度之水準。
53
相互同意度=
2𝑀
𝑁
1+𝑁
2=2×91
110+110
= 0.83分析者信度=
𝑛×
（平均相互同意度
）1+[
（𝑛−1
）×平均相互同意度]
=2×0.83
1+
（2−1
）×0.83
= 0.91圖 3-3 評分者信度計算
註：
M :該類的完全同意之數目
𝑁1:第一評分員對該類應有的同意之數目 𝑁2:第二評分員對該類應有的同意之數目
𝑁1:第一評分員對該類應有的同意之數目 𝑁2:第二評分員對該類應有的同意之數目