第三章 研究設計與實施
第三節 研究工具
壹、 分析單位
三家爯本的低年級國語文教學指引中內容深究的提問要點已列出題號,各題 號之下除了主要問題(於本研究中定名為母題)之外,部分題目又延伸出子題,
研究者將子題另外計數。
王石番(1989)提出內容分析法測量的常用紀錄單位有單字或符號(single word or symbol)、語幹(theme)、人物(character)、句子或段落(sentence or paragraph)、件數(item)、和時間及空間單位(time and space unites)
等六種。依此分類,本研究則是以內容深究中的提問要點「句子」為單位進行統 計與分析。
貳、 分析類目
類目發展形式主要有兩種,一是依據理論或過去研究結果發展而成,二是由 研究者自行發展的。本研究根據PIRLS所測驗的四種閱讀理解能力做為分析類目。
本研究之分析類目如下表(表3-2):
表3-2 閱讀理解能力類目表
張建妤、游婷雅等人(2008)所撰寫之「PIRLS 2006 報告」做整理,「題目類型」
則以柯華葳(2007)發表於「2007親子天下專刊」之說明為主。
承表3-2,以下從南一爯、康軒爯及翰林爯各擇一課,以其教學指引中內容 深究提問要點具體說明本研究的閱讀理解能力向度。分別為南一爯第二冊第十一 課「井底的青蛙」(附錄一);康軒爯第四冊第十五課「小書迷來演戲」(附錄 二);翰林爯第四冊第二課「清清的河水」(附錄三):
一、直接提取能力
(一)南一爯提問要點:這隻小青蛙愛做什麼事?
(二)康軒爯提問要點:小亮的表演為什麼讓人笑歪了?
(三)翰林爯提問要點:課文出現哪些角色?
二、直接推論能力
(一)南一爯提問要點:你覺得這隻青蛙快樂嗎?
(二)康軒爯提問要點:同學們的表演,有什麼特色?
(三)翰林爯提問要點:大象、野豬聽了小兔子的話有什麼反應?
三、詮釋整合能力
(一)南一爯提問要點:如果你是這隻小青蛙,你會怎麼做?
(二)康軒爯提問要點:你比較喜歡看書還是戲劇演出?
(三)翰林爯提問要點:讀了這課後,你有什麼感想?
四、檢驗評估能力
(一)南一爯提問要點:從哪一句話知道小青蛙很自大?
(二)康軒爯提問要點:老師為什麼說把故事演出來,也是讀書的好方法?
(三)翰林爯提問要點:小兔子和大象、野豬的對話中,哪一句最重要?
參、 信度檢定
信度為測驗結果的一致性或穩定性。內容分析中的信度檢定,是為檢驗研究
者的內容分析類目及分析單位,是否能將內容歸入相同的類目中,使所得的結果 呈現一致性。一致性越高,內容分析的信度越高,表示此研究結果的可靠性高,
故具相對參考價值。內容分析法的信度並無法達到百分之百的準確度,若能達到 0.8 甚至 0.9 的程度,即是達到很高的信度(楊孝濚,1989)。本研究的信度檢 定將以 0.8 為標準。
Krippendorff(1980)指出內容分析法的信度具有三種類型:穩定性
(stability)、再現性(reproducibility)、和正確性(accuracy)。穩定性 是指同一位研究者在不同的時間內,重複對同一內容編碼兩次,兩次編碼結果的 相同度;再現性是指不同環境、時空與評分者間,對於所分析內容的編碼相似程 度;正確性為內容分析的結果符合某種既定標準的程度。
王石番(1989)指出傳播內容分析的一致性有兩層面:一為「分析者一致性」,
即不同編碼者使用相同類目於相同內容,應該得到相同的結果;另一為「時間一 致性」,即一位編碼者或一群編碼員不同時間,使用相同類目於相同內容,應該 得到相同的結果。
歸納上述學者說法,同一研究者於不同時間進行分析類目的工作,將同一內 容歸類至同一類目的程度為「研究者信度」;不同評分者將同一內容歸入相同的
類目中,其之間所得結果一致程度則為「評分者信度」。
(二)邀請評分員與說明
本研究評分員連同研究者共計三位,另外邀請兩位評分員,目前皆於國立台 中教育大學語文教育研究所進修:甲現為小學教務主任,教學年資二十年;乙畢 業於語文教育學系,曾於小學擔任導師,教學年資一年。研究者向兩位評分員說 明本研究之類目定義、分析單位與信度分析登錄方式。
(三)進行歸類編碼
各評分員對於進行信度考驗之相關事項溝通討論後,開始針對所抽取的樣本,
依類目表進行歸類。
(四)信度檢定
利用公式,據歸納的結果進行信度計算。
1.評分者信度 (1) 相互同意度(P)
2M P=─────
N1 +N2
M :為彼此完全同意之數目
N1:為第一位評分員應有的同意數目 N2:為第二位評分員應有的同意數目
(2) 評分者信度(R)
2. 研究者信度
二、信度檢定結果
本研究檢定樣本共計二百三十二題,相關數據採四捨五入計數到小數第二 位,相互同意度及信度檢驗結果整理如表3-4:
表 3-4 評分者信度表
評分員 甲 乙
乙 0.84
研究者 0.76 0.79
評分者信度:0.92 研究者信度:0.95 2×帄均相互同意度
研究者信度=─────────-
1+帄均相互同意度 N ×(帄均相互同意度)
R=──────────────
1+ [(N-1)×帄均相互同意度]
N :評分員人數
本研究的信度檢定以 0.8 為標準,檢定結果評分者信度為 0.92,研究者信度 為 0.95,皆達預定之標準,故本研究具有信度。
肆、 效度檢定
依據研究理論或借用他人已發展而成的類目,做內容分析時,已經具有內容 效度(楊孝濚,1989)。檢視內容分析的效度有評審團法(jury)、已知團體法 (known-group)、獨立效標法(independent- criterion)、建構效度
(construct-validity)和預測效度(predictive- validity)等(Budd,1967)。
本研究之閱讀理解能力內容分析類目依據PIRLS的評量指標整理而成,並經具有 從事語文教育相關經驗之大學教授(本研究指導教授)、小學老師(前述兩位評 分員)擔任評審團,針對分析類目的分類、定義與適用性,給予建議,故本研究 具內容效度。