• 沒有找到結果。

第三章 研究方法

第四節 研究工具

根據研究目的的需要,研究工具如下:

壹、兒童語料庫

本研究指標建置語料庫來源為廖晨惠(2010)之國科會「閱讀研究議題八:

以 LSA 為基礎之電腦化閱讀認知測驗及 AutoTutor 建置」計畫(編號:NSC 100-2420-H-142-001-MY3)所建置的國小語料庫,共收錄經授權的 945 篇國小各 版本跨領域之課文及國語日報等文本,本研究主要以語料庫中國小一至六年級課 文中國語、社會以及自然與生活科技三科目共 787 篇文章做為研究的依據。

貳、斷詞系統

本研究運用中央研究院斷詞系統,完成「兒童語料庫」文本斷詞,以做為後 續電腦軟體提取關聯詞的依據。此一系統包含一個約拾萬詞的詞彙庫及附加詞 類、詞頻、詞類頻率、雙連詞類頻率等資料,具有相當好的斷詞效果。

参、電腦軟體

一、MATLAB 軟體:利用 MATLAB 軟體提取特定類別關聯詞並依據 Coh-Metrix 關聯詞指標公式撰寫程式予以計分。

二、SPSS 軟體:單因子變異分析、皮爾森積差相關、獨立樣本 t 檢定、迴歸分 析。

肆、國立編譯館四、六年級國語教科書

民國 90 年開始國中小實施九年一貫課程,國中小教科書開放審定本,在此 之前教科書為統一版本,皆由教育部國立編譯館所編寫,不但行之有年且編寫相 當嚴謹,而且文章與現行教科書有差異,非常適合用來做為本研究的研究工具,

除了能保證文章的品質優良,並可排除學生重複閱讀的機率,使得施測的結果更 為客觀與準確。

伍、中高年級文本理解測驗

本測驗題本採用國立臺中教育大學測驗統計與適性學習研究中心所編製之

「中高年級文本理解測驗」,詳細內容參閱「中高年級文本理解測驗技術報告」(郭 伯臣等,2013)及未出版碩士論文「兒童文本詞類指標分析系統建置與應用」(陳 建宏,2013),茲將題本特色整理如下:

一、文本選擇:文本取自民國 78 年國立編譯館國語教科書四、六年級課文共八 篇文章,其中記敘文 4 篇,非記敘文 4 篇。

二、試題編製:測驗仿照國際閱讀素養研究(PIRLS)閱讀理解層次編製試題共 計八篇 44 題,題目皆為四選一單選題。試題涵蓋四項閱讀理解層次:直接 提取、直接推論、詮釋整合以及檢核評估。

三、效度與信度分析:透過信度與效度的檢驗,可以瞭解評量工具問卷本身是否 優良適當,以作為改善修正的根據,並可避免做出錯誤的判斷。本測驗題本 校度採專家效度,邀請三位臺中教育大學教授與七位平均年資達 10 年以上 現職 國小 教師 共同 編 審, 因此 具有 良好 的內 容效 度與 表面 效 度 。 根據 DeVellis(1999)所提出的 Cronbach α 係數取捨標準,α 值大於.7 為高信度本測 驗題本,本測驗信度係數 Cronbach α 值達.85,表示信度高,具有穩定性及 一致性的特性。

四、試題分析:信度與效度是測驗二項的重要特徵,二項特徵均須視試題品質優 劣而定,而試題品質則可藉由試題分析而提高。 本測驗依「古典測驗理論」

(classical test theory, CTT;Allen, M.J. & Yen, W. M., 2002)以及「試題反應理 論」(item response theory, IRT;余民寧,2009)兩種方式來做試題分析,

並依兩種測驗理論所得的測驗通過率探討後續分析議題並加以比較: Ebel(1979)的試題評鑑標準中,鑑別度 0.4 以上表示試題非常優良(郭生玉,

2004)。本測驗平均難度為 0.58,平均鑑別度為 0.43,表示測驗難度適中,測驗

()

P

i :隨機取樣能力為

之受試者答對第 i 題的機率

a

i:題目鑑別度

b

i:題目難度

c

i:題目猜測度 D(scaling factor)=1.7

在試題反應理論中,難度參數又稱為 b 參數,一般而言,b 參數介於 -∞ ~ +∞

之間,試題難度愈高,其 b 值則愈大,表示受試者答對此題的機率愈小,因此,

題目的難度愈高,受試者所需的能力亦期望愈高;而鑑別參數可稱為 a 參數,理 論上 a 參數亦介於-∞ ~ +∞之間,但負鑑別度值無意義,一般皆以 0 至 2 之間較 多;猜測參數又稱為 c 參數,即為受試者在能力極低時,仍能答對試題的機率,

一般而言,c 值愈小,試題愈能有效測出受試者的真實能力,多以 0.3 以下為選 題目標(王寶墉,1994)。

本測驗以 BILOG-MG 軟體進行 IRT 模式估計,鑑別度參數平均為.77,難度 為參數平均為.11,猜測度參數平均為.23,測驗訊息函數指出能力值在.25 時,提 供最大訊息量 9.38。以上訊息代表本測驗難易度適中,鑑別度高,猜測度適中且 對於能力值接近中等的學生能提供最大的訊息量。

五、t 檢定:以獨立樣本 t 檢定的統計方法來檢驗四年級、六年級學生在四年級文 本、六年級文本和全部文本中的測驗通過率是否達到顯著差異,結果顯示不 論以古典測驗理論或及試題反應理論的計分方式來計算四、六年級在各文本 的表現均達顯著差異(P<.05),亦即六年級受試學生的測驗通過率優於四年 級受試學生,表示六年級受試學生的確在文本閱讀的能力上優於四年級,根 據閱讀能力發展理論,兒童的閱讀能力會隨年齡的增加而增長,年級越高的 學童其閱讀能力應高於年級較低的學童(錡寶香,1999),證明本測驗確實 可以鑑別出四、六年級的學生能力。

六、相關分析:不論是以古典測驗理論或是以試題反應理論的計分方式,在四個

=.939~.988,rIRT=.966~.999),亦即在任何一個閱讀層次類型的題目中,四 年級通過率越高,六年級通過率也越高,反之亦然,證明本測驗題測驗結果 相當一致,具穩定性及一致性。