第三章 研究方法
第四節 研究工具
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
15 人。
第四節 研究工具
本研究在設計「知識萃取機制」、評量實驗對象的閱讀理解能力、調查實驗 對象對於標註建議的意見以及分析標註範圍詞性等環節中使用了多種研究工具。
以下分別詳細介紹。
一、 知識標註學習系統
「知識標註學習系統」（Knowledge-based Annotation Learning System，簡稱 KALS，見圖 3 - 4）是本研究實驗進行主要使用的研究工具。實驗對象在 KALS 中閱讀指定的文章，並進行合作式閱讀標註，同時 KALS 也收集實驗過程中的各 種閱讀標註與行為資料。實驗對象可以透過數位學習平臺開啟 KALS，或是直接 在瀏覽器中輸入指定網址來進入系統。KALS 的操作細節，將於後面章節詳細介 紹。
圖 3 - 4 知識標註學習系統操作畫面
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
二、 閱讀文章
本研究進行實驗時選用的閱讀文章為黃桂芝、曾憲雄、翁瑞鋒與何筱婷於 2008 年發表在數位學習科技期刊的「採遊戲式學習教育平台之科學教育活動設 計」一文。該文章類型是屬於研究論文的說明文，以文字敘述為主、圖表為輔。
該篇文章係以 e-GBL(e-Game based Learning)遊戲式學習平台進行遊戲式學習的 研究，作者應用知識螺旋理論，探討遊戲式學習導入教學的過程與成效。該研究 中所使用的準實驗研究法與思考風格之學習行為分析都與本研究實驗場域之「資 訊科技融入教學」課程單元內容切合，與實驗課程教師討論之後，最後決定將這 篇文章規劃為課程指定閱讀文章。
三、 知識萃取機制專家評估問卷
知識萃取機制專家評估問卷係用於「知識萃取機制」中的標註重要度模糊隸 屬函數與因素權重集的制定。本研究邀請閱讀學習與數位學習相關領域專家，利 用專家評估問卷統合各專家的意見，最後再將評估結果以糢糊調查問卷與 n 等第 標準評分法統計歸納成六項因素的標註重要度糢糊隸屬函數與因素權重集。
知識萃取機制專家評估問卷共分成七個部分，前六個部分邀請專家針對「知 識萃取機制」中六項考量因素的所有可能「論域」中每一個「因子」填寫重要度 的分配問卷，最後一部分則是請專家評估各因素的權重。問卷中會詳細定義每一 項因素的狀況，再請專家填寫該因素的重要度分配。
表 3 - 1 即是其中一項因素「標註策略類型」的問題形式，請專家評估當實 驗對象使用每一種標註策略類型時所代表的重要度。此問卷採用糢糊調查問卷的 形式，請專家用總和為「1」的權重來分配各因子的重要度。舉例來說，如果專 家認為「標註策略類型」為「重要」的因子，其重要程度很高，但又沒有絕對地 重要，那麼他的填法可能是「高：0.8；中：0.2；低：0」。問卷的最後部分則是 採用 n 等第標準評分法，請專家為六項因素決定重要的等級順位，而順位不可重
‧
閱讀心得報告是依據 Keshav(2007)、Bogucka 與 Wood,(2009)、Little 與 Parker(2010)等人提出的學術論文閱讀重點指導，並配合閱讀文章、實驗的情境
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
五、 閱讀理解測驗
閱讀理解測驗是依據 Cromley、Snyder-Hogan 與 Luciw-Dubas(2010)提出的 直接與推論調解模型（Direct and Inferential MEdiation Model，簡稱 DIME Model）， 並刪除掉 DIME 中的閱讀流暢度評估構面之後設計而成。因此本研究的閱讀理解 測驗是以「先備主題知識(Prior topic knowledge)」、「推論 (Inference)」、「閱讀理解 策略使用(Reading comprehension strategy use)」與「閱讀詞彙(Vocabulary)」四個 構面組成。閱讀理解測驗共設計 15 題四選一的選擇題，每一題僅有一個選項為 正確答案。每題配分皆為 1 分，滿分為 15 分。詳細的內容請參考附錄 B。以下 說明這四個構面的設計理念：
（一） 先備主題知識
測試研究對象對於「遊戲式學習」、「科學教育」等該篇閱讀文章談論的主題 概念知識，共 5 題。設計時以避免跟「詞彙閱讀」的題目發生衝突為設計原則。
（二） 推論
測試實驗對象的閱讀推論能力，共 2 題。推論的題目架構是基於 Hannon 與 Daneman(2001)發展出來的方法。題目由固定形式組成，例如：「A 句」並且「B 句」因此。再請實驗對象選擇 A 句到 B 句推論的正確答案。每個選項都是正確 的，但只有一個才是跟推論結果最為相關的答案。
（三） 閱讀理解策略使用
測試實驗對象是否能夠使用閱讀理解策略，包括「摘要」、「預測」、「找尋重 點關鍵字」、「先備主題知識活化」等，共 4 題。
在設計閱讀理解策略使用的題目時，需以另一篇類似的文章作為閱讀題目。
這部份本研究是選擇「無所不在學習之系統建置與成效分析─以小學生認識校園
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
植物為例」（黃國豪等，2010）一文。這是因為該文章與實驗閱讀文章同樣是數 位學習科技期刊收錄的論文，而此文的撰寫方式與文章複雜度在數位學習領域中 也較為常見，所以以此來設計閱讀理解策略使用的題目。
（四） 閱讀詞彙
測試實驗對象是否能理解文章中「專有詞彙」的意義，共 5 題。題目設計方 式是先列出一段敘述，並在要測試的詞彙下畫底線，並要求實驗對象選擇跟這個 詞彙最符合的敘述。詞彙是選擇自閱讀文章中重要的關鍵概念，但並不會在題目 的段落中解釋。除此之外，也必須避免跟「先備主題知識」的題目發生衝突。
六、 使用意見調查問卷
在實驗結束之後，本研究利用使用意見調查問卷來蒐集實驗對象的閱讀習慣、
對 於 標 註 建 議 的 滿 意 度 與 意 見 ， 並 且 以 Davis(1986) 提 出 的 科 技 接 受 模 型
（Technology Acceptance Model，簡稱 TAM）調查實驗對象使用 KAlS 的認知易 用性與認知有用性，作為系統改善之參考依據。詳細的問卷內容詳見附錄 C。
七、 中文斷詞系統 CKIP
「知識萃取機制」中需參考標註範圍的詞性，本研究中對詞性的判斷係仰賴 中央研究院發展的中文斷詞系統 CKIP (Ma & Chen, 2003; Chen & Hsieh, 2005)的 協助。KALS 在標註的資料處理過程中，會透過網路將閱讀文章的內容傳送給 CKIP 進行詞性標註，CKIP 會將欲進行詞性標註的內容進行斷詞處理，並針對斷 詞結果加註詞性，然後回傳給 KALS 進行後續分析。斷詞與詞性標註的結果不僅 在於提供「知識萃取機制」判斷「標註範圍詞性」之用，也用於製作資料庫全文 索引中的倒置索引檔，以提昇 KALS 的搜尋效率。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y 第五節 實驗流程
本研究採用實驗研究法中的單組後測設計，從實驗過程中蒐集數據來探討研 究問題。實驗係搭配「資訊科技融入教學」課程中的一項論文閱讀作業來進行。
實驗對象並沒有被明白告知這是一項實驗，以避免實驗對象行為受到霍桑效應
（Hawthrone Effect）的影響。為了讓實驗順利進行，在實驗開始前，除了需要設 計「知識萃取機制」外，還需要邀請幾位協助者撰寫前置標註，以避免發生冷啟 動（cold start）的現象。正式進行實驗時間為二週。以下一一介紹本研究實驗規 劃的流程：
一、 設計知識萃取機制
「知識萃取機制」中用來判斷標註重要度的「標註分數」計算方式，係採用 專家評估法來進行。本研究邀請閱讀領域與數位學習領域專家評估標註共識、標 註特徵等六項因素中不同情況下的重要度與各因素之間的權重等級排序，然後歸 納各專家意見而成為「標註重要度模糊隸屬函數」以及「因素權重集」，並依此 作為計算「標註分數」的計算方法。
然而「標註重要度模糊隸屬函數」與「因素權重集」的設定需要依據實驗對 象人數、閱讀文章內容等實驗情境來設定。在確定實驗情境之後，本研究利用「專 家評估問卷」邀請相關領域的專家評估四種標註特徵與兩種標註共識在不同情形 下的「標註重要度模糊隸屬度」，以及這六項「知識萃取機制」考量因素的權重 順序。本研究邀請的專家包括一位閱讀學習領域專家與一位具有實務經驗的教師，
以及熟悉閱讀文章的數位學習領域專家一位與研究生二位等數人進行，並依專業 程度各別賦予不同的權重，如表 3 – 3 所示。專家評估問卷結果將會透過模糊樣 本平均數、二項模糊統計法與 n 等第評分標準法等統計方法，將結果歸納成「標 註重要度模糊隸屬函數」與「因素權重集」。最後再將各個參數設定於「知識萃 取機制」中，「知識萃取機制」即可在 KALS 運作中發揮功效。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
關於設定「知識萃取機制」的詳細過程，將於後面章節中介紹。
表 3 - 3 專家評估問卷邀請專家列表
編號 身分 權重
A1 閱讀學習專家 3 A2 數位學習專家 3 B 閱讀教學教師 2 C1 閱讀教學研究生 1 C2 數位學習研究生 1
二、 撰寫前置標註
由於「知識萃取機制」中考量了兩項標註共識因素，為了避免實驗開始時有 冷啟動（cold start）的問題，在實驗進行前本研究安排了三位協助者進行前置標 註的撰寫。前置標註是由課堂教師及兩位熟悉閱讀文章的研究者參與撰寫。撰寫 前置標註是以模擬實驗對象在正式實驗時的閱讀標註行為方式進行，每位協助者 各自完成閱讀標註之後，便完成撰寫前置標註步驟的工作。
三、 第一次實驗課程：實驗說明
在前置標註完成之後，接下來就開始正式實驗的進行。在實驗開始進行的第 一次課程中，研究者以數位學習平臺中的線上同步會議功能為實驗對象說明期中 報告的內容，包括介紹要閱讀的文章、教導實驗對象如何使用 KALS 進行閱讀標 註。接著由授課教師規定在閱讀文章的二週後，每一位同學均需繳交閱讀心得報 告。而在課堂說明結束後，實驗對象擁有為期二週的合作式閱讀標註活動時間，
期間內可透過網路在任意時間進入 KALS 進行合作式閱讀標註，並各自依據自己 的閱讀進度進行閱讀心得報告的撰寫。也同時告知他們在實驗結束之後，還需要 進行閱讀理解測驗與填寫意見調查問卷。
說明完畢之後，在課堂的剩餘時間中，研究者讓實驗對象練習使用 KALS 在文章上閱讀標註。並透過線上同步會議的功能，即時地為實驗對象解決 KALS 操作上的疑惑與困難，以確保實驗對象都能夠熟悉 KALS 系統的操作方式與完成