第三章 研究方法
第一節 研究架構
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y 第三章 研究方法
本研究採用前實驗設計中的單組後測設計來規劃實驗，以蒐集並分析研究問 題所需的資料。以下說明本研究的研究架構，接著介紹實驗場域、實驗對象、實 驗工具，最後則是敘述實驗的流程。
第一節 研究架構
為了驗證本研究所提出之「知識萃取機制」計算方式的有效性，採用實驗對 象在透過「知識標註學習系統」閱讀文章之後的閱讀理解能力量化而成的「閱讀 理解分數」作為評鑑指標，來檢驗「知識萃取機制」評斷標註重要度的量化分數
「標註分數」指標，是否能夠與實驗對象的閱讀理解分數呈現正相關，藉此來驗 證本研究所提出之「知識萃取機制」計算方式的有效性。
此外，為了進一步改善「知識萃取機制」計算方式的有效性，本研究從兩種 方向著手：首先探討「知識萃取機制」中各項考量因素是否值得參考，再探討判 斷各因素重要度的標註重要度模糊隸屬函數是否有效。藉由深入分析標註在「知 識萃取機制」所考量的六項因素中，各因素在不同情況下是否能夠反映實驗對象 的閱讀理解能力差異，以此作為驗證各因素的有效性以及是否具備值得「知識萃 取機制」考量的價值。而為了驗證用於判斷各因素重要度的標註重要度模糊隸屬 函數是否有效，本研究也分析實驗對象撰寫標註的各因素重要度量化數值「標註 因素分數」，是否與實驗對象的閱讀理解分數呈現正相關，以此作為驗證標註重 要度模糊隸屬函數有效性的依據。
在探索未來可以納入「知識萃取機制」考量因素的研究目的上，本研究也分 析實驗對象的標註行為，包括撰寫標註、登入、選擇、瀏覽討論等系統操作頻率，
從中歸納值得加入「知識萃取機制」的因素。此外，為了未來「知識萃取機制」
可能朝向適性化設計方向發展，本研究也觀察不同閱讀理解能力的實驗對象對於 標註建議的回饋以及社群互動是否具有差異，從中分辨不同閱讀理解能力實驗對
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
象的行為模式。
為了釐清欲探究的問題，本節將以五個具體的研究問題來說明本研究的研究 架構。
一、 閱讀標註的「標註分數」是否與撰寫該標註的實驗對 象閱讀理解分數呈現正相關？
「標註分數」是「知識萃取機制」判斷標註重要度高低的量化數值指標，如 果「標註分數」與實驗對象的閱讀理解分數呈現正相關，就能驗證「知識萃取機 制」的有效性。本研究以 Pearson 積差相關分析來驗證「標註分數」是否與實驗 對象的閱讀理解分數呈現正相關。
二、 閱讀標註的標註特徵與標註共識等六項考量因素，是 否能夠反映出實驗對象的閱讀理解分數差異？
「知識萃取機制」中考量了二項標註共識、四項標註特徵。這六項考量因素 各別是「標註範圍共識」、「標註喜愛共識」、「標註範圍長度」、「標註範圍詞性」、
「標註範圍位置」與「標註策略類型」。本研究各別分析每一項因素在不同情況 中，是否能夠反映出實驗對象在閱讀理解分數上的差異，用以作為驗證該因素有 效性的依據。若各因素能有效反映出閱讀理解分數的差異，則表示該因素值得納 入「知識萃取機制」考量；反之，若因素無法反映出閱讀理解分數的差異，則應 該從「知識萃取機制」中剔除。
在分析方法選擇上，「標註範圍共識」、「標註喜愛共識」與「標註範圍長度」
這三項量化的資料屬於連續變項，因此採用 Pearson 積差相關分析各因素與實驗 對象的閱讀理解分數之間是否呈現相關性。如果用 Pearson 積差相關分析無法看 出相關，則嘗試將各因素依平均數分成高低兩組，並比較兩組之間實驗對象閱讀 理解分數的差異，再用獨立樣本 t 檢定驗證組間閱讀理解分數是否具有顯著差異。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
而「標註策略類型」、「標註範圍詞性」、「標註範圍位置」等名義變項的標註特徵，
則將之依照不同情況進行分組後，以單因子變異數分析各組之間實驗對象的閱讀 理解分數是否具有差異，以驗證該因素在反映閱讀理解能力上的有效性。
三、 閱讀標註的「標註因素分數」是否與實驗對象的閱讀 理解分數呈現正相關？
「標註因素分數」是「知識萃取機制」中判斷實驗對象撰寫的標註在各因素 中的重要度量化指標，而其判斷的規則是來自於專家評估法所制訂的標註重要度 模糊隸屬函數。以標註共識與標註特徵等六項考量因素為評判依據，個別會計算 出「標註範圍共識分數」、「標註喜愛共識分數」、「標註範圍長度分數」、「標註範 圍詞性分數」、「標註範圍位置分數」與「標註策略類型分數」等六項「標註因素 分數」。「標註因素分數」是連續變數型態，介於 1 到 3 分之間。「標註因素分數」
越高，表示實驗對象撰寫的標註在該因素的表現越為重要。
為了驗證專家評估法所制訂的標註重要度模糊隸屬函數是否有效，本研究將 六項「標註因素分數」與實驗對象的閱讀理解分數進行 Pearson 積差相關分析，
檢驗「標註因素分數」是否與閱讀理解分數呈現正相關，以驗證標註重要度模糊 隸屬函數的有效性。同時，也將各「標註因素分數」依照各自的平均數分成高分 組與低分組，觀察兩組實驗對象之間閱讀理解分數的差異，再以獨立樣本 t 檢定 來分析組間的閱讀理解分數是否具有顯著差異。
四、 實驗對象在「知識標註學習系統」的系統操作頻率的 不同，是否能夠反映出閱讀理解程度的差異？
為了更進一步探究本研究所提出的「知識萃取機制」是否還有其他值得納入 的考量因素，以發展更為精確且完備的「知識萃取機制」，本研究進一步分析實 驗對象的系統操作標註行為，包括「標註筆數」、「登入」、「選擇」、「修改」、「刪
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
除」等「系統操作」頻率，是否能夠反映出實驗對象閱讀理解分數的差異，用以 判斷該系統操作因素是否具備納入「知識萃取機制」的參考價值。
系統操作頻率是連續變項型態。本研究採用 Pearson 積差相關分析，將系統 操作頻率與閱讀理解分數進行比對，觀察各種系統操作是否呈現顯著相關。接著 再將各種系統操作依照頻率的平均數分成高頻率組與低頻率組，並以無母數統計 法的 Mann-Whitney 檢定分析兩組間實驗對象的閱讀理解分數是否具有顯著差異。
透過以上兩種分析方式，可以驗證各系統操作的標註行為是否具備納入「知識萃 取機制」的參考價值。
五、 閱讀理解程度不同的實驗對象，在標註建議回饋與社 群互動標註行為上是否具有差異？
藉由分析閱讀理解程度不同的實驗對象在閱讀標註行為上是否具有差異，將 有助於未來發展在對應不同閱讀理解程度讀者的適性化「知識萃取機制」設計。
為了探究此一問題，本研究以閱讀理解分數的平均數將實驗對象分成高分組與低 分組，並以 Mann-Whitney 檢定各組實驗對象的「標註建議回饋」以及透過標註 進行的「社群互動」等標註行為是否具有顯著差異。
以上五個研究問題可以歸納為圖 3 - 1 的研究架構圖，左半邊各種變項與閱 讀理解分數之間的分析為前四個研究問題，而右半邊閱讀理解分數與標註建議回 饋、社群互動等變項之間的分析則是最後一個研究問題。
圖 3 - 1 研究架構圖 標註因素分數
標註特徵 標註共識 標註分數
系統操作
閱讀理解分數 標註建議回饋
社群互動
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y 第二節 實驗場域
本研究採用實驗研究法來規劃實驗，並蒐集實驗對象在閱讀標註過程中的各 種標註內容與行為資料，以進行研究架構中五個問題的分析與驗證。本研究以國 立政治大學圖書資訊學數位碩士在職專班研修「資訊科技融入教學」課程學生需 繳交的論文閱讀作業來設計實驗。藉由要求實驗對象利用本研究所發展的「知識 標註學習系統」（Knowledge-based Annotation Learning System）進行閱讀文章標 註，並從中取得本研究欲觀察的「知識萃取機制」運作結果與實驗對象的標註行 為等資料。
本實驗的進行係透過網路操作「知識標註學習系統」的方式來進行。授課教 師要求實驗對象利用「知識標註學習系統」進行合作式文章閱讀標註學習，實驗 對象閱讀文章之後，必須繳交閱讀心得報告並於之後課堂中進行閱讀理解測驗、
填寫系統滿意度與意見調查問卷。以下詳細介紹本研究設計的實驗場域。
一、 實驗課程
本研究進行實驗之「資訊科技融入教學」課程為國立政治大學圖書資訊學數 位碩士在職專班一年級的選修課程。授課內容含括數位學習理論、資訊科技融入 教學教案設計、數位學習研究方法，也探討學習風格與適性化學習及遊戲式學習 等議題。該堂課程的選修人數為 19 人，該堂課程的授課方式是採用網路教學為 主，師生必須使用網路連到國立政治大學數位學習平臺上進行課程教學與學習。
在本研究的實驗規劃中，利用兩次課程的上課時間進行「知識標註學習系統」的 操作說明與合作式閱讀標註後的閱讀理解測驗。詳細實驗規劃於後面章節進行更 詳細的說明。
二、 數位學習平臺
本研究的實驗課程係透過國立政治大學數位學習平臺以數位學習方式進行，
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
此一平台係採用旭聯科技（2002）開發的 Wisdom Master 智慧大師系統。使用數 位學習平臺時必須以帳號登入，而本研究也依此來分辨實驗對象的身分。數位學 習平臺提供了課程內容瀏覽、討論版、線上評量與問卷、線上同步會議等多種學 習工具。除了要求實驗對象進行文章閱讀標註時是使用「知識標註學習系統」之 外，本研究在實驗過程中的閱讀文章作業說明（見圖 3 - 2）、閱讀標註實驗進行 方式說明、閱讀理解能力評量及問卷調查等，皆是利用數位學習平臺內建的工具 來進行。以下介紹本研究在數位學習平臺上主要使用的三項工具。
圖 3 - 2 數位學習平臺中實驗說明畫面
（一） 線上同步會議
線上同步會議是能在網路上進行同步多方交談的工具，提供了語音、視訊影
線上同步會議是能在網路上進行同步多方交談的工具，提供了語音、視訊影