AutoTutor 與相關研究

AutoTutor 是一個模擬真人教師自然語言的對話模式和採用有效的教學策 略所開發的智能學習系統(Olney, Person, Louwerse, Graesser, & TRG, 2002)，Auto Tutor 對話模式的設計是依據建構式學習理論中強調解釋的重要性，由一系列具 有挑戰性的問題中，透過解釋和推論的過程中建構、組織出答案。其系統主要 的目的是希望學生在回答問題時，使用更詳細的敘述和更深入的推論，藉此獲

34

得更完整的知識概念(Graesser, Person, Derek Harter, & The Tutoring Research Group, 2001)。AutoTutor 組成的主要元素包括：模擬對話的電腦代理人(agent)、

對話管理、言語行為的分類、課程腳本、學生作答內容的語意評估與電子文本(如 教科書、詞彙表等)，其主要架構如圖 2-5-1

圖 2-5-1 AutoTutor 架構圖

本節也將針對 AutoTutor 的建置、對話方式與相關研究進行介紹：

壹、 AutoTutor 的建置

潛在語意分析（Latent Semantic Analysis, LSA）是一種以向量空間模型為基 礎的資料檢索技術，利用統計方法中的奇異值分解(SVD)，從大型的語料庫 (corpus)中萃取和表達詞彙或文件所隱含的語意。LSA 在 Auto Tutor 系統中扮演 非常重要的角色，AutoTutor 使用 LSA 為處理知識表徵比對的主要方法，在建 置的語意空間中去計算學生回答內容與系統預期答案的對話或是錯誤概念的對 話之間的語意關聯程度，藉此由學習者與系統的對話內容評估學生作答內容的 好壞。

對話活動 分類與評估

使用介面

對話管理

反應產生

自動化學 習系統

參數分析

使用者狀態

固定回饋

課程腳本

參數值 對話規則

LSA

35

語意空間的建置需仰賴大型語料庫，其語料庫內容包含文章與詞彙等訊 息，本研究使用之語料庫為廖晨惠（2011）國科會計畫所建置之國小兒童語料 庫，其內容來源為現行國民小學一到六年級教科書及獲得授權之兒童讀物（國 語日報、大紀元時報、其他兒童讀物等），共計 1208 篇文章，43,650 個詞彙，

並依、據陳明蕾、王學誠、柯華葳(2009)之研究先將文章以 200 字為文章單位切 割成 5219 份文件，並以關鍵詞在文件中出現兩次以上作為語意空間之關鍵詞，

共計 20022 個詞彙。

語意空間建置步驟如下：

圖 2-5-2 語意空間建置步驟

語意空間建置完成後，詞彙與文件在語意空間中會以向量的方式呈現，因 此可以透過計算向量之餘弦值來求得詞彙與詞彙、詞彙與文件(文章或句子)、文 件與文件之間的語意相似度。在 Auto Tutor 是以句子語意比對概念來計算學生 對話內容與預期答案的對話或是錯誤概念的對話之間語意相似度，與預期答案 的相似度愈高表示學生對於課程需要學習的概念愈完整，相反的，如果與錯誤 概念的相似度愈高，表示學生可能有此錯誤概念，則需給予糾正或是教學內容 的回饋。

本研究使用的 Auto Tutor 所定義的句子語意相似度比對方法的公式如下 語料庫建置

建立詞彙-文件共生矩陣

詞彙-文件共生矩陣加權

SVD 與維度約化

語意空間

36

(McNamara, Boonthum, Levinstein& Millis, 2007)： 過程中，修正錯誤的概念，達到學習新知識的效果。Auto Tutor 對話結構相似於 真實教師的對話模式，而對話結構內容包含： 動來學習，而 AutoTutor 運行的主要步驟如下(Graesser, Conley & Olney, 2012)：

1. 系統提出問題

回答問題之後，AutoTutor 將利用潛在語意分析方法（LSA）評估學生作答結果 與理想答案的符合程度，比對學生的答案與系統預期答案之間的 cosine 值，並 在系統設定一個閾值，當 cosine 值大於閾值時，表示學生以具備此知識概念，

因此系統將給予提示，引導學生更進一步說明內容，幫助學生進夠出更完整的 知識。反之，若作答內容與錯誤概念之間的 cosine 值大於閾值，系統將會給予 糾正。

學生與 AutoTutor 經由一連串對話之後，透過不斷修正，使學生能夠正確敘 述學習知識的預期概念。對話中的回饋又分為四個層次，首先以 pump 刺激學 生更詳細闡述或提供更多與預期概念相關的訊息，若學生無法更進一步瞭解概 念，再提供 hint 以較清楚的陳述來引導學生作答。回饋的步驟依序如下：pump

→ hint → prompt → assertion(Graesser et.al, 2012)。AutoTutor 對話回饋內容詳見 表 2-5-1。

表 2-5-1 Auto Tutor 對話回饋方式

回饋類型 說明

Pump 詢問學生提供更多的訊息。

Hint 提供重要問題，引導學生回答主要的概念。

Prompt 給予線索，引導學生表達出概念中的關鍵。

Short Feedback 針對學生回答內容的品質，給予適當的回饋。例如：很 棒、不錯喔、不太對。

Correction 糾正學生作答中的錯誤概念。

Assertion 呈現問題中的重要概念。

Answer 回答學生關於概念中一些定義上的問題。

Summary 最後呈現完整的知識概念為學生做總結。

資料來源：Graesser（2011）

38

AutoTutor 根據系統設計的對話模式，對話管理模組中依據學生每一次回答 的內容進行分類而產生不同的相對應的回饋。而 AutoTutor 對話管理的規則建置 是採用 production rules(Anderson & Gluck, 2001)，即是使用 IF<state>THEN

<action>的方式來選擇所要對應的回饋，其例子如下(Person, Graesser, Kreuz, Pomeroy, & TRG, 2001)：

1. IF <topic coverage = LOW> THEN <PUMP>

2. IF <match with expectation = HIGH or VERY HIGH> THEN <POSITIVE FEEDBACK>

根據上述例子，topic coverage 是代表學生對於要學習的整個概念所了解的 程度，如果 topic coverage 的值在系統設定的低 threshold 範圍內，即給予 pump 的回饋內容。Expectation 是指預期學生要學會的概念，如果學生回答的內容與 expectation 的相似度非常高，則給予正面的回饋。

四、 AutoTutor 評估模式

學生每一次回答問題後，AutoTutor 必須評估學生的學習狀況，包含學生的 評估學生每一次回答後對概念的了解程度情況與學生目前的對話內容，而 AutoTutor 在評估學生的學習狀況即是使用 LSA 比對學生每一次回答的內容與 預期概念(Expectations)或錯誤概念(Misconceptions)的語意相似度，如果學生累 積 的 回 答 內 容 與 某 一 個 預 期 概 念 的 語 意 相 似 度 逐 漸 增 加 並 達 到 或 是 超 過 AutoTutor 系統設定的閾值(threshold)，即判斷學生學會此預期概念；如果學生 的答案與某一錯誤概念的語意相似度非常高，表示學生具有此錯誤概念，

AutoTutor 會給予糾正的回饋，而 threshold 的設定根據過去 AutoTutor 相關研究 範圍約為 0.4~0.75(Graesser,Penumatsa P., Ventura M., Cai& Hu, 2007)。

Hu, Cai, Han, Craig, Wang & Graesser (2009)以 AutoTutor 為基礎發展了 AutoTutorLite，並提出以學習者的學習特徵曲線概念來評估學生對於預期答案 的瞭解程度，並將學生回答的內容可以分為四個部分：relevant-new、relevant-old、

irrelevant-new、irrelevant-old，其個別說明如下：

39

1. Relevant-new：與預期答案有相關且與學生前幾次回答的內容不同。

2. Irrelevant-new：與預期答案無相關且與學生前幾次回答的內容不同。

3. Relevant-old：與預期答案有相關但與學生前幾次回答的內容有共同的地方。

4. Irrelevant-old：與預期答案無相關且與學生前幾次回答的內容有共同的地 方。

Auto Tutor Lite 是以上述的四個部分作為評估學生是否了解課程概念的程 度，當 relevant-new 越高，代表學生每一次的回答內容都與預期答案有關連且有 逐漸進步的趨勢，相反的，如果 Irrelevant-old，代表學生可能完全不了解問題 內容，就必須給予教學的回饋。

參、 Auto Tutor 之相關研究

目前在國外已將Auto Tutor應用於各領域教學，例如物理學、生物學、電腦 知識科學文本、議論散文、語言學習等各領域的學習（Graesser, Lu, Jackson, Mitchell, Ventura, Olney, &Louwerse, 2004；Olney, D’Mello, Person, Cade, Hayes, Williams, Lehman&Graesser,2012；VanLehn, Graesser, Jackson, Jordan, Olney &

Rose, 2007；McNamara, Boonthum, Levinstein, &Millis, 2007；McNamara, O’Reilly, Best, &Ozuru, 2006；McNamara, Raine, Roscoe, Crossley, Jackson, Dai, Cai, Renner, Brandon, Weston, Dempsey, Lam, Sullivan, Kim, Rus, Floyd, McCarthy

&Graesser,2012；Johnson & Valente, 2008）。

其中，Grasser ＆ Lu等人（2004）以「Auto Tutor系統」進行電腦知識的教 學，以及Olney等人(2012)將「Guru Tutor系統」應用在生物學的概念學習上，還 有VanLehn等人(2007)在物理學領域融入「Why-Atlas系統」學習，此三篇研究 皆透過使用代理人自然語言與學生互動，幫助其敘述答案或解決問題，結果發 現學習成效與真人教學相同。

在科學文本學習方面的研究則有兩篇，McNamara ＆Boonthum等人 (2007)

40

與McNamara& O’Reilly等人（2006）使用「iSTART系統」，以教師和同儕角色 的兩名電腦代理人訓練學生如何在閱讀時產生自我解釋。電腦可以提高閱讀理 解並正確定義學生的敘述、相關闡述、預測和其他類別的語言行為。

McNamara等人 (2012) 進行議論散文教學則以「Writing-Pal系統」，並且 與教師電腦代理人和一名同儕電腦代理人進行討論，此教學能夠訓練學生如何 透過不同階段的寫作撰寫短文，電腦也會根據寫作的品質提供回饋和寫作上必 須掌握的基本元素。

另外，Johnson & Valente （2008）應用「Tactical Language and Culture Training System」，透過多重的電腦代理人訓練學生使用社會文化領域的文本達成新的 語言學習。

綜合上述研究發現，Auto Tutor 適用於各領域基本概念知識的學習，由電 腦代理人模擬自然語言進行教學，在對話過程中得到回饋，藉此建構出完整的 答案和知識。Auto Tutor 學習者透過與電腦代理人一對一的對話獲得個別化的 指導，並在交談的互動過程中，針對學生的作答品質給予不同層次的回饋，達 到適性化的學習，甚至更進一步，讓學習者針對問題或現象進行推敲，得到較 高層次的認識與了解，並達成問題解決。

41