情感運算

一、情緒辨識研究

國內外有許多研究透過感應器得知人類的情緒，人與人之間最容易觀察的是 臉部的表情變化，進可得知此人目前的情緒是正面還是負面情緒，其他像是透過 語意、心跳、血壓、呼吸、皮膚的溫度等生理資訊也是可以透過參數及統計方法 的運算，做為情緒辨識的參考(Picard，1995)。結合歌詞和音樂內容做自動音樂 情緒分類，利用人機和音樂互動，做為輔助治療(陳若涵，2006)。在單一辨識之 下，可能會造成偏頗，更多研究是採取多種訊號輸入，可以增加情緒辨識的種類，

陳奕丞(2010)將系統試著以人類的姿態，如：透過說話語氣、生理訊號和文字來 進行情緒的辨識。陳郁昇(2009)利用多種生理訊號如：血流量、心電圖等生理訊 號測量並經過參數擷取及特徵值選取後，輸入支援向量機(Support vector machines，SVM)分類器進行分類辨識情緒。

二、情感式家教系統

語言和非語言是人類的溝通的互動。人類的老師可能不知道所有學生的知識 狀態，但是透過臉部表情、身體姿態和其他非語言的線索，老師會改變教學策略 或採取其他一些因應措施。在一對一的輔導之後這些成為老師教導學生的線索 (Sarrafzadeh , Alexander , Dadgostar ,Fan , Bigdeli，2008)。Duo 與 Song(2012) 構造以情感運算為基礎的數位學習系統，提出可以辨識及分析學生的情感狀態和 虛擬助教調節學生的學習心理、建立教學風格，以模擬“人對人”的學習傳統課

堂教學環境來建立系統。智慧型家教系統是模擬家教提供個別化的指導給學生的 系統，依照各個學生的學習特性及狀態給予學生不同的教學方法。情感式家教系 統是以智慧型家教系統結合情感運算發展而來，且具有管理情緒的能力，讓系統 在學習者學習時即時取得學習者情緒。情感的數位學習框架，使用情緒代理人可 以取代部分的人類教師，協助和激勵學習者在他們的學習環境的過程中(Ammar, Neji, & Alimi,2005)。以分析臉部表情、姿態為基礎形成情感狀態檢測，將情 感式家教系統用於數學，透過虛擬機器人－夏娃來檢測學習者的情緒反應，而虛 擬機器人可以給與的反應包含:給與正面的回饋、詢問問題、討論問題或解決方 案、給予提示。系統透過訓練表達情感，提供相關的情感狀態數據(Sarrafzade et al.，2008)。Liu 與 Chi(2011)研究中創業列入線上學習的相關度很高，雖然以 網路為基礎和數位學習已廣泛用於學習，但是比起網路的技術和研究數據來說學 習者的學習責任意識是比其他任何學習風格更加不可少。

Mao 與 Li(2010)指出智慧型家教系統提供個別化的教學，在系統中的“智 慧”是指他們能適應學生知識學習速度。人一對一輔導成功的一個重要因素是在 於教師的能力，以識別和應對學生的情感狀態。如果虛擬助教能夠識別學生的情 感狀態和情感上適合的方式表達教學變動的反應。ATS 是指 ITS 能夠適應學生的 情感狀態。結果表明，學習者的情感態度、虛擬助教的表現能力、情感識別準確 率、教學行動和系統是否容易使用都對學習者有明顯的影響。藍千賀(2010)以動 畫代理人做為國小英語課程教學的輔助工具，學生因動畫代理人加入教學，啟發 對英語課程興趣，學習成效也明顯的進步。王俊仁(2009)研發一套「可支援動畫 教學代理人導向技術的國小教學軟體」，經由相關數據分析後，使用此教學系統 製作的學童在學習成效方面確實能夠得到較好成績。

三、情緒與學習

Duo 與 Song(2012)認為處理情感的目的是辨識學習者的情感和認知狀態，找 出情緒狀態的數位學習課程統計將這些資訊傳送到學習者代理人(learner

agent)。在學習過程中學習者的情感狀態是非常複雜的。如圖 2-1 所示，從正面 的（興趣）到負面的（不感興趣）的變化，會出現一個新的數位課程。新的課程 開始，學習者總是驚訝或是困惑。隨著時間的變化，學習者情緒狀態會被改變。

但若是總是迷惑，學習者會懷疑自我能力，並且感到沮喪，這種變化會傳遞到老 師代理人(teacher agent)，將立即修改教學策略。當採用適當的教學策略，學 習者會覺得自信和對新知識的渴望。情感訊息的處理是個別化教學的關鍵。

圖 2- 1 學習者學習過程情緒狀態(Duo 與 Song，2012)

Kort et al.(2001)提出以象限來表達學習者在學習的情緒歷程，如圖 2-2 所示，剛開始學生在象限 I 或Ⅱ，對於感興趣的話題會好奇或是著迷(象限 I)或 是會產生困惑(象限Ⅱ)，在第一象限的學習者是很愉快的在探索學習，在象限

Ⅱ，學習者開始產生一些誤解，需要虛擬助教的協助或給予的提示，在這兩種情 形下，情緒表現會在象限的上半部，此時學習者的學習重點在於建構或是測試知 識。若是再更進一步了解，象限可能會從上半部移到下半部也就是象限Ⅲ，此時 情緒可能是負向發展，感到混亂需要擺脫失望、憤怒、痛苦、自我懷疑，在象限

Ⅳ，學習者開始充滿希望和積極的態度，並開始新的循環。當獲得新鮮的想法時 Begin

New knowledge point

surprise Puzzle bewildement

Depression

despair Self-confidence

End

會推動學習者往象限的上半部分移動，一個典型的學習經歷通常會是以反時針方 向移動。

圖 2- 2 以象限來表達學習者在學習的情緒歷程(Kort et al.，2001) 四、情感運算融入學習之相關研究

McQuiggan,Robison 與 Lester(2010)提出情感一直受到越來越多的關注，許 多智慧教學系統找尋適合教學與學生情感和動機，在這過程中想提升課程的互動 性，藉此提高學習成效，最近開始研究在各種環境下學習過程所經歷的情緒，調 查情感轉變發生在以敘事中心(Narrative-Centered)為主的學習經驗。

Sottilare 與 Proctor(2012)提出目前大部分的研究都強調模擬虛擬人物的情 緒，而不是評估學生目前的情感狀態，目標是要在適合智慧型家教系統模型中確 定學生情緒的重要性。比較在遊戲之中學習與傳統紙本教材學習，實驗分成兩階 段，第一階段從能從感應器，如:眼動儀、腦波探測等，取得學習時的相關數據，

分析學生的學習狀況，結束後將進行測驗，第二階段探討在解決問題時不同類型 Constructive Learning

Positive Affective Negative

Affective

Un-learning

Awe

Satisfaction Curiosity Disappointment

Puzzlement Confusion

Hopefulness Fresh research Discard

Frustration Misconceptions

Ⅰ

Ⅱ

Ⅲ Ⅳ

的學生思考邏輯(曾奕霖，2013)。McLaren、DeLeeuw 與 Mayer(2011)研究目的 al.(2010)

The integration of an emotion system in the Intelligent Tutoring System

系統可以偵測學習者的情緒，並進

表 2-1 情感式家教系統相關研究彙整（續）

研究者（年代） 研究題目 研究結果

Duo 與 Song(2012)

An E-learning System based on Affective Computing