文獻回顧

國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

第二節 文獻回顧

在文獻回顧這節中共包括四個部分，前三部分將針對本研究相關的文獻

加以回顧，依序是：一、情緒表達； 二、動作特性對情緒表達的影響； 三、

方向對情緒表達的影響；最後，第四部分為研究推論。

一、情緒表達

由於本研究的目的是增進動畫角色的情緒表達能力，於是首先回顧情緒表達 的三種方式及三者之間的關係。

情緒表達的方式大致可以分為臉部表情 (facial expression)、肢體動作 (body movement)以及語調 (voice)三種方式，然而單獨呈現臉部表情 (Ekman, 2003;

Cohen, Sebe, Chen, Garg, & Huang, 2003)、肢體動作( Stock, Righart, & de Gelder, 2007; Camurri, Lagerlöf, & Volpe, 2003; James, 1932; Sprengelmeyer et al., 1999)或 是語調 (Petrushin,2002) 其中一種，就足以使人正確地辨識出不同情緒。此外，

臉部表情、肢體動作及語調三者間會互相影響，並共同決定訊息接收者所知覺到 的情緒類型，例如：即使告知參與者只以表達者的語調作為線索來判斷情緒，但 表達者的肢體動作仍會影響參與者對語調的判斷，當肢體動作表達的情緒與語調 表達的情緒一致時，情緒辨識的正確率會較不一致時高 (Stock, Righart & de Gelder, 2007)，此外，藉由臉部表情判斷情緒時，其判斷也會受到表達者肢體動 作的影響，得到的結果與語調研究相似，在一致情況下的情緒辨識率都較不一致 時高 (Stock, Righart & de Gelder, 2007; Gunes, Piccardi, & Jan, 2007)，綜合上述研 究結果可知，表達情緒時，無論是臉部表情、肢體動作或是語調，只要具備三種 表達方式的其中一種，接收者就可清楚地辨識出表達者所表達的情緒，當三種情 緒表達方式所表達的情緒類型一致時，接收者較容易辨識出情緒類型，若三種情 緒表達方式所表達的情緒類型不一致時，則接收者的情緒辨識表現將會下降。

研究發現，肢體動作與臉孔在處理歷程上有相似之處，例如看到臉孔與身體

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

的圖像時，二者皆以整體策略 (configural processing strategy)來進行處理，亦即 是將整個身體或臉孔視為一完整的物體來處理，而非將其視為許多特徵的集合體 (例如臉是眼睛、耳朵、鼻子等各部分的組合)，因此臉孔與身體皆會產生「倒置 效果」(inversion effect)，亦即當臉孔或身體的圖片被上下倒置時，由於整體線索 消失，於是造成再認作業下的倒置圖片再認 (recognition)率較正立圖片大幅下 降，然而當圖片是房子等一般物體時，則不會有倒置效果產生 (Reed, Stone, Bozova, & Tanaka, 2003)，但 Curby 等人(2009)的研究發現，專家在觀看其熟悉領 域的物體圖片時，也會產生倒置效果，並非只有觀察臉孔時才有倒置效果產生。

此外，當觀看臉孔及身體圖片時，二者所產生的腦部相關電位 (event related potential , ERP)也有相似之處，例如觀看倒置的臉孔及身體時，二者的 N170 都 較觀看正立圖片大；且觀看倒置的臉孔及身體圖片時，N170 出現的時間也都較 正立圖片略微延遲，然而觀看的圖片若是鞋子等一般物體時，則 N170 波在正立 與倒置之間並無顯著差異 ( Stekelenburg & de Gelder, 2004)，但 Gajewski 等人 (2008)的研究結果指出，當使用不同種族臉孔作為實驗刺激時，此 N170 效果只 發生在熟悉種族的臉孔上，非熟悉種族的臉孔並不會有上述 N170 波的變化。綜 合上述研究結果，身體與臉孔在大腦中的處理機制是否相似，其結論仍存在爭議。

在過去情緒表達的研究中，探討語調與臉部表情的研究已累積了許多成果，

然而探討肢體動作的研究仍非常稀少，此外，由於本研究的結果未來將應用在電 視介面上，若採用語調來表現動畫角色的情緒時，將會使動畫角色與電視節目本 身的聲音互相干擾，造成使用者不愉快的觀看經驗；再者，電視不同於電腦，使 用者在觀看電視時距離螢幕較遠，若使用臉部表情來表達情緒，可能會因為動畫 角色的臉太小，以致於無法辨別動畫角色所要表現的情緒為何，因此，本研究決 定採用肢體動作來作為動畫角色表達情緒的方式。下面將依序介紹肢體動作的種 類，以及一些肢體動作相關的研究與成果。

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

二、動作特性對情緒表達的影響

研究情緒性肢體動作時，所使用的實驗材料可分為「靜態圖片」與「動態影 片」兩種，其中動態影片所呈現的肢體動作又包含「特殊動作」(propositional) 與

「一般動作 」(non-propositional)兩種成分，特殊動作指的是動作本身具特定的 情緒涵義，例如：手舞足蹈容易被解讀成快樂、垂頭喪氣容易被解讀成悲傷…等，

而一般動作則是不會偏向特定情緒的動作，如走路等。除此之外，動態影片中的 情緒表達者可選用「真人演員」或「動畫角色」呈現，在肢體動作的研究中，若 使用真人拍攝而成的影片或圖片，大部分皆會以影像處理方式將臉部模糊並去除 聲音，避免參與者利用肢體動作外的其他線索來做決策( Atkinson, Dittrich, Gemmell, & Young, 2004) (如圖二)；相較於真人演員，使用動畫角色作為實驗材 料有精確及簡單兩大優點，由於真人演員在表達情緒時，無法精確地控制每個關 節的彎曲角度、速度…等細節，然而使用動畫角色則可以輕易達到，此為使用動 畫角色的精確性，此外，當真人演員的臉孔被模糊處理時，容易使觀看者覺得怪 異、不自然，然而使用動畫角色作為實驗刺激時(如圖三)，則不必事先將演員的 肢體動作拍攝成影片，再藉由影像處理技術將臉部表情或語調去除，如此一來可 以大幅縮短實驗前的作業時間，此為使用動畫角色的簡單性。因此，使用動畫角

圖 二 真人特殊動作圖片 圖 三 動畫角色特殊動作圖片

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

色作為情緒表達的來源，除了可以避免不必要的混淆變項，達到更嚴謹的實驗控 制外，還可使實驗者在實驗材料的準備上更加方便。有關情緒表達研究中使用的 刺激類型，大致可以整理成一個架構圖 (見圖四)。

由圖四可知情緒可透過臉部表情、語調及肢體動作來表達，其中在肢體動作 表達情緒的研究中，研究者使用的情緒性刺激大致上分為靜態圖片或是動態影片 兩種，其中使用動態影片表達情緒的研究中，肢體的動作可再分成一般動作或特 殊動作，然而無論是一般動作或特殊動作的研究，研究者經常使用Laban 動作分 析 (movement analysis)的時間 (time)、空間 (space)、流暢度 (flow) 與力道 (weight)四個屬性來定義不同的肢體動作。

Montepare等人(1999)將Laban動作分析的四個屬性進一步延伸成六個動作特 性----平滑-顫動 (smooth-jerky)、僵硬-放鬆 (stiff-loose)、輕柔-用力 (soft-hard)、

慢-快 (slow-fast)、擴張-收縮 (expanded-contracted)、動作少-動作多 (almost no action- a lot of action)，並使用特殊動作來表達情緒，其研究所使用的情緒影片是 演員依照腳本所演出的開心、生氣、悲傷及中性四種情緒，參與者在觀看影片後，

必須評量各情緒影片中六個動作特性的得分，最後求出動作特性與各情緒類別間 的相關，結果發現動作特性在表達不同情緒時的確有差異，結果見表一。

圖 四 情緒表達研究刺激架構圖 圖中虛線框的部份為本研究探討的部份。

語調 肢體動作

臉部表情

情緒表達

靜態圖片 動態影片

一般動作 特殊動作

演員 動畫角色 演員 動畫角色

‧

Gesture Processing Library)，該系統共分為四層(如圖五)，並以階層的方式逐步將 動作歸類至各情緒。首先，該系統第一層輸入的訊息為影片媒體，經過影像分析 後輸出的訊息為動作剪影 (silhouette motion image, SMI)以及動作軌跡；第二層 輸入的訊息是第一層所輸出的動作剪影及軌跡，輸出的訊息為動作變化量 (quantity of motion, QoM)及身體收縮程度( contraction index, CI)；第三層輸入的訊 息是第二層的動作變化量，輸出的訊息為動靜區段(motion & non-motion

segmentation)；第四層輸入的訊息為前三層所輸出的動作剪影、軌跡、變化量、

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

統，他們邀請數位舞者用完全相同的舞蹈動作來表現生氣、開心、害怕及悲傷四 種情緒，並用攝影機將這些舞蹈錄製成影片，以影像處理技術將影片中舞者的臉 部表情模糊後，再將影片分別給觀眾辨識情緒及系統作分析。觀眾辨識的結果顯 示，儘管舞者跳相同的動作，但觀眾還是能夠辨識出不同的情緒；系統分析的結 果顯示悲傷的動作區段會較其他情緒長；害怕及悲傷的身體收縮度較開心高；生 氣與開心的動作改變量較悲傷高，研究結果支持肢體的一般動作足以用來區辨不 同情緒，且動作剪影、軌跡、變化量、身體收縮度及動靜區段等指標在不同情緒 間確實有差異，結果見表一。

圖 五 Camurri 等人(2003)情緒性姿勢處理系統

該系統共分為四層，各層會藉由影像分析技術將輸入的訊息轉化成其他訊息並傳送到下一層，如 此層層遞進，最後，第四層則綜合前三層的結果將影片做情緒歸類。

第一層：分離背景、動作偵測及軌跡追蹤的技術

影片媒體

藉由影像處理技術得到動作剪影 (SMI)及軌跡

第二層：動靜態測量及訊號處理技術

得到動作變化量(QoM)及收縮程度 (CI)

第三層：動靜分離、姿勢表徵及姿勢再認技術

得到動靜區段及語義空間中的位置 第四層：情緒分類技術

辨識出的情緒類型

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

有別於 Montepare等人(1999)及 Camurri等人(2003)的研究使用動態影片作 為實驗材料，Coulson (2004)的研究則是使用靜態圖片作為實驗材料，其所使用 的圖片是以小木人為模特兒拍攝而成 (如圖三)，其研究操弄的獨變項是「身體 關節」及「觀察角度」，身體關節共含上半身七個關節、下半身六個關節，且每 個關節有不同的彎曲角度；觀察角度則採正面、側面及左背上方45度三種，由十 三個關節的不同彎曲角度及三種觀察角度可組合出528張圖片，參與者每觀看完 一張圖片，就必須判斷該圖是屬於生氣、開心、悲傷、害怕、驚訝及噁心六種情 緒中的哪一種，並以參與者判斷為各情緒的次數作為實驗的依變項，結果發現，

操弄身體不同關節的彎曲角度及觀察角度確實會影響情緒的判斷，某些關節的特

操弄身體不同關節的彎曲角度及觀察角度確實會影響情緒的判斷，某些關節的特

在文檔中 動畫角色肢體動作的情緒表達--探討動作特性及身體方向對情緒表達的影響 - 政大學術集成 (頁 12-25)