中華大學碩士論文

(1)

中華大學碩士論文

題目：SE-EBS：臉部表情機器人之連續事件情緒行為排程器

SE-EBS：A Sequential Event Emotional Behavior Scheduler for the Facial Expression Robot

系所別：電機工程學系碩士班學號姓名：M09101008 鄭瑋璿指導教授：陳竹一博士

中華民國九十三年七月

(2)

摘要

在本論文『SE-EBS：臉部表情機器人之連續事件情緒行為排程器』中，利用已研發完成能夠表達情感與知覺的機電系統(人員操縱) 來開發臉部表情機器人之情緒行為介面，整合現有的科技，例如機電系統、程式設計、邏輯、訊號處理、電腦視覺、語音辨識、機械結構、

心理學、認知科學等等，設計可供大眾(對象:學生、親子、社會大眾) 參與的科學活動。此系統為一教學發展模組，可以給電子、電機、資訊、控制、機械、心理、語文等科系的老師和學生教學研究之用，甚或是可推廣至專科、技術學院或大學。

(3)

Abstract

In this paper “SE-EBS : A Sequential Event Emotional Behavior Scheduler for the Facial Expression Robot”, Utilizing a performed emotional and sensational electromechanical system to build up the interface of the emotional behavior for the robot (manual), integrate existing science and technology, ex. programming, logic/reasoning, signal processing, computer vision, pattern recognition, mechanical structure, psychology, and cognitive science, etc. it is to develop a scientific activity which is especially suitable for all ages of audience.

This robotic system is able to be an educational kit (module) for the researchers and students in the departments of electronics engineering, electrical engineering, information science/engineering, control, mechanical engineering, psychology, and linguistic. It is also able to promote this system module to high schools, colleges and universities.

(4)

致謝

本篇論文能順利完成，首先要感謝陳竹一老師在我就讀研究所期間的諄諄教誨，適時的指導、鼓勵與實質的建議，不僅在課業上給予我很多的啟發，也能從生活上給予我極大的幫助。

另外要特別感謝張慶元老師、黃錫瑜老師及張永嘉先生在口試期間所給予的建議與指導。

感謝敬洲、坤益、陽貿、文彬、于峻、建榮、元戎、銘寰、益豪、

建樑等學長領導我走入研究所生涯，感謝凱鈞、建勳、智勝、城郁、

雅鈴、志和、志聲、嘉文、易書、泓文、寬賢、傳旭等同學陪伴著我，

給予我溫馨的回憶，感謝煌益、久雄、國樟、鶴齡、雅雯、旻保、華祥、盈福等學弟妹平常的關心。

最後要感謝我親愛的父親、母親、姊弟等對於我就讀研究所的支持與鼓勵，使我能順利完成碩士學位。最後僅將本論文獻給我的家人及所有愛護我的老師、同學及朋友們。

鄭瑋璿謹致

(5)

圖目錄

圖 2-1 臉部表情機器人之系統架構 ...3

圖 2-2 臉部表情機器人有十六個可動點 ...4

圖 2-3 RC 伺服電動機 ...5

圖 2-4 PWM 控制訊號 ...6

圖 2-5 RC 伺服電動機與可動點之連接 ...7

圖 2-6 單晶片微控器產生 PWM 訊號架構 ...8

圖 2-7 串列介面控制系統架構 ...9

圖 3-1 臉部表情機器人之情緒行為層級架構...10

圖 4-1 臉部表情機器人之操作環境 ...12

圖 4-2 互動模式之獨立表情動作區塊 ...14

圖 4-3 互動模式之連續表情動作區塊 ...15

圖 4-4 互動模式之事件動作區塊 ...16

圖 4-5 臉部表情機器人應用軟體程式之互動模式...16

圖 4-6 臉部特徵之表情編輯方式 ...18

圖 4-7 可動點編碼參數之表情編輯方式 ...19

圖 4-8 一般情況下臉部表情機器人之表情變換曲線...19

圖 4-9 臉部表情機器人之表情變換曲線 ...20

圖 4-10 臉部表情機器人之連續情緒行為排程資料庫區塊...21

(8)

圖 4-11 臉部表情機器人應用軟體程式之編輯模式...22 圖 5-1 情緒行為層級衍生人格層級之架構...24 圖 5-2 Eysenck 之人格二向度分類法...24

(9)

第 1 章緒論

在人類的進化史上，獸力代替人力，機械又替代了獸力，科技創新造成經濟的發展與技術的進步，因而提高人類物質生活品質，但近年來的研究指出，國民的基本知識不足以應付二十一世紀的需求，其實教師經由教學將科學知識直接傳輸給學生時，再怎麼授課，影響的學生人數對整體來說，還是杯水車薪，有限的很[1]。因此，要如何提供讓學生主動建構有效之科學概念模型的環境，是影響學生學習成效的關鍵因素。

是故在本論文『SE-EBS：臉部表情機器人之連續事件情緒行為排程器』中，利用已研發完成能夠表達情感與知覺的機電系統(人員操縱)[2]來開發臉部表情機器人之情緒行為介面，整合現有的科技，

例如機電系統、程式設計、邏輯、訊號處理、電腦視覺、語音辨識、

機械結構、心理學、認知科學等等，設計可供大眾(對象:學生、親子、

社會大眾)參與的科學活動。此系統為一教學發展模組，可以給電子、

電機、資訊、控制、機械、心理、語文等科系的老師和學生教學研究之用，甚或是可推廣至專科、技術學院或大學。

本論文的第二章對於整個臉部表情機器人系統架構的敘述有簡單的介紹。第三章介紹臉部表情機器人情緒行為之層級架構方法。第

(10)

四章介紹實現臉部表情機器人之應用軟體介面。最後在第五章中提出了具體成果與未來可繼續研發之主題。

(11)

第 2 章臉部表情機器人之系統架構

本章為整個臉部表情機器人系統架構之描述。圖 2-1 為臉部表情機器人之系統架構圖，整個系統架構分成三個部份來加以說明:系統機構、單晶片微控器和電腦控制系統。

Personal Computer （PC）

Control System

Facial Expression Pattern

Microprocessor

PWM（Pulse Width Modulation）

Generator

Mechanism

Servo Module x6

Servo Module x2 Servo Module x2 Servo Module x4

Servo Module x2

Eyebrows

Eyelids Eyeballs

Lips

Neck RS232

圖 2-1 臉部表情機器人之系統架構

2.1 系統機構部分

臉部表情機器人有人類用於表達情緒最重要的眼睛、眼皮、眉毛和嘴巴，再加上點頭、搖頭晃腦的動作，可以做出有如人類的表情和一些情緒上的動作。

系統機構部份分別為可動點（Degree of Freedom）、RC 伺服電動機及 RC 伺服電動機與可動點之連接三個部份加以介紹。

(12)

2.1.1 可動點（Degree of Freedom）

臉部表情機器人其外觀如圖 2-2 所示，使用十六個可動點。包括左右眉毛各三個可動點，眉毛能上下移動；眼皮左右各一個可動點，

眼皮能個別閉合；眼球兩個可動點，眼球可同步上下左右轉動；嘴巴有四個可動點，嘴巴可張開閉合、上下唇可單獨移動、嘴角可上下移動；整個臉鑲嵌在一有底座可轉動的支架上，此支架為頸部有兩個可動點，如此臉可自由左右轉及上下點頭。使得臉部可以表達出喜、怒、

哀、樂、發呆、沉思等等各種千變萬化的表情與情緒上的動作。

圖 2-2 臉部表情機器人有十六個可動點

(13)

2.1.2 RC 伺服電動機

臉部表情機器人之可動點是由 RC 伺服電動機轉動而形成。RC 伺服電動機本身內建電動機、齒輪箱、位置回饋機構及控制電路，

RC 伺服電動機如圖 2-3 所示，利用 PWM（Pulse Width Modulation）

的方式可控制伺服馬達轉動至某一位置。

Gnd Vcc

PWM

圖 2-3 RC 伺服電動機

RC 伺服電動機在收到訊號時，可以自我調整直到與該訊號匹配，其內建傳動裝置與反饋控制系統的直流電動機，只要三條訊號線即可控制 RC 伺服電動機轉子之轉向，分別是紅色的電源線（+5V）、

黑色的接地線（GND）及白色的 PWM 訊號控制線（Control）。

RC 伺服電動機的控制原理是利用 PWM 的方式來控制 RC 伺服電動機在某一固定範圍內移動，PWM 的週期為 20ms（50Hz），脈波寬度為 1ms∼2ms（5∼10% duty cycle），PWM 控制訊號如圖 2-4 所示。舉例加以說明，假設 RC 伺服電動機的轉動角度為 0°∼100

°，則 0°的脈波寬度為 1ms，50°的脈波寬度為 1.5ms，然而 100

(14)

°的脈波寬度為 2ms。

t V

T=20ms=const 1ms

1ms

2ms

圖 2-4 PWM 控制訊號

2.1.3 RC 伺服電動機與可動點之連接

臉部表情機器人之可動點是由不同的零件材料組合而成，例如機器人之眉毛及嘴巴是由毛絨線連接而成，眼球為保麗龍球，眼皮為塑膠材料。RC 伺服電動機之轉子帶動這些不同的零件材料轉動而形成臉部表情機器人之不同表情變化。舉機器人右上眉毛之例子來加以說明，如圖 2-5 所示，透過 RC 伺服電動機之轉子接上輪盤，其輪盤牽引著尼龍絲，尼龍絲綁住毛絨線，此時毛絨線就會依照 RC 伺服電動機轉動不同角度而轉動至某一定點。

(15)

圖 2-5 RC 伺服電動機與可動點之連接

2.2 單晶片微控器

使用工業標準的 MCS-51 單晶片微控器來當 RC 伺服電動機控制器，MCS-51 系列 IC 廣泛地被學校及工業界使用。本論文使用華邦公司所生產的 W77E58-40，此 IC 可操作在 40MHz，為目前 MCS-51 系列 IC 所能使用的最高操作頻率。

以產生一組 PWM 訊號來說（參考圖 2-4 PWM 控制訊號），PWM 的頻率為 50Hz，換算成週期為 20ms，訊號在 0ms∼1ms 時，將訊號拉至高準位。訊號在 1ms∼2ms 時，利用 MCS-51 的暫存器，其暫存值為 0∼95，MCS-51 每約 10µs 中斷從 0 計數且將訊號拉至高準位，當暫存器值與計數值相同時，將訊號拉至低準位，直到時間達 2ms 為止。之後的 2ms∼20ms，訊號拉至低準位。以迴路的方式形

(16)

成連續的 PWM 訊號而達到 RC 伺服電動機之控制。

如圖 2-6 所示，因 RC 伺服電動機控制器共有十六顆，所以 MCS-51 也依 RC 伺服電動機提供十六個暫存器，MCS-51 等待系統控制電腦由串列傳輸下達命令，命令碼為 0x61H，而命令碼隨後之十六組可動點編碼參數（0∼95）依序存入十六個暫存器中，MCS-51 即產生十六組獨立的 PWM 訊號加以控制 RC 伺服電動機。

8051 8051

0x61H Register1 Register2 Register3 Register4 Register5 Register6 Register7 Register8 Register9 Register10 Register11 Register12 Register13 Register14 Register15 Register16 0x61H Register1 Register2 Register3 Register4 Register5 Register6 Register7 Register8 Register9 Register10 Register11 Register12 Register13 Register14 Register15 Register16

PC

RS232 RS232

PWM1

PWM6 PWM7 PWM8 PWM9 PWM10 PWM11 PWM12 PWM13 PWM14 PWM15 PWM16 PWM2 PWM3 PWM4 PWM5 PWM1

PWM6 PWM7 PWM8 PWM9 PWM10 PWM11 PWM12 PWM13 PWM14 PWM15 PWM16 PWM2 PWM3 PWM4 PWM5

圖 2-6 單晶片微控器產生 PWM 訊號架構

2.3 電腦控制系統

本節討論串列介面控制系統的架構，圖 2-7 為串列介面控制系統架構，PC 之軟體應用程式（AP：Application Program）提供彈性的應用程式介面（API：Application Program Interface），應用程式介

(17)

面能驅動串列裝置介面，可動點編碼參數就會由串列裝置介面以 RS232 傳送給單晶片微控器。

Personal Computer (PC) Personal Computer (PC)

Application Program (AP)

Application Program Interface (API) Application Program Interface (API)

Serial Interface Device Driver (Driver)

Serial Interface Device Driver (Driver) RS232

Microprocessor

圖 2-7 串列介面控制系統架構

因此即可輕易地控制臉部表情機器人之整個系統運作。

(18)

第 3 章臉部表情機器人之情緒行為層級

臉部表情機器人之情緒行為可利用層級方式依次將其細分。圖 3-1 為臉部表情機器人之情緒行為層級架構，第四層為臉部表情機器人之情緒行為，此情緒行為由第三層之表情、聲音及動作所組成。

Emotional Behavior

Expression Sound Action

Left Eyebrow Eyeballs & Eyelids Lips

Right Eyebrow Neck

48 48 48 48 48 48 48 48 48 48 48 48 48 48 48 48

Level 4

Level 3

Level 2

Level 1

圖 3-1 臉部表情機器人之情緒行為層級架構

第三層之表情依臉部表情機器人臉部特徵可分為四大區塊，分別為第二層之右上眉毛區、左上眉毛區、眼皮與眼球區及嘴唇區。聲音為臉部表情機器人執行情緒行為時所附帶的簡單聲音。動作為臉部表情機器人頸部的擺動。

第一層為最低階之臉部表情機器人可動點編碼參數，舉例來說，

(19)

第二層臉部特徵之嘴唇區塊是上下唇及兩嘴角由四個可動點所組成，因此會有四個可動點編碼參數。

因此臉部表情機器人依此情緒行為層級架構來開發獨特之機器情緒行為。

(20)

第 4 章臉部表情機器人之實現

4.1 臉部表情機器人之操作環境

臉部表情機器人之系統架構再整合現有的科技，設計一套可供大眾（對象：學生、親子、社會大眾）參與的科學活動操作環境，如圖 4-1 所示為臉部表情機器人之操作環境。

Master Environment Audience Environment

CCD

MIC Speaker

Sound RS232

圖 4-1 臉部表情機器人之操作環境

將臉部表情機器人之系統架構分成兩個不同空間環境，此兩個不

(21)

臉部表情機器人鼻子上有裝一 CCD，此 CCD 將臉部表情機器人面對大眾空間環境之影像傳回給主控電腦。臉部表情機器人之情緒行為有著簡單聲音，此聲音與操控者表達的聲音透過擴音器能傳達至大眾空間環境，而大眾空間環境之聲音也能傳回給操控者空間環境。如此一來，當操控者送出臉部表情機器人之情緒行為與大眾進行交流時，大眾所產生的情緒訊息能反饋給操控者，操控者去理解大眾的情緒，再將臉部表情機器人之情緒行為反饋回去，兩者間為一個動態的關係，而形成一套可供大眾參與的科學活動操作環境。

4.2 臉部表情機器人之應用軟體程式

運用前一章所探討之情緒行為層級結構以及臉部表情機器人之系統架構，開發出臉部表情機器人之應用軟體程式，此應用軟體程式提供有關情緒行為的研究並揣摩人臉之動作表情介面。

臉部表情機器人之應用軟體程式擁有兩種行為模式，其為互動模式與編輯模式。

4.2.1 臉部表情機器人應用軟體程式之互動模式

使用 Microsoft Visual C++ 6.0 開發出臉部表情機器人應用軟體程式之互動模式[3]，此互動模式分成三個主要區塊，分別為獨立表

(22)

情動作區塊、連續表情動作區塊及事件動作區塊。

4.2.1.1 獨立表情動作區塊

獨立表情動作區塊如圖 4-2 所示，提供十種擬人之表情類別，快樂、生氣、悲傷、驚訝、害怕、鬼臉、苦笑、呆滯、無奈及疲憊，每一種擬人表情類別因臉部表情機器人所受刺激程度之不同，而區分六種不同程度之表情。

圖 4-2 互動模式之獨立表情動作區塊

(23)

4.2.1.2 連續表情動作區塊

連續表情動作區塊如圖 4-3 所示，此區塊依獨立表情動作區塊提供之表情類別與各表情程度可編排出多樣化的連續表情動作事件，並依每秒展現五十個畫面數計算連續表情動作之總時間。

圖 4-3 互動模式之連續表情動作區塊

4.2.1.3 事件動作區塊

事件動作區塊如圖 4-4 所示，此區塊之事件動作是由應用軟體程式所編輯的，當臉部表情機器人參與不同主題環境時，透過應用軟體程式編排獨特之事件動作。

(24)

圖 4-4 互動模式之事件動作區塊

將臉部表情機器人應用軟體程式互動模式之獨立表情動作區塊、連續表情動作區塊及事件動作區塊組合在同一面板上，而構成臉部表情機器人應用軟體程式之互動模式，如圖 4-5 所示。

圖 4-5 臉部表情機器人應用軟體程式之互動模式

(25)

4.2.2 臉部表情機器人應用軟體程式之編輯模式

在 4.2.1 節中，當臉部表情機器人應用軟體程式之互動模式參與不同主題環境時，必須透過應用軟體程式編排獨特之事件動作，較於不方便，因此使用 Microsoft Visual Basic 6.0 開發編輯模式[4]。

臉部表情機器人應用軟體程式之編輯模式也分成三個主要區塊，分別為表情編輯區塊、表情變換曲線區塊及連續事件情緒行為排程資料庫區塊。

4.2.2.1 表情編輯區塊

表情編輯區塊依臉部表情機器人之情緒行為層級有兩種表情編輯方式，一種為臉部特徵之表情編輯方式，另一種為可動點編碼參數之表情編輯方式。

臉部特徵之表情編輯方式可分為四大區塊，如圖 4-6 所示，分別為右上眉毛區、左上眉毛區、眼皮與眼球區及嘴唇區。各個區塊提供擬人之多種臉部特徵樣式，因此能輕易組合出臉部表情機器人之表情。

(26)

圖 4-6 臉部特徵之表情編輯方式

可動點編碼參數之表情編輯方式如圖 4-7 所示，此表情編輯方式為情緒行為層級之最低階層，透過 Slider bar 控制項之絕對位置來決定一組可動點編碼參數，此組可動點編碼參數產生臉部表情機器人之表情。

(27)

圖 4-7 可動點編碼參數之表情編輯方式

4.2.2.2 表情變換曲線區塊

表情變換曲線區塊能決定目前機器人表情變換至下個表情時之變換方式。在一般的情況下，臉部表情機器人進行表情變換時，其表情變換完成度與畫面數之比例為等比關係，此等比關係如圖 4-8 所示。

100 80 60 40 20

0 10 20 30 40 50 Frame Next Expression Position Completeness (％)

100 80 60 40 20

0 10 20 30 40 50 Frame Next Expression Position Completeness (％)

Frame Next Expression Position Completeness (％)

50 Frame / Require Frame

圖 4-8 一般情況下臉部表情機器人之表情變換曲線

(28)

當人類感受到刺激事件而使得表情變換時，表情變換方式會因個人情緒或知覺等等因素之不同而有所不同，舉例來說，有甲乙兩人，

對於恐懼刺激事件接受度而言甲比乙高，當甲乙兩人同時感受到恐懼刺激事件時，乙臉上表情會由快至慢轉換到恐懼之表情，而甲則由慢至快轉換到恐懼之表情。臉部表情機器人也模擬出幾種表情變換曲線如圖 4-9 所示，圖中 a 為一般情況下臉部表情機器人之表情變換曲線，其表情變換完成度與畫面數之比例為等比關係，b、c 與 d 為不同程度之由慢至快表情變換曲線，e、f 與 g 為不同程度之由快至慢表情變換曲線。因此臉部表情機器人具有擬人之表情變換表現方式。

2 2

) 50

( x

x

f =

5 5

) 50

( x

x

f =

10 10

) 50

( x

x

f =

) 50

( x

x

f =

) 50

( x

x

f =

5 5

50 )

( x

x

f =

10 10

) 50

( x

x

f =

a.

b.

c.

d.

e.

g.

f.

圖 4-9 臉部表情機器人之表情變換曲線

(29)

4.2.2.3 連續事件情緒行為排程資料庫區塊

連續事件情緒行為排程資料庫區塊如圖 4-10 所示，若要讓臉部表情機器人擁有豐富之情緒行為呈現，必須建立資料庫來存放臉部表情機器人之情緒行為。在此資料庫中，每列存放一筆情緒行為，每一筆情緒行為包含臉部表情、頸部動作、畫面數與表情變換曲線。

圖 4-10 臉部表情機器人之連續情緒行為排程資料庫區塊

結合表情編輯區塊、表情變換曲線區塊及連續情緒行為排程資料庫區塊來實現臉部表情機器人應用軟體程式之編輯模式，如圖 4-11 所示。

(30)

圖 4-11 臉部表情機器人應用軟體程式之編輯模式

當操控者透過編輯模式建立連續情緒行為排程資料庫事件後，可透過命令視窗下達不同之情緒行為表現方式，此命令視窗包含三種主要功能，第一種功能為能下達單一選取之情緒行為事件，第二種功能為依照同一種表情變換曲線表現出連續情緒行為之動作事件，第三種功能為依照多樣表情變換曲線以及事件音效來表現出連續情緒行為之動作事件。

爲了使臉部表情機器人擁有多重之連續情緒行為動作事件，此編輯模式增加連續情緒行為動作事件之存取功能，提高臉部表情機器人之可塑性。

(31)

第 5 章結語

5.1 具體成果

本論文實現一連續事件情緒行為排程介面來模擬人之情緒行為，

此論文成果為可提供大眾參與之科學活動，茲舉數個應用於不同之主題環境（人員操縱）：新聞播報機器人、櫥窗機器人、解說導覽機器人、唱歌機器人等等（配合語意，適切地情感表達），主要是透過人與機器人之互動交談，誘發參與者對機器人有進一步的了解，因而對科學產生興趣，提升學習成效。

5.2 未來可發展之方向

本論文設計之情緒行為層級架構細分為四個層級，在未來之規劃中，可向上衍生至六個層級，如圖 5-1 所示為情緒行為層級衍生人格層級之架構，人格為多樣情緒之組合，而每一情緒會產生不同之情緒行為。依心理學家 Eysenck 提出之人格二向度分類法如圖 5-2 所示 [5]，歸納出三十二種人格性質，因此，可規劃出不同人格性質之機器人情緒表現。

(32)

Level 5

Level 4

Emotional Behavior 1 Emotional Behavior 2 Emotional Behavior N

Emotion 1 Emotion 2 Emotion N

Personality 1

Level 6

圖 5-1 情緒行為層級衍生人格層級之架構

Stable Unstable

Extraverted

Introverted Extraverted

Introverted

Choleric

Sanguine Phlegmatic

Melancholic Choleric

Sanguine Phlegmatic

Melancholic

Touchy Restless

Aggressive Excitable

Changeable Impulsive

Optimistic Active

Passive Careful

Thoughtful Peaceful

Controlled Reliable Even-tempered

Active

Sociable Outgoing Talkative Responsive Easygoing Lively Carefree Leadership Moody

Anxious Rigid Sober Pessimistic Reserved Unsociable

Quiet

Touchy Restless

Aggressive Excitable

Changeable Impulsive

Optimistic Active

Passive Careful

Thoughtful Peaceful

Controlled Reliable Even-tempered

Active

Sociable Outgoing Talkative Responsive Easygoing Lively Carefree Leadership Moody

Anxious Rigid Sober Pessimistic Reserved Unsociable

Quiet

圖 5-2 Eysenck 之人格二向度分類法

目前系統核心尚以程式控制型機器人為主（按預先要求的順序及條件，依次控制機器人之機械動作）。從大多數心理學家研究指出，

人之所以會有情緒行為事件是當感受到外界刺激時，透過內心認知處

(33)

理過程與感覺經驗之判斷來產生情緒行為[6]，而認知處理過程與感覺經驗之判斷為未來可發展之系統核心，使得機器人為擁有自我情感表達之智慧型機器人（以人工智慧決定其行動的機器人）。

(34)

參考文獻

[1] 卡特著/洪蘭譯, “大腦的秘密檔案”, 遠流出版社, 2002.

[2] 李敬洲, “Ping: Hardware Implementation of an Affective Facial Expression Machine”, 碩士論文, 中華大學, 2003.

[3] Ivor Horton, “Visual C++ 6.0 教學手冊”, Chinese Traditional

[4] 黃世陽、吳明哲編著, “Visual Basic 6.0 學習範本”, 松崗電腦圖書資料股份有限公司.

[5] Henry Gleitman 著/洪蘭譯, “心理學”, 遠流出版社,1997.

[6] L. Alan Sroufe, “Emotional Development”, Cambridge Studies in Social & Emotional Development, 1997.

中 華 大 學 碩 士 論 文