行政院國家科學委員會補助專題研究計畫成果報告
※※※※※※※※※※※※※※※※※※※※※※※※※
※ ※
※ 子計劃四： ※
※ 動態 VR 運動復健輔助系統之人機溝通介面及 ※
※ 使用者情緒瞭解(I) ※
※ ※
※※※※※※※※※※※※※※※※※※※※※※※※
計畫類別：
個別型計畫
整合型計畫
計畫編號：NSC－90－2213－E－009－107
執行期間： 90 年 8 月 1 日至 91 年 7 月 31 日
計畫主持人：張志永
共同主持人：
本成果報告包括以下應繳交之附件：
□赴國外出差或研習心得報告一份
□赴大陸地區出差或研習心得報告一份
□出席國際學術會議心得報告及發表之論文各一份
□國際合作研究計畫國外研究報告書一份
執行單位：國立交通大學電機與控制工程學系
中
華
民
國
91
年
10
月
15
日
行政院國家科學委員會專題研究計畫成果報告
總計畫: 泛用型動態虛擬實境操控與運動復健輔助系統研發
子計畫四: 動態 VR 運動復健輔助系統之人機溝通介面
及使用者情緒瞭解(I)
(Subpr oject IV) A Study of Real-Time Human Emotional Under standing
and its Mechanism for Intelligent Human-Computer Inter face (I)
計畫編號 : NSC-90-2213-E-009-107
執行期限：90/08/01-91/07/31
主持人：張志永 交通大學電機與控制工程學系
一、 中文摘要
本子計畫藉電子攝影機隨時紀錄 操控者臉部，藉影像處理技偵測出操控 者之情緒狀態，並建立操控者與模擬器 間的人性化溝通管道，以將操控者的使 用感受忠實的告知子計畫一與二進行 模擬器的控制變數轉換及後續階層式 控制法則之設計，本子計畫已發展出一 套即時之人情緒狀態判定系統藉線上 拍攝操控者臉部影像序列，由影像處理 技術偵測出操控者之臉部變化，進而推 敲操控者快樂、生氣、與中性情緒狀 態，它的效果經過驗證可達 92﹪辨識 率。在人機系統溝通與與對映方面，我 們設計出一套感覺概念交流所須之對 映 對 映 網 路 的 裝 置 來 進 行 ， 我 們 以 Kosko 之 模 糊 關 聯 網 路 Fuzzy Associate Memory 設計之，我們以適應 性 的 局 部 訓 練 法 則 及 口 袋 演 算 法 觀 念，所設計的二階非對稱式雙向聯想記 憶 (Second-Order Asymmetric Bidi-rectional Associative Memory)，具有最大吸引範圍。
關鍵詞：虛擬實境， 人臉表情情識， 序
列人臉影像處理， 人性化溝通管 道，抽象式關念表示法，聯想記憶
英文摘要
The purpose of this project is to construct a human-machine commu-nication interface between the users and the simulators, which can transfer user’s feeling sense of to project 1, to transform the control variables for the project 2 control loop design of the simulator of Steward platform. In this way, the performance of the whole control loop and the method of adjusting parameters can be interacted with the user and the reality of the dynamics can be enhanced. Therefore, the project can be viewed as a higher-level feedback unit of the whole simulator system.
VR system can be more genuine if the truly sense of users can be communicated to the dynamic systems. This can be achieved by on-line monitoring the user’s facial emotion and transferring the user‘s feeling to the machine and updating the appropriate control parameters. The feeling of human being is an abstract concept and there is no corresponding physical quantity, i.e., universe of discourse, for the membership function to define with. Research on how to extract the user facial emotion, represent the abstract concept and devise a method that can communicate with machine simulator constitutes the major concerns to be investigated in this project.
Keywor ds: Virtual Reality, Facial
Emotion Recognition, Facial Image Sequence Processing, Abstract Concept Representation, Associative Memory
二、 緣由與目的
動態模擬系統之動態感覺，決定了 虛擬實境之逼真程度，但如何表示動態 模擬系統使用者之感覺概念，並傳遞給 行為轉換與控制模組(子計畫一)及六軸 運動平台、力回饋模組(子計畫二、三) 做適當的參數調整與控制，是本計畫之 重點。為了表示使用者的感覺概念，道， 以將操控者的使用感受忠實的告知子計 畫一與二進行模擬器的控制變數轉換及 後續階層式控制法則之設計，並藉此以 改善整個控制迴路及調整參數的方法， 而提高了模擬器的真實性，本計畫可視 為整個模擬器系統的高階回授單元。本 計畫之兩個主要子題: 計畫將發展出一 套即時之人情緒狀態判定系統及能與機 器系統做抽象式觀念感覺溝通與對映之 方法，下面是我們在這一年的計畫中， 對以上兩方面所法提出來實現方法的描 述。三、 研究方法與成果
(1)人類表情與情緒的辨識 人類表情與情緒的辨識此子系統 第一部份為臉部特徵的選取。臉部特徵 的選取對於辨識人臉和臉部表情是很 重要的。人類臉部有些明顯的特徵如眼 睛、嘴巴、眉毛、臉部輪廓等等。在本 計畫中，我們擷取眉毛、眼睛及嘴巴作 為主要的特徵。我們以前的研究顯示， 我 們 首 先 使 用 粗 略 輪 廓 預 測 程 序 法 (rough contour estimation routine)以及我 們所提出的點輪廓偵測法(point contour detection method)這兩種影像處理的技 術，來擷取眉毛、 眼睛和嘴巴這三個 特徵器官的正確輪廓。由於使用粗略輪 廓預測程序法所得到的眉毛輪廓已經 相當精準，足夠做為辨識之用，故不用 再加強其輪廓。而使用粗略輪廓預測程 序法所得到的眼睛和嘴巴的輪廓不夠 精準，所以我們再使用點輪廓偵測法現 正進行臉部表情運動單元的分析 。圖 一顯示 30 個臉部特徵點；臉部特徵點 可以用來代表臉部的特徵。因此當我們 得 到 了 這 些 特 徵 器 官 的 精 準 輪 廓 之 後，我們定義臉部特徵點來描述這三個 臉部特徵的位置和形狀。接下來可由臉 部特徵點組成運動單元。由於運動單元 可以用來描述人類臉部基本的肌肉運 動，所以臉部快樂、生氣、與中性情緒 狀態表情可以藉由一放射狀函數基礎之神經網路辨識，它的效果經過驗證可 達 92﹪辨識率，如圖二所示。 (2) 人機系統溝通與與對映法 人機系統溝通與與對映之法 Takagi 等 人 係 利 用 關 聯 網 路 (Associate Memory; 簡 稱 AM ) 設 計 之 赫 比 式 (Hebbian)學習方法來建構之對映傳遞 之關係，但 AM 之兩對映是由(0,1)之串 列對映至(0,1)之串列，與上述之感覺 對應，為 0～1 間的任意實數對映，我 們初步的研究其對映精確度很差。本計 畫主要是擴展並衍生觀念模糊集的概 念，以某一層的觀念節點的節點活性度 值組表示一個感覺概念，以機電整合受 控體之物理量為輸入層，感覺概念的溝 通與學習可由函數大約化之對映方法 來執行感覺概念之交流，以使電腦有感 覺概念意識與溝通的能力，而對於觀念 節點溝通所需之函數大約化，我們擬設 計出一套對映網路的裝置來進行，亦即 在受控機器中建立並學習某一感覺概 念交流所須之對映網路。第一年我們以 Kosko 之模糊關聯網路 Fuzzy Associate Memory 設 計 ， 所 設 計 關 聯 網 路 (Associate Memory)可以雙向聯想記憶 (Bidirectional Associative Memory)，簡 稱 BAM，實現。近來雙向聯想記憶已 經在聯想記憶研究當中扮演一個很重 要 的 角 色 。 非 對 稱 式 雙 向 聯 想 記 憶 (Asymmetric Bidirectional Associative Memory)為雙向聯想記憶放寬鍵結權重 必須要對稱的限制之結果，且相較於常 見的雙向聯想記憶結構有較好的記憶 與回想效能。高階非對稱式雙向聯想記 憶(High-Order Asymmetric Bidirectional Associative Memory)的記憶容量比一階
的好很多，然而新的高階聯想記憶設計 法卻很少被提出來。在本篇論文裡，我 們所關心的是設計具有最大吸引範圍 的 二 階 非 對 稱 式 雙 向 聯 想 記 憶 (Second-Order Asymmetric Bidirec-tional Associative Memory)。將它延伸到 高 階 非 對 稱 式 雙 向 聯 想 記 憶 (High-Order Asymmetric Bidirectional Associative Memory)是有可能而且很簡 單的。我們首先推導出對於二階非對稱 式聯想記憶的鍵結權重矩陣能夠保證 將所有標準圖樣組回憶出來之充分條 件。為了要遵守完全回憶定理，接著闡 述學習步伐大小也是適應性的局部訓 練法則，它將導致一個較快的設計時 間。最後我們推導出下列定理：在設計 SOABAM 時，增大符合完全回憶定理 的數值，將會增加一個有雜訊的圖樣能 夠 正 確 地 收 斂 到 它 的 聯 想 圖 樣 之 能 力；以這個定理當作基礎，我們的演算 法也予以修改，能夠保證每一個訓練圖 樣能儲存在具有越大的吸引範圍。針對 color graphics adapter (CGA)字型的電 腦模擬，已經證明出我們所提出的局部 訓練法則效果優於其他主要的 BAM 的設計，其結果如圖三與表一所示。
四、 結論與討論
一理想的虛擬實境系統，應能隨時 掌握操控者的情況與感受，並能讓操控 者與系統模擬器做直覺性的溝通，而讓 使用者有完全沈浸其中的感受，因此研 究發展任何虛擬實境技術時，使用者與 機器系統之間的互動與溝通為相當重要 的一環。本子計畫藉電子攝影機隨時紀 錄操控者臉部，藉影像處理技偵測出操 控者之情緒狀態，並建立操控者與模擬器間的人性化溝通管道，以將操控者的 使用感受忠實的告知子計畫一與二進行 模擬器的控制變數轉換及後續階層式控 制法則之設計，並藉此以改善整個控制 迴路及調整參數的方法，而提高了模擬 器的真實性，本計畫可視為整個模擬器 系統的高階回授單元。本子計畫已發展 出一套即時之人情緒狀態判定系統藉線 上拍攝操控者臉部影像序列，由影像處 理技術偵測出操控者之臉部變化，進而 推敲操控者快樂、生氣、與中性情緒狀 態，它的效果經過驗證可達 92﹪辨識 率。在人機系統溝通與與對映方面，我 們 以 模 糊 關 聯 網 路 Fuzzy Associate Memory 設計，實現感覺概念交流所須 之對映網路，模擬證明我們所提出的局 部訓練法則效果優於其他主要的 BAM 的設計。
五、 參考文獻
[1] H. Ushida, and T. Yamaguchi, and T. Takagi, “ Fuzzy associate memory based knowledge construction with a application to a human machine interface,”IEEE Trans. Ind. Electron.,
vol. 46, pp. 851-860, 1999.
[2] T. Takagi, A. Imura, H. Ushida, and T. Yamaguchi, “Conceptual fuzzy sets as a meaning representation and their inductive construction, ”International Journal of Intelligent Systems, vol. 10, pp. 929-945, 1995.
[3] F. L. Chung and T. Lee, “A new look at solving a system of fuzzy relational equations,”Fuzzy Sets and
Systems, vol. 88, pp.343-353, 1997.
[4] Cootes, T. F., C. J. Taylor, D. H. Cooper, and J. Graham, “Active shape models - their training and application,” Computer Vision and Image Understanding,, Vol. 61, No. 1, pp. 38-59. 1995.
[5] P. Ekman, and W. V. Friesen, The Facial Action Coding System,
Consulting Psychologist Press, San Francisco, CA,1978.
[6] C. L Huang and C. W. Chen, ``Human facial feature extraction
for face interpretation and
recognition,” Pattern Recognition,
Vol. 25, No. 12, pp. 1435- 1444, 1992.
[7] H. Kobayashi, and F. Hara,
“Analysis of the neural network recognition characteristics of six
basic facial expressions,” in
Proceedings of 3rd IEEE Int. Workshop on Robot and Human Communication, Nagoya, Japan, pp.
222-227, 1994.
[8] A. Lanitis, C. J. Taylor, and T. F. Cootes, ``Automatic interpretation and coding of face images using
flexible models," IEEE
Transactions on Pattern Analysis and Machine Intelligence, Vol. 19,
No. 7, pp. 743-756, 1997.
[9] M. A. Turk A. P. Pentland,
“Eigenfaces for recognition,"
Journal of Cognitive Neuroscience,
Vol. 3, No. 1, pp. 71-86, 1991.
S. Cohen, “Feature extraction from faces using deformable templates,”
International Journal of Computer Vision, Vol. 8, No. 2, pp. 99-111,
1992.
[11] W. Pedrycz, “Processing in relational structures: Fuzzy relational equations,” Fuzzy Sets and Systems, vol. 40, pp. 77-106, 1991.
[12] Y. F. Wang, J. B, Cruz, Jr., and J. H. Mulligan, Jr., “ On multiple training pairs for bidirectional associative memory ” IEEE Trans. on Neural Networks, vol. 1, pp. 275-276, Sept. 1991.
[13] T. Wang, X. Zhuang, and X. Xing, “Designing bidirectional associative memories with optimal stability,”IEEE Trans. on Syst. Man, Cybern., vol. 24, pp. 778-790, May. 1994.
[14] H. Oh and S. C. Kothari, “Adaptation of the relaxation method for learning in bidirectional associative memory, ”
IEEE Trans. on Neural Networks, vol. 5, pp. 576-583, July. 1994.
[15] Y. Wu and D. A. Pados, “ A feedforward bidirectional associative memory, ”IEEE Trans. on Neural Networks, vol. 11, pp. 859-866, July. 2000.
[16] C.-S. Leung, L.-W. Chan, and E. Lai, “Stability and statistical properties
of second order bidirectional associative memory, ”IEEE Trans. on Neural Networks, vol. 8, pp. 267-277, Mar. 1997.
[17] H. Shi, Y. Zhao, and X. Zhuang,“A general model for bidirectional associative memories,” IEEE Trans. on Syst. Man, Cybern. B, vol. 28, pp. 511-519, Aug. 1998.
[18] J. Park, C.-H. Kwon, and D. Park, “ An optimization-based design procedure for asymmetric bidirectional associative memories,”
IEEE Trans. on Neural Networks, vol. 12, pp. 169-170, Jan. 2001.
[19] F. L. Chung and T. Lee,“On Fuzzy Associative Memory with Multiple Rule Storage Capacity, ”IEEE Trans. Fuzzy Syst., vol. 4, no. 3, pp. 375-384, 1996.
[20] H.-C. Chang, H.-C. Chen, and J.-H. Fang, “ Lithology Determination from Well Logs with Fuzzy Associative Memory Neural Network, ” IEEE Trans. Geosci. Remote Sensing, vol. 35, no. 3, pp 773-780, 1997.
6
TABLE 1
Average error correction probability prob(r) versus Hamming distance r of various BAM
design schemes r = 0 r = 1 r = 2 r = 3 r = 4 r = 5 r = 6 r = 7 r = 8 SOABAM 1.000 1.000 0.999 0.997 0.993 0.984 0.968 0.952 0.929 FEEDF 1.000 1.000 1.000 0.999 0.997 0.986 0.945 0.873 0.646 FOABAM 1.000 0.973 0.833 0.674 0.536 0.398 0.317 0.251 0.220 GBAM 1.000 0.944 0.829 0.702 0.581 0.466 0.369 0.337 0.281 OABAM 1.000 0.954 0.788 0.610 0.471 0.347 0.291 0.228 0.162 ABAM 1.000 0.814 0.497 0.258 0.155 0.092 0.057 0.039 0.030 圖一：臉部特徵定義圖 x y a19 a20 a22 a21 a17 a18 a1 a2 a15 a7 a13 a3 a5 a11 a12 a6 a10 a4 a14 a8 a16 a23
a27 a25 a28
a24 a30 a26 a29 base/5 base/2 eyel/2 eyel base/4 base/4 a9 base/6 base (origin_x,origin_y) xb yb (0,0)
7 AU4 AU6 AU7 AU10 AU12 AU26 happy angry neutral 圖二：藉由放射狀函數基礎神經網路辨識表情情緒狀態 0 1 2 3 4 5 6 7 8 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Hamming distance r E rr o r c o rr e c ti o n p ro b a b ili ty p ro b (r ) SOABAM FEEDF FOABAM OABAM ABAM GBAM 圖三：使用有 r 個雜訊 CGA 圖樣之各式聯想記憶辨識結果
