疼痛表情特徵研究回顧

在Sebastian Kaltwang 等人 [11]的研究結論中提到：

「Further-more, the current approach is static, and it cannot distinguish between eye blinks and eye closures, which are important cues for pain intensity estimation.

These limitations of the proposed approach are the focus of our future research.」 可見Sebastian Kaltwang 等人的研究認為，「閉眼動作」與「眼睛周圍皮膚皺 褶」和疼痛表情有高度相關。

而王佳琪 [12]透過臉部紋理分析提出更詳細的看法，認為疼痛患者會緊 閉眼睛直到周圍皮膚出現皺褶，嘴巴則會緊閉或張開，並且只擷取眼睛和嘴 巴的紋理特徵，以Support Vector Machine 作為訓練與辨識用資料。

在 Hong Fu [13]等人的研究中提出以動態紋理(dynamic textures)擷取人 類臉部的疼痛事件特徵，且認為沒有必要從整個臉部影像提取紋理，只需要 眼、鼻與嘴周圍的紋理資訊。

Corneliu Florea [14]等學者在 2015 年的研究中，以地形特徵直方圖 (Histograms of Topographical features)作為特徵空間進行疼痛表情辨識，並且 對PSPI 的定義提出兩點有待改進的觀察：

 AU9, AU10 這一組屬於疼痛表情的成分在 PSPI 中占了 0~5 分，但是在 disgust(噁心)表情中也可以發現 AU9 或 AU10。

 不是所有疼痛患者都出現 AU43(closing eyes)，有些患者會以彎腰(bow) 和抖動(jerk)來表現疼痛。

Corneliu Florea [14]最後認為，知名的 UNBC Pain Database 雖然開創了以臉

11

部表情進行非入侵式疼痛估計的研究，使這個領域奠定了相當的研究基礎，

但該資料庫應該再提供更具變異性的疼痛表情案例。

2.3.2 The UNBC-McMaster Shoulder Pain Expression Archive Database 的Frame level Ground truth 品質探討

UNBC Pain Database 提供的 frame level ground truth 為 PSPI ，卻有高達 82.7%的畫面 PSPI 都是 0 分。於是本論文針對此現象，進一步分析該資料庫 所提供的各項數據。

由於 PSPI 為 FACS 依式 2-1 換算而來，本論文嘗試重新換算時，卻發 現高達69.1%樣本的 FACS 都沒有資料；而這 69.1%缺少 FACS 的樣本 PSPI 都剛好被標示為 0 分。由此可見，PSPI 為 0 分的樣本中，有高達 7 成是無 資料可計算，並非真正 PSPI 為 0 分，是尚未經過 PSPI 計算疼痛程度的影 像。(如表 2-3) (如圖 2-6)

而 FACS 是又怎麼來的？UNBC Pain Database 提供的資料包含每一張 frame 以 AAM(Active Appearance Model)取得的人臉特徵點座標資料(AAM landmarks)(如圖 2-7)。雖然該資料庫提供的 AAM landmarks 相當完整，每一 個frame 都有 66 點，並無短缺，但受限於捕捉當時角度與光線的干擾因素，

AAM landmarks 不一定每一點都正確，即使都正確，也可能因為角度偏轉過 大，不一定能換算出對應的Action Unit(如圖 2-8, 圖 2-9, 圖 2-10)。

基於上述原因，FACS 的資料不完整是可推論的，也是難以避免的研究 限制。但是對於缺乏FACS 資料而無法換算出 PSPI 的樣本，就直接將 PSPI 標示為0 分，這種作法是否妥當呢？

在抓不出任何 AU 的前提下，就將該人臉影像 PSPI 訂為 0 分，等於是 找不出任何表情成分，卻又否定這張人臉影像存在任何疼痛成分。舉例來說，

有一個內容物未知的盒子A，由於各種技術限制而無法得知其內容，但不能

12

表2-3 The UNBC-McMaster Shoulder Pain Expression Archive Database 資 料缺陷分析

The UNBC-McMaster Shoulder Pain Expression Archive Database 所有樣本的PSPI直方圖

其中33784 筆資料並無 FACS code 可供換算

13

Raw Image

AAM face feature point extraction

Action Unit extraction

FACS code

PSPI score

圖2-7 UNBC Pain Database 從原始影像計算出 PSPI 的流程圖

圖2-8 AAM landmarks 與原始影像對照，檔案名稱為 hs107t2aaaff352。此 樣本PSPI 為 15 分。

14

圖2-9 AAM landmarks 與原始影像對照，檔案名稱為 ll042t1aaaff001。此 樣本無法解析出 FACS，PSPI 被標示為 0 分。

圖2-10 AAM landmarks 與原始影像對照，檔案名稱為 jk103t2aeaff232。

此樣本被解析出的Action Unit 為 AU25 與 AU26，PSPI 被標示為 0 分。

15 Liliana Lo

Presti (2015)

Using Hankel Matrices for Dynamics-based Facial Emotion Recognition and Pain Detection

3.4GHz,

Pain Intensity Estimation by a Self–Taught Selection of Histograms of

Topographical Features

Intel Xeon 3.3 GHz

Matlab 0.15fps (on a

Continuous Pain Intensity Estimation from Facial Expressions

3.3 GHz, 4core 16 GB

Matlab 1515fps

Muhammad Naufal Bin Mansor (2014)

Combination Filters for COPE Database

Intel®

Core ™ 2Duo CPU, 2.80 GHz

Matlab 12.5fps

Karan Sikka (2014)

Facial Expression Analysis for Estimating Pain in Clinical Settings

不記得 不記得 25fps

Rizwan Ahmed Khan (2013)

Pain detection through shape and appearance features

3GHz Matlab 未回應

Maryam Moosaei (2014)

Naturalistic Pain Synthesis for Virtual Patients

i5, 8GB C++ 未回應