表情辨識系統

當臉部表情分別經由 LBP 及 TLBP 萃取出局部和全域紋理特徵後，分別以 區塊式與非區塊式直方圖運算，可以分別得到其所對應的直方圖特徵。最後，將 此兩種直方圖串接起來，形成該張臉部表情的局部及全域紋理特徵，並將這些特 徵向量，輸入至支持向量機進行樣本訓練及測試。本節最後將詳細說明本論文表 情辨識系統的整體流程。

3.4.1 結合局部及全域的特徵直方圖

為了表達臉部表情特徵，我們使用直方圖統計分析整張 LBP 影像及 TLBP 影像中的紋理特徵。根據觀察，我們得知 LBP 主要是表現在局部細微的特徵，

像是臉部上的皺紋及肌肉的線條。TLBP 則是表現臉部的全域特徵，像是一些像

素值差異較大的區域，例如:眼睛、鼻子、嘴巴及臉部輪廓。為了取出這些局部 及全域的特徵，本論文結合 LBP 及 TLBP 的方法做為表情特徵擷取的方法，並 串接兩者的特徵直方圖作為整張臉部表情的表情特徵直方圖。

首先，我們將一張臉部表情影像經過一階DWT後，取出低頻部分的影像，

並分別進行LBP及TLBP擷取局部特徵及全域特徵。在進行LBP運算時，必須先將 影像切割為幾個非重疊的子區塊，再將每個區塊進行LBP提取特徵，然後每個區 塊分別產生一組特徵直方圖，如圖 3.11 所示。接著將這些區塊的特徵直方圖l₁,l₂,

…, ln依序串接起來，其中n為所考慮的子區塊總數。至於TLBP運算，則將整張 臉部影像求取TLBP特徵值後進行直方圖分析，獲得特徵直方圖g。最後，將l₁, l2, …, ln及g依序串連起來，形成此張表情影像的特徵直方圖h。詳細LBP與TLBP 特徵直方圖串接的說明如圖 3.11。由於此特徵直方圖包含了LBP及TLBP對於整 張臉部影像的特徵，充分地表達整張臉部的資訊，我們便採用此混合特徵，做為 輸入臉部表情影像的表情特徵，並藉以進行辨識。

l1

g

Combine

Face Image TLBP

Feature Histogram LBP

l2 l3 l4

圖 3.11：LBP 與 TLBP 結合的示意圖

3.4.2 系統整體流程

本論文利用上述的理論萃取出臉部局部與全域紋理特徵，結合人臉偵測及分

類器 SVM，將這些技術整合成一套人臉表情辨識系統。

在前處理部分，我們以 OpenCV 中的人臉偵測函式庫對輸入影像進行臉部擷 取的動作，如圖 3.12 所示。OpenCV 中的人臉偵測函式庫是使用 Viola 及 Jones[36]

所提出的方法，該法使用 AdaBoost 學習演算法挑出代表人臉的 Haar 特徵來實現 人臉偵測。我們以此法對序列影像進行處理，取出大小為 128×128 臉部表情影像 後，再依序進行離散小波轉換及本論文所提出的特徵擷取方法，最後使用 SVM 進行辨識。

Face detection

圖 3.12：臉部影像擷取過程

特徵直方圖中包含的資訊若越多，相對的辨識的準確度也會提升，但系統整 體耗費的時間也相當的可觀。所以本論文將臉部影像經過離散小波轉換壓縮後，

取出低頻的部分分別進行LBP及TLBP。進行LBP時，先將此臉部影像切割n×n個 子區塊，共n²塊子區塊，接著對每塊子區塊求取其直方圖後串接起來可得到維度 為n²×256 的特徵直方圖。進行TLBP運算時，由於TLBP並不需要進行區塊分割，

因此直接將進行TLBP後的影像求取其直方圖，並將此直方圖串接於上述LBP所 產生的特徵直方圖之後，形成一個新的混合特徵直方圖。該特徵直方圖維度大小 為(n²

圖 3.13 為本論文系統流程圖。系統可分為訓練及測試兩個部分。在訓練部 份，每一張影像經過上述所提的步驟提取相關特徵後，利用 SVM 針對欲訓練的 七種表情樣本進行分類訓練，可獲得一個訓練好的 SVM 模型。在測試部份，將

+1) ×256，我們便採用此特徵直方圖，作為輸入臉部表情影像的特徵。

取得測試影像之特徵向量，並送入已經訓練好的 SVM 模型，進行預測並獲得辨 識結果。

訓練影像

測試影像

DWT

DWT

低頻 影像

低頻 影像

LBP Histogram

SVM訓練

TLBP Histogram

特徵向量

LBP Histogram

TLBP Histogram

特徵向量 SVM模

組 辨識結果

圖 3.13：系統流程圖