膚色補償與膚色檢測流程如圖 3.1 所示：

２９

第三章 膚色補償與膚色相似模型

在人臉檢測演算法中，應用人類膚色資訊，主要的目的是希望在處理 輸入影像時，先利用膚色作預先處理，事先排除非膚色的區域；使之後的處 理程序減小處理的空間，而提高檢測演算法的性能。

但是利用色彩資訊做為處理方法，具有一些不穩定的因子，即膚色容 易受到光線明暗的干擾，因此，在判斷像素是否為膚色有一些困擾，容易造 成誤檢的情況發生，所以我們提出膚色補償系統與建立膚色相似模型，使其 減少光線的影響與提高檢測效能。

膚色補償與膚色檢測流程如圖 3.1 所示：

輸入彩色影像

分散式模糊推論系統

膚色相似模型檢測系統

膚色之二元影像

圖 3.1 膚色補償與膚色檢測流程圖

輸入彩色影像經由分散式模糊推論系統做光線補償處理，之後利用膚

色相似模型檢測系統，檢測出影像中膚色的區域。

３０

3-1 膚色模型的光線補償

在影像中其顏色對於光線的變化是非常的敏感的，同一物體在不同的 光線或陰影下，可能會得到差異很大的顏色，因此若在影像中的物體是在不 同光線下所得到的，要能準確的分類與運用是相當的困難。因此在做檢測 時，需做光線補償的前置處理，藉以降低誤檢率。

3-1-1 分散式模糊推論系統

在本文中，利用影像中像素之灰階值 Y 分別與其 R、G、B 值形成三 種組合，利用分散式的模糊推論，分別找出 R、G、B 三方面各自所需之光 線補償量，並且配合原影像之平均亮度值 V 與像素之灰階值 Y 之模糊推論，

推論出補償衰減因子，其架構如圖 3.2 所示(詳述於後面章節)，此分散式模

糊推論系統是利用分散式之推論引擎，因此可大量減少推論規則。

３１ 知識庫(含規則庫)

模糊推論系統Ⅰ

模糊推論系統Ⅱ

模糊推論系統Ⅲ 輸

入 影 像 之 像 素

Y

R

G

B

GR

GG

GB

∆

Gc

∆

Bc

∆

∆ R

∆G

∆ B

R R R^'= +∆

G G G^'= +∆

B B B^'= +∆

修 正 後 之 像 素

輸 入 影 像

V 模糊推論系統Ⅳ

圖3.2 光線補償流程圖

其中 ∆ R

、 ∆ G

、 ∆ B

為補償量， GR、GG、GB 為比率因子，C 為補償 之衰減因子，其作用在避免過度補償。

3-1-2 模糊邏輯理論

在自然科學或社會科學研究中存在著許多定義不是很嚴格，或者說 具有模糊性的概念。這裏所謂的模糊性，主要是指人類常以其主觀認 知來從事客觀事物的判斷時，存在事務間的不確定性。

模糊理論（ Fuzzy Theory）是1965 年美國加州大學（The University

of California）控制論（Control Theory）專家查德(L. A. Zadeh)教授首

３２

先提出的，模糊集合論的提出雖然較晚，但在幾十年的發展歷程中，

其理論方法已經日臻完善，目前更已廣泛的被應用於自然科學和社會 科學的各個領域中。

模糊邏輯推論的設計理念近似於人類的思考模式，它是利用語言變數 (linguistic variable)表達成條件式的模糊規則，經由模糊推論機構(fuzzy inference machine)模仿人類來做決策之近似推理(approximate reasoning)模 式，將此條件式模糊規則轉化為決策策略，以得出推論結果。模糊邏輯推論 系統之基本架構圖如圖 3.3 所示：其包含四個主要部分：模糊化介面

(fuzzification interface)、知識庫(knowledge base)、模糊推論機構(fuzzy inference machine)與解模糊化介面(defuzzification interface)。

受控系統

解模糊介面 推論引擎

模糊化介面

資料庫 規則庫 知識庫

圖 3.3 模糊邏輯推論系統之基本架構圖

模糊介面之功能是根據受控系統輸入輸出變數之變動範圍，來決定語

言變數之確定論域，再進行論域之模糊分割(fuzzy partition)數量，因此，可

以將語言變數之論域適當地切割成數個模糊集合，而模糊集合常用的歸屬函

數有三角形歸屬函數(triangular membership function)、高斯歸屬函數

３３

(Gaussian membership function)與梯形歸屬函數(Trapezoidal membership function)。

將實際資料輸入隸屬度函數，估計實際資料之模糊隸屬度，此轉換過程 稱為模糊化（ fuzzification），而此過程必須透過隸屬度函數（membership function）來轉換，所以隸屬度函數是模糊集合應用於實際問題的基石。運 用隸屬度函數可以充分的描述出模糊集合的性質，而且透過它才能對模糊集 合進行量化，如此才能運用數學方法去分析及處理模糊性的資訊。

隸屬度函數是從特徵函數（ characteristic function）衍生而來，元素對應 於某一集合的隸屬度（membership grade）是介於0與1之間，若一個元素屬 於此集合的程度越大，則其隸屬度值將越接近 1，反之則越接近0。

知識庫包含資料庫(data base)與規則庫(rule base)兩部分，資料庫提供模 糊推論系統在模糊化介面、模糊推論引擎與解模糊化介面等所需之各項定 義；規則庫是模糊邏輯推論系統核心之一，其定義是由語言變數所組成之條 件式控制規則，而模糊邏輯推論系統之控制規則是以 if-then 之形式表示。

規則庫中其定義了輸出入語言變數的個數、論域之範圍與模糊分割數 量、歸屬函數的型式及模糊關係合成運算之方式與解模糊化之策略，其規則 庫中的模糊規則是以 if-then 的型式呈現的，其中 if 部份稱之為前提部，是 用來判斷輸入語言變數的狀態是否使一規則成立，而 then 部分則稱為結論 部，其用來表達當前提部成立時，輸出語言變數所該呈現的狀態。輸入語言 變數的個數和模糊分割數會影響控制規則前題部之組合數量，對於輸入語言 變數與模糊分割數的選取視實際需要而定，需在精確度與簡單性之間取得平 衡，一般以奇數個且以不超過 7 個為原則。

模糊推論引擎是模糊系統內部負責模糊推理運算之核心單元，是依據

近似推理的概念發展而來，應用於模糊系統的模糊推論方法有許多種，例

如：Mandani 的 min-min-max 模糊推論法、Larsen 之 min-product-max 模糊

３４

推論法、Tsukamoto 之模糊推論法和 Takagi 與 Sugeno 之模糊推論法。由於 本文是使用 Mandani 的 min-min-max 模糊推論法，因此，本文針對

min-min-max 模糊推論法做說明：

Mandani 的 min-min-max 模糊推論法推論示意圖如圖 3.4 所示，其推論 過程如下三個步驟來描述：

1. 以 min(邏輯積)運算，求出各規則前題部之歸屬度 W

。

 

 

= min max [min( ,

)], max [min( ,

)]

2 1

B B A

A

W

i x i x

其中 i 為規則的編號， A

與 B

分別為輸入變數 x

與 x

之輸入值，若輸入變 數 x

與 x

之輸入值皆為模糊單值

x

與 x

則上式可簡化為：

{ ^{min( , ), min( , )} }

min A x

B x

W

=

2. 以 min(邏輯積)運算，將前題部的歸屬度對映到結論部。

~

, ( ))

min( W u y C

=

3. 以 max(邏輯積)運算，統合所有被觸發之規則。

~ 1

*

max

i

C

C =

其中 n 為被觸發之規則。

３５

前題部 結論部

輸入：

X1

1 µ

A1

X2

1

µ

B1

Y

C3

C3

is 1 Y

2 is B

x

1 1 isA x

Wi

X1

1

µ A2

X2

1

µ

B2

Y

C2

C2

is Y

2 2 isB

2 x

1 isA x

Wi 3

C~

2

C~

' 輸入：

1

1 is A

x x2 is B^'2

è

3

2 ~

~

~ C C

C= ∪

圖 3.4 min-min-max 模糊推論法示意圖

對系統而言，系統的輸出必須是明確值，如此才能對受控體產生作用，

然而由模糊推論所得到的結果是對應到輸出語言變數之模糊值，因此必須經 由解模糊化，將模糊值轉換為適當的明確值，解模糊化的方法很多，其中較 常用的有：重心法 (center of gravity)、加權平均法(weighted average)與高度法 (height method)。

3-1-3 光線補償之模糊規則

模糊補償系統之設計步驟如下：

1. 輸入與輸出語言變數之選擇

先決定模糊規則庫中規則之前提部與結論部之語言變數與種類，在此 補償系統主要的工作是補償影像因光線造成過亮、過暗或偏光的影響，

因此選擇影像像素之灰階值 Y 及 RGB 值為補償系統之輸入語言變數，而 結論部之語言變數為補償量。

2. 模糊化(fuzzifier)及歸屬函數(membership function)

３６

模糊化主要是將明確值轉換成適當的模糊集合，模糊集合則是以歸屬 函數來描述論域 X 中其元素 x 對應於一個模糊集合 A 的關係，其歸屬函 數 µ

(x ) 可定義如下：

→ )

A

(x

µ [0 1]

因此分別將輸入變數灰階值 Y 與 RGB 值模糊化及選擇適當的歸屬函 數。

3. 模糊規則庫(fuzzy rule base)

根據模糊邏輯規則，設計模擬規則如下 (以 R 值與灰階值 Y 為例)：

R

: IF R is A

and Y is A

THEN ∆ R is B

其中 A

和 A

為輸入之模糊集合， B

為輸出模糊集合。

4. 模糊推論引擎(fuzzy inference engine)與解模糊化(defuzzifier)

模糊推論引擎，是指一個模糊規則庫，其是由多個規則 ”if-then”所組 成，若輸入值 R 與 Y 進入此規則庫中，經過某些運算後，可得到一輸出 量 ∆ R 。

解模糊化的過程與模糊化相反，是將一模糊集合轉換為明確值的動 作，亦即找出一個最適合代表模糊集合的明確值，在本文是採用重心法 為解模糊化之策略。

5. 建立補償查詢表

由於模糊推論引擎與解模糊化，需要不少的計算時間，因此為了計算 效率，事先模擬所有情況，建立查詢表，在做膚色影像膚色補償時，只 需在查詢表內取出適當的輸出補償值。

依上述步驟建立膚色補償系統，首先透過彩色影像像素之 RGB 值、影 像之平均亮度 V 與灰階值 Y 為輸入值，分別設計歸屬函數及輸出補償值之 歸屬函數。

以 R 值與灰階值 Y 為例建立 R 值補償系統：

３７

1. 分別建立輸入語言變數 R 值與灰階值 Y 之兩個輸入語言變數，且每個語 言變數皆分割成 VH(very high)、H(high)、M(medium)，L(low)與 VL(very low)之五個歸屬函數和建立一個 R 值補償係數之輸出語言變數其分割為 NB(negative big)、NM(negative medium)、NS(negative small)、ZO(zero)、

PS(positive small)、PM(positive medium)與 PB(positive big)等 7 個模糊子 集合。如圖 3.5 所示，輸入值為像素 R 值與灰階值 Y 及輸出值為 R 值補 償係數之歸屬函數。

0 255

Membership function

0 1

R值分佈 M

L H

VL VH

0 255

Membership function

0 1

Y值分佈

-1 1

Membership function

0 1

R值補償係數

ZO PS PM PB

NS NM NB

M

L H

VL VH

圖 3.5 輸入與輸出之歸屬函數

其中 VH 為最大值，H 為大值，M 為中值，L 為小值，VL 最小值，

NB 為負大，NM 為負中，NS 為負小，ZO 為零值，，PS 為正小，PM 為 正中 PB 為正大。

建立衰減因子之推論系統，其輸出入之歸屬函數如圖 3.6 所示。

３８

0 255

Membership function

0 1

影像之平均亮度 M

L H

0 255

Membership function

0 1

Y值分佈

0 1

Membership function

0 1

補償衰減因子

M B MB

S MS

L H

M

圖 3.6 衰減因子推論系統之輸出入之歸屬函數

2. 依據輸入語言變數 R、G、B 值分別與灰階值 Y，經由實驗設計模糊規則 庫。表 3.1-3.4 為模糊系統之模糊補償規則表：

表 3.1 Y-R 模糊補償規則表

R\Y VH H M L VL

VH ZO NS NS ZO ZO

H NS NS ZO NB ZO

M ZO PS ZO NS ZO

L ZO ZO PS PS PS

VL ZO ZO ZO ZO PM

表 3.2 Y-G 模糊補償規則表

G\Y VH H M L VL

VH NB NM ZO ZO ZO

３９

H NM NS NS ZO ZO

M ZO PS NS NS ZO

L ZO ZO PS PS NS

VL ZO ZO ZO PS PS

表 3.3 Y-B 模糊補償規則表

B\Y VH H M L VL

VH NB NM ZO ZO ZO

H NM NS NS ZO ZO

M PS ZO NM NS ZO

L ZO PM ZO NM PS

VL ZO PS PS PS PM

表 3.4 衰減因子 C 推論之規則表

V\Y H M L

H MB M MS

M S M S

L S B MB

影像在最亮與最暗的情況下，直覺其補償量應為最大負值或最大正 值，但是本文是針對人臉膚色作補償，因此不須針對最亮與最暗的像素 作過度的補償，另外在實驗中發現，人臉的膚色其 R 值在高亮度下相當 的敏感，且 RGB 值在光線較亮或較暗的情況下作非線性的補償可達到較 佳的效果，因此依光線偏暗或偏亮之情況下，分別設計模糊規則。

3. 建立 R 值補償量之輸出語言變數。

４０

4. 利用 RGB 與灰度值其論域範圍皆為(0〜255)，經由模糊推論可得到一對 應之正規化補償值 (-1〜1)之對照查詢表。

5. R 之補償量( ∆ ^R )＝ C × GR × ∆ R

。 G 之補償量( ∆ G )＝ C × GG × ∆ G

。

B 之補償量( ∆ ^B )＝ C × GB × ∆ B

。

其中 C 為衰減因子(0~1)，GR、GG 與 GB 為比率因子(scaling factor)(0~255)， ∆ R

、 ∆ G

與 ∆ B

為正規化補償值。

因此經由像素之 RGB 與灰階值可推論得到一補償量 ∆ ^R 、 ∆ G 與 ∆ B ， 然後修正原彩色影像像素之 RGB 值。

6. 分別得到修正之 RGB 值

B B B

G G G

R R R

∆ +

=

∆ +

=

∆ +

=

' ' '

如圖 3.7 所示為補償比較之效果

未補償 使用 HE 對比拉伸 使用本文之膚色補償

原影像 補償後之影像 (HE) 補償後之影像

４１

原影像膚色檢測 補償後之影像檢測(HE) 補償後之影像檢測

原影像 補償後之影像 (HE) 補償後之影像 (本文)

原影像膚色檢測 補償後之膚色檢測 (HE) 補償後之膚色檢測 圖 3.7 補償檢測效果

由上圖 3.7 檢測結果，可發現影像在偏亮或偏暗的情況下，若事先未

針對光線作處理，其膚色的誤檢率相當的高，另外若使用 HE (Histogram

Equalization)均化法作對比拉伸，其在偏亮的影像會有過度補償情況，且其

檢測的效果不佳，而在偏暗之影像，使用本文膚色補償的效果亦較使用 HE

方法為佳。

４２

3-2 建立膚色相似模型

建立膚色相似模型最後的目標，是要建立一個決定膚色檢測規則，用 來分類一像素是否為膚色或者非膚色。膚色相似模型主要是利用模糊關係 [50]與模糊統計試驗法[51]來建構。

3-2-1 模糊關係之定義與性質

設 U 與 V 為兩個論域，在集合論中定義

{ } { }

{ ^{v v} } { ^{v j n} }

V

m i u u u U

j n

i m

≤

≤

=

=

≤

≤

=

=

1 ,...,

1 ,...,

1

1

(3.1)

{ ^{u v i m j n} }

V

U × =

,

1 ≤ ≤ , 1 ≤ ≤ (3.2)

此時 U 與 V 之間的模糊關係 R，其歸屬函數為

[ ] ^{0 , 1}

: U ×V →

µ

(3.3) 之程度

具有關係

為 u v R

v

R

( u

,

) (

,

) µ

其兩論域之模糊關係 R 定義為

 

 







 

 







=

) , ( ...

) , (

. . . ...

. . .

) , ( ...

) , (

1

1 1

1

n m R m

R

n R R

v u v

u

v u v

u R

µ µ

µ µ

(3.4)

歸屬函數的選擇是模糊理論方法應用過程中很重要的關鍵，但至今尚

４３

未有合適的解決方式。一般都是直接採用連續型之標準歸屬函數（例如：

Z-type、Λ-type 、S-type），而客觀的模糊歸屬函數可以透過「模糊統計試 驗法」加以定義。

模糊統計試驗法類似機率統計測試方法，但是機率統計測試法是針對 某一現象進行觀測統計，此方式缺少反應人類語言之不確定性。而模糊統計 試驗法則是在考慮人類不確定性後再進行測試。

模糊統計試驗之結果定義為：

設論域 U，選定元素 u

∈ U ，語言變數為 A，則將元素 u

屬於 A 之歸 屬度定義為：

n A u u

U

n

之次數

0

屬於

0

⁾ lim

(

∞

→

= (3.5)

3-2-2 建立膚色相似性模型

本文利用上述之模糊關係與模糊統計試驗法，建構膚色相似性模型。

其建立之步驟如下：

1. 利用手工建立人臉膚色資料庫。(取樣 70 人共 1,099,349 膚色像素) 2. 建立一空的 256x256 之表格。

3. 將人臉影像之每一像素轉至 YCbCr 色彩空間，且將其 Cb-Cr 值對應到表 格中的位置，其數量增一。

4. 利用表格中最大值當分母，表格中每一個值除以最大值，得到一相似值。

5. 此表格定義為膚色相似度模型(SSM)。

膚色相似度分佈如圖 3.8 所示，依照取樣像素數，將其 RGB 值轉為

YCbCr 值，且將 Cb 與 Cr 值之相似值對應至三維座標系統，形成一不規則

之膚色的聚類範圍，若取樣數愈多時，利用相似度的概念與不規則之聚類範

４４

圍，可以避免雜訊的影響，準確性會較高(與利用數學方程式明確定義出聚 類範圍作比較 )。

圖 3.8 膚色相似度模型(Matlab 模擬)

3-2-3 檢測膚色之準則 檢測膚色之準則如下：

1. 將輸入影像切割 N 個子區域。

32 32 ×

= 輸入影像之大小

N (3.6)

為了減少演算法的計算量，需切割合適的子區域數量，經實驗發現

其分母為 32X32，其效果較佳。

４５

2. 在每一個子區域中計算每一像素之膚色相似程度μ

（利用膚色相似模 型） 。

3. 求出每一子區域之平均膚色相似度μ

n

ij

c

₌ ∑ ^µ

µ (3.7)

其中 n 為子區域中像素之膚色相似度大於 0 的個數。

4. 以該子區域之平均膚色相似度μ

為門檻值，求出膚色區域。

 

 >

= otherwise Cr if

Cb

Skin

, 0

) (

, ) 1 ' ,'

( µ µ

(3.8) 若像素滿足以上之關係我們可將其分類為膚色或非膚色。

圖 3.9 輸入原圖 圖 3.10 膚色檢測結果

圖 3.11 膚色檢測結果[52]

４６

由圖 3.10 檢測的結果發現，使用本文膚色檢測器可將影像的背景(非膚

色區域 )濾除相當的乾淨，圖 3.11 為使用 Douglas Chai [52]等人提出膚色檢測

之方法。