基於演算化式計算的分散式最佳化模糊聚類演算法之研究(I)

基於演化式計算的分散式最佳化模糊聚類演算法之研究(一)

A Study on the Distributed Optimization Approach to Fuzzy Clustering Algorithms Based on Evolutionary Computing (I)

計畫編號：NSC89-2213-E011-107

執行期限：89年8月1日至90年7月31日止

主持人：范欽雄 國立台灣科技大學電機工程系 副教授 共同主持人：邱舉明 國立台灣科技大學電機工程系 教授

計畫參與人員：韋至修 國立台灣科技大學電機工程系 博士班研究生

一、中文摘要

模糊c種平均值聚類(fuzzy c-means clustering)是廣 泛被使用的非監督式演算法，其主要的缺點是無法確 保找到全域性的最佳值(global optimum)。已經有許多 研究者針對這個缺點提出改進的方法，其中將演化式 計算(evolutionary computing)與模糊聚類演算法結合，

是重要的解決方法之一。但是這些現有的方法也有先 天上的缺陷，例如：搜尋區域(search space)過大與搜尋 參數精確度不夠的問題。有鑑於此，我們提出基於演 化式計算的分散式最佳化模糊聚類演算法，它可有效 地切割搜尋區域，因而降低演化的計算量。相較於以 前的方法，我們的方法能快速且正確地收斂。傳統上，

此類方法都是以聚類中心(cluster center)當作搜尋參 數 ， 而 另 外 一 個 參 數 選 擇 是 歸 屬 度 (membership grade)，由於此參數的總數是c×n個，通常會遠大於 聚類中心的參數個數c×p個，導致傳統的方法無法以 歸屬度當作搜尋參數。但是，如果應用我們所提出的 切割搜尋區域的方法，不論是選擇聚類中心或歸屬 度，都是可行而且有效，雖然各有優缺點。本報告分 別探討這兩種搜尋參數的選擇時機，並且詳述基於演 化式計算的分散式最佳化模糊聚類演算法，以搜尋全 域性的最佳值。

關鍵詞：演化式計算、模糊聚類、分散式最佳化方法、

關鍵詞：全域性最佳值、聚類中心、歸屬度。

Abstract

Fuzzy c-means clustering, though a widely used unsupervised clustering algorithm, cannot ensure the global optimum. One of the important techniques proposed to surmount this deficiency is the combination of evolutionary algorithms with fuzzy clustering.

However, some problems have also arisen in the incorporation of evolutionary algorithms; for example, the search space is too large, and the search parameters may not be sufficiently accurate. Based on evolutionary computing, our study develops a distributed optimization

approach to fuzzy clustering in order to effectively divide the huge search space into many smaller ones. Compared to the previous methods, our fuzzy clustering algorithm can converge expeditiously and correctly. Conventionally, the only choice for search parameters is c× cluster p centers, as the other choice of c× membership grades n is usually aborted owing to the enormously large amount of evolutionary computing. In our approach, either c× p cluster centers or c× membership grades are feasible n and efficient, but both choices have their own merits and defects. In this report, we will discuss the best condition for selecting search parameters and elaborate the distributed optimization approach using evolutionary algorithms to find the global optimum of the fuzzy clustering.

Keywords:1evolutionary computing, fuzzy clustering, distributed optimization approach, global optimum, cluster center, membership grade.

二、計畫緣由與目的

傳統的聚類演算法把資料點指定給某一個聚類，

但是某個資料點究竟屬於那一個聚類，經常是不明確 的。因為資料點是落在很多聚類之間，如果使用傳統 的聚類演算法，這些資料點的不明確本性將被迫喪 失，鑑於這個缺點，模糊聚類演算法的研究因應而生。

這種聚類演算法可將資料點天生的不明確性引入最終 的分類結果，也就是應用模糊集合理論(fuzzy set theory) 來描述資料點不明確的分類結果。首開此類研究的先 驅是Ruspini [1]，接著Bezdek [2]將之發揚光大，提出 著名的fuzzy c-means聚類演算法，它是以各個資料點到 所 有 聚 類 中 心 的 距 離 平 方 之 總 和 當 作 目 標 函 數 (objective function)。隨後，有很多研究者在不同的應 用情況下提出不同的距離公式；比較有名的是fuzzy c-shells [3,4]，這個演算法可對環狀型態的資料進行聚 類分析，其距離公式不是資料點到聚類中心，而是資 料點到聚類中心再減去半徑。

近來的模糊聚類演算法都是以fuzzy c-means為基 礎，這種聚類演算法的主要缺點在於最佳化的過程中 有時會落入區域性最佳值(local optimum)；而用來改善 這 個 缺 點 的 技 巧 有 模 擬 退 火 法 (simulated annealing) [5,6]與進化演算法(evolutionary algorithm) [7-9]。本報 告所要探討的是應用進化演算法搜尋全域性的最佳 值。採用此演算法時，搜尋參數的選取是遭遇到的第 一個問題。就目前已有的方法而言，聚類中心可說是 唯一的選擇，因為此參數共有c×p個，如果選擇歸屬 度，則參數將會有c×n個，其中c是聚類個數，p是資 料 點 的 維 度 數 ， 或 稱 為 資 料 點 被 量 測 的 特 徵 數 (feature)，而n是資料點的個數，通常c×n會遠大於

p

c× 。試想一個含有100個資料點且被分為3個聚類的 資料組，如果採用普通的二進位編碼且每個變數需用8 個 位 元 ， 則 搜 尋 空 間 的 大 小 將 會 成 為

400 , 2 8 100

3 2

2 ^{× ×} = ；在這麼巨大的搜尋空間裡，別說是 全域性最佳值，就連區域性最佳值也不容易找到。

雖然選取聚類中心當作搜尋參數會改善搜尋空間 太大的問題，但仍存有很大的缺點。例如，常被用來 測試分類結果的基準指標(bench mark)的菖蒲花資料組 (iris data set)共有3類，且每一個點有4個特徵被量測，

如 果 同 樣 用 8 位 元 編 碼 ， 則 搜 尋 空 間 將 變 為

96 8 4

3 2

2 ^{× ×} = ；除此之外，還有一個隱藏的問題，即資 料點的分佈區域可能太廣。例如：某個特徵的分佈是 介於[0, 100]，在此情況下，8位元的編碼只能讓參數的 精確度為100/2⁸≅0.390625，這個精確度根本無法讓我 們找到全域性的最佳值，所以，至少也要用16位元編 碼，依此，搜尋空間成為2^3×4×16 =2¹⁹²，它的大小比前 者更是可觀。

本報告針對搜尋空間巨大造成尋找全域性最佳值 困難的缺點，提出一個切割搜尋空間的方法，使原本 龐大的搜尋空間變小。就參數的選取而言，不論是聚 類中心或歸屬度，每個小搜尋空間的參數都只有c個，

同樣以8位元編碼，其整體的搜尋空間大小分別為：選 擇 聚 類 中 心 時 是 p×2^c×8 ， 而 選 擇 歸 屬 度 時 是

2 ^×8

× ^c

n 。乍看之下似乎p×2^c×8比n×2^c×8更勝一 籌，然而因為有上述的編碼精確度的問題，這兩種選 擇也就各有其優缺點與應用的時機。

已經有論文[10]指出傳統使用進化演算法於模糊 聚類上的缺失，即資料點的分佈形狀對分類結果的影 響很大，特別是空心的形狀分佈。例如：呈現環狀分 佈的資料點經常無法收斂出我們想要的結果。這個觀 察與我們的認知是一致的，但是該論文卻沒有指出原 因，在此我們將討論其根本的癥結。一個實心的普通 形狀，例如有名的蝴蝶狀資料組(butterfly data set)，其 收斂盆地(basin)非常大，進化演算法很容易藉由複製 (reproduction) 、 交 配 (crossover) 與突變 (mutation)的方 式，隨便找出在收斂盆地內的一點，然後逐漸收斂。

至於空心的環狀分佈，其收斂盆地相對於其巨大的搜 尋空間的比例很微小，因此要找出落在收斂盆地內的

任一點，都有其困難性，即使找到收斂盆地中的一點，

也無法保證往後的演化世代裡能有更佳的值出現；解 決這個問題的唯一方法是減少搜尋空間的大小，以改 善收斂盆地相對於搜尋空間的比例。

三、研究方法及成果

模糊c個分割(fuzzy c-partition)的定義如下所述：

{^{x x x}_n}

X = ₁, ₂,..., 是 一 個 有 限 的 集 合 (finite set)，Mcn是所有維度為c×n的實數矩陣所形成的集 合 ， 而 ^c∈{2,3,...,ⁿ}是 一 個 整 數 ， 我 們 稱 矩 陣

[ ]uik Mcn

U~ = _, ∈

為一個 fuzzy c-partition，如果它滿足 下面三個條件[10]：

1) u_i,_k∈[ ]^{0,1, 1}≤i≤ c 且¹≤ k≤ n^; 2) 1, 1 ;

1u, k n

c

i∑ ik = ≤ ≤

=

3) 0 , 1 .

1u, n i c

c

k∑ ik < ≤ ≤

< =

假設x_k是具有p維的資料集合(data set)X的任一 點，而v_i =(v_i,1,v_i,2,..., v_i,p)∈R^p,i=1,2,..., c，用 來表示一個聚類的中心，且 m>1 表示最終分類結果的 模糊程度，則fuzzy c-means所要解決的最佳化問題可描 述如下：

, )

( )

~; (

²

1 1 , k i

c i

n k

m k i

mUV u x v

Z

Minimize =∑ ∑ −

= =

c i

u x u

v ⁿ

k m k i n

k

k m k i

i ( ) ( ) , 1,2,...,

1 , 1

, =

=∑ ∑

=

=

此處 ,

其中 1 1 ,

1

1 1

2 1

1

, 2 ∑

=

− −

















 −













= − ^c

j

m

j k m

i k k

i x v x v

u

。

且k n

c

i =1,2,..., =1,2,...,

依照上面的公式，v_i可解釋為所有點x_k乘以擁有 m次方歸屬度的加權平均值，如果一個點x_k在某個聚 類的歸屬度較大，則該點對所屬的聚類中心v_i必然有 較大的影響力。

Fuzzy c-means聚類演算法之主要步驟如下：

步驟1：選擇c∈{2,3,...,n}與m∈(1,∞)，並設定 Mfc

U~⁽⁰⁾∈ 的初始值，以及疊代指標(iterative index) s=0。

步驟2：用U~⁽s⁾代入式(2)以計算v_i^(s)_。

步驟3：若x_k ≠v_i^(s)則用v_i^(s)_{代入式(3)以計算} ~⁽_s+¹⁾

U ^；

否則設

=   

≠

= i j

i j

k

uj

若 若 0

1

, 。

步驟4：計算∆= U~⁽s⁺¹⁾ −U~⁽s⁾ ，若∆>ε^{則將疊代指} 標加1，即s=s+1，然後回到步驟2；否則結束 演算法。

(1) (2)

(3)

演化式計算基本上是一種模仿生物基因自然演化 的搜尋演算法；在每一個世代中，其組成個體係經由 複製、交配與突變三種方式來產生下一代，它並不是 一種純粹隨機化的搜尋，而是檢視過去的歷史資料，

以鎖定最有利的搜尋位置，期使每一世代的表現能愈 來愈好。

3.1 搜尋空間的切割

在討論搜尋空間的切割之前，我們必須對fuzzy c-partition演算法做一些說明。此演算法係針對一個具 有多個參數的目標函數(目前最常用的是採取式(1))做 最 佳 化 ， 但 是 此 函 數 一 般 無 法 直 接 求 出 解 析 解 (analytical solution)，而是採用疊代(iteration)的方式逐 步求出最佳解。就fuzzy c-partition而言，所謂疊代的方 式就是先鎖定U~，即以歸屬度作為定值，然後求得最 佳的聚類中心v_i，接著鎖定v_i^{，即以聚類中心作為定} 值，再求得最佳的歸屬度；如此反覆不斷地進行，直 到目標函數的值收斂為止，此即上述fuzzy c-means聚類 演算法的步驟2到步驟4。

目前把演化式計算應用到fuzzy c-partition的研究 論文，皆選定聚類中心當作編碼參數，也就是用演化 式計算取代前述步驟2中求取聚類中心的式(2)，其餘的 步驟則維持不變。因此，用以編碼的參數一共有c×p 個；但就實際的運算而言，這樣的編碼參數還是太多，

會讓組合成的染色體長度太長，導致搜尋空間變得十 分巨大。所以，對收斂盆地較小且形狀特殊的聚類而 言，欲找出全域性甚至是區域性的最佳值，都有相當 大的困難。以下我們提出切割搜尋空間的概念，用來 解決搜尋空間過於龐大的問題。

3.1.1 選擇聚類中心為搜尋參數

在步驟2應用演化式計算時，係將歸屬度U~_當作定 值 ， 由 於 資 料 的 各 個 維 度 彼 此 都 呈 現 正 交 (orthogonal) ， 因 此v_i,1,v_i,2,...,v_i,p之 間 沒 有 互 關 性 (correlation)的存在，亦即每個v_i,l僅由x_k,l, k=1,2,...,n

所決定。據此，將式(1)中的聚類中心的向量表示法改

為純量表示法，同時定義 ~; )

( )

(V Z U V

g_m = _m ，則原

來的最佳化問題變成：

{ }







 −

=

∑∑∑

= = = c i

n k

p

l m kl il

k i

mV Min u x v

g Min

1 1 1

2 , ,

, ) ( )

( )

( ¹¹¹

) 。 (

) (

1 1 1

2 , ,

∑ ∑ ∑ ,

= = = 



 











 −

= ^p

l

c i

n

k m kl il

k

i x v

u Min

設 



 −

=

∑∑

= = c i

n

k m kl il

k i l

mlv Min u x v

g

1 1

2 , ,

, ) ( )

( )

( ，則式(4)可以表

示成：Min{g V } Min{g_ml v_l }。

p l

m( ) ( )

∑1

=

=

觀察式(4)，可知式(1)所描述的目標函數，係利用

fuzzy c-partition 演算法的疊代特性，將整個搜尋空間 切割成 p 個搜尋空間較小的目標函數。若我們採用b 個位元來編碼，則切割後的搜尋空間將變為原來的

b - p c b

p c b

c / p

p⋅2 ^× 2 ^{× ×} = /2 ^{×( 1)×} 倍，這對搜尋空間而言是 非常巨大的縮減，如此將可增加搜尋到全域性最佳值 的機率。

3.1.2 選擇歸屬度為搜尋參數

在步驟3應用演化式計算時有兩個重點。第一個重 點是引入歸屬度的限制條件： ^c u k n

i ik = ≤ ≤

∑=

1 , 1

1

, 。欲

解決限制條件下的最佳化問題，通常是使用拉氏乘數 (Lagrange multiplier)的處理方式。在推導式(3)的過程 中，fuzzy c-means聚類演算法也是採用拉式乘數的方 法 。 另 一 個 重 點 是 將 聚 類 中 心

Rcp

v v v

V

= (

₁

,

₂

, ...,

_c

) ∈

當 作 定 值 ； 針 對 這 兩 個 重 點，我們先描述一些定義。

定義1. 模糊c個分割空間(fuzzy c-partition space)：設X 是 任 何 一 個 有 限 的 集 合 ， 對於所有維度為

n

c× 的實數矩陣所形成的集合M_cn^，其中

{ n}

c∈ 2,3,..., ^{是一個整數，則}X的模糊c個 分割空間 M_fc^{定義如下：}

 [ ]

 ∈ ∈ ∀ = ∀

= ∑

= c i

k i k

i cn

fc U M |u i k u k

M

1 ,

, 0,1 , ; 1 ;

~

。



∀

<

<∑

= n k

k

i n i

u

1

0 ,

定 義 2. 退 化 的 模 糊c個 分 割 空 間 (degenerate fuzzy c-partition space)：如果我們放寬M_fc^的限制 條件，允許存有u_i,k都為0，或都為1的列，亦

即

∑

=

∀

≤

≤ ⁿ

k k

i n i

u

1

0 , ，則退化的模糊c個分

割空間 M_fc0定義如下：

[ ]0,1 , ; 1 ;

~

1 , ,

0= ∈ ∈ ∀ ∑ = ∀

= c i

k i k

i cn

fc U M |u i k u k

M

。



∀

≤

≤ ∑

= n k

k

i n i

u

1

0 ,

定義3. 為了方便後續的表達，我們用u_{k表示組成U}^~

的行(column)，而M_c1^{是所有維度為}c×1的實 數矩陣所形成的集合，則退化的模糊c個分割 空間的行所構成的集合M_fcB定義如下：







∀ 

∑ =

∀

∈

∈

=

=u k。

i u

M u

M ^c

i ik k

i c k fcB

1 , ,

1| [0,1] ; 1 我們接著敘述，選定歸屬度為搜尋參數時切割搜 尋空間的方式。注意：在步驟3求最佳歸屬度時，形成 聚類中心的向量V =(v₁,v₂,...,v_c)∈R^{cp是固定不變} (4)

(5)

的。所以，我們定義^gm

( )

^U~ = ^Zm

( )

^U~;^V ，同時我們放 鬆U~_{的限制，使得}

0

~ Mfc

U ∈ ^且其中的uk∈MfcB，亦 即構成它的所有行彼此都是獨立的，因此，

{ }







 ∑ ∑ −

=

∈ = =

∈

n k

c

i m k i

k M i

m U M

UMin g U Min u x v

fc

fc 1 1

2

~ ,

~ ~) ( )

(

0 0

( ) 。

1 1

2

∑ ∑ ,

= ∈ = 



 











 −

= ⁿ

k

c

i m k i

k M i

uMin u x v

fcB k

1 1(6)

設 ∑( )

=

−

= ^c

i k i

m k i k

mk u u x v

g

1

2

) ,

( ， 則 式 (6)可以表示

成：

{ }

∑ { ( )}^。

= ∈

∈ = ⁿ

k

k M mk m u

M

UMin g U Min g u

fcB k

fc 1

~ ~)

(

0 (7)

經由以上的推導，原本的目標函數^gm( )^U

~ 亦可使

用疊代的特性，切割成n個搜尋空間較小的目標函數。

如果我們也採用b個位元來編碼，則切割後的搜尋空間 將變為原來的n⋅2^c×b/2^c×n×b =n/2^{c×(n−1)×b}。至於歸屬 度限制條件的處理，我們也是使用拉氏乘數的方法，

將原本有限制條件的最佳化問題 : Minimize ∑

=

−

= ^c

i

i k m k i k

mku u x v

g

1

2 , )

( ) (

Subject to 1,

1

u, c

i ik

∑=

=

改成無限制條件的最佳化問題：

Minimize 1 ∑

=

−

⋅ +

= ^c

i k i k

mk k

mku g u r u

g

1 2 , 1) (

) ( )

ˆ ( _，

其中r就是拉氏乘數，它的大小必須適當；如果太大，

懲罰函數(penalty function)的影響力會超過g_mk(u_k)；太 小就沒有作用。雖然我們利用拉氏乘數的方法解決限 制條件的問題，但是u_i,k在編碼時必須離散化，而且 演化式計算的演化是機率性的問題。因此，我們只能 說一個近似的全域性最佳值可能會出現，而不能說一 個全域性最佳值可能會出現；這些都是造成演化最終 的u_i,k

,

k=1,2,...,n無法完全滿足限制條件∑

= c =

i k

ui 1

, 1

的原因，即u_i,k的和只能近似於1。如此，所獲得的最 佳值會有一個小誤差存在，這是選u_i,k當作搜尋參數 的缺點。

3.2 搜尋參數的編碼

搜 尋 參 數 的 編 碼 通 常 是 用 簡 單 的 二 進 位 編 碼 (binary coding)。選擇歸屬度當搜尋參數時，由於它的 大小是落在[0,1]的範圍內，若採用b個位元的編碼，

則它與十進位數值的對應關係如表一所示。對目標函 數gˆ_mk(u_k)而言，我們將經過二進位編碼的搜尋參數

k c k

k u u

u_1,

,

_2,

, ...,

_, 連成總長度為h=b×c^的字串。

表一 u_i,k的b位元二進位字串與對應的十進位數值

二進位字串 對應的十進位數值

000…00 0

000…01 1 (2^b −1) 000…10 2 (2^b −1)

M

M

111…10 (2^b−2) (2^b−1)

111…11 1

若選擇聚類中心為搜尋參數時，其編碼的方式與 上述類似，唯一不同的是針對目標函數g_ml(v_l)求最佳 值。於此，我們必須先找出聚類資料第l個特徵(feature) 的最大與最小值，然後再對此範圍進行編碼。萬一某 個特徵的分佈範圍很大，就會提高編碼的困難度。為 了精確度的問題，我們勢必增加編碼的位元數，但這 樣做會使得搜尋空間變大。因此，兩種搜尋參數的選 擇各有優缺點。一般而言，如果資料特徵的分佈範圍 不大，則選擇聚類中心為參數較佳，因為選擇歸屬度 時會有限制條件∑

= c =

i k

ui 1

, 1的誤差問題。反之，若資 料特徵的分佈範圍很大，相形之下歸屬度僅固定落在

] 1 , 0

[ 的區間，因此可考慮選擇歸屬度當搜尋參數。

3.3 演化式計算的分散式最佳化模糊聚類演算法 我們在結合演化式計算與模糊聚類演算法時，係 利用模糊聚類演算法的疊代特性，提出切割搜尋空間 的分散式最佳化概念，其具體的演算法列述如下：

1) 選 擇c∈{2,3,...,n},m∈(1,∞), 編 碼 位 元 數 b，並設定演化人口數(population size) pop與演 化世代指標(generation index) s=0。

2) 選擇聚類中心當搜尋參數時，我們必須先找出 所有資料特徵的範圍，並在該範圍內編碼，然 後對總數為p的資料特徵建立 p 個獨立的演化 環境。對任意的第 l 個演化環境而言，每個組 成 的 染 色 體 (chromosome) 是 由

c

i

v_i⁽⁰⁾_,l , =^{1, 2, ...,} 的二進位碼所串接起來的 字串，因為v_i⁽⁰⁾_,l 沒有限制條件，所以我們可任 意產生pop個字串當作第一代的染色體，只要

(0) i,l

v 都落在其可行的範圍內。

3) 選擇歸屬度為搜尋參數時，我們固定在[0,1]的 範圍內編碼，然後對總數為n的資料點建立 n 個獨立的演化環境。對任意的第 k 個演化環境

而言，每個組成的染色體是由u_i⁽⁰⁾_,k, k=^{1,2 ,...,}n 的二進位碼所串接起來的字串，因為u_i⁽⁰⁾_,k 具有 限制條件，所以我們所產生的pop個字串都必須 滿足u_k⁽⁰⁾∈M_fcB，才可以當作第一代的染色 體。

4) 在所有獨立的p 個或 n 個演化環境裡，以複製、

交配、突變等方式，開始執行演化式計算，其 中每個演化環境都產生新的q 個字串。以u_i⁽_,^s_k⁾為 搜尋參數時，適合度函數(fitness function)是採 用gˆ_mk(u_k)﹔而以v_i⁽_,^s_l⁾為搜尋參數時，適合度 函數則為g_ml(v_l)﹔因為此最佳化問題是求最 小值，所以適合度函數的值是愈小愈好。在新 產生的q 個字串與原有 pop 個字串中，我們選

擇 pop 個保留到下一代，以作為演化的種子

(seed)，同時將演化世代指標加1，即s=s+1。

5) 每一代中適合度值最小的一個字串，將被用來 計算另外一個參數，亦即選v_i⁽_,^s_l⁾為搜尋參數 時，式(3)被用來計算 ⁽, ⁾

sk

ui ﹔ 而選 ⁽,⁾

sk

ui 為參數 時，式(2)被用來計算v_i⁽_,^s_l⁾，其中適合度值最小 的字串分別以vˆ_l^(s)與uˆ_k^(s)表示。

6) 計算∆

=

v

ˆ

_l^(s)

−

v

ˆ

_l^{(s-1) 或}∆

=

u

ˆ

_k^(s)

−

u

ˆ

_k^{(s-1) ，如果} ε

>

∆ ，就回到步驟4)，否則結束演算法。

四、結論

在原本結合演化式計算與模糊聚類演算法的方法 中，我們提出一個切割搜尋空間的分散式最佳化概 念，大大降低搜尋空間的大小。選擇聚類中心進行演 化時，搜尋空間變為原來的p/2^{c×(p−1)×b}倍﹔而選擇歸 屬度時，搜尋空間變為原來的n/2^{c×(n−1)×b}倍。由於這個 巨大的縮減，讓收斂盆地相對於搜尋空間的比例大幅 提高，因而增加全域性最佳值被搜尋到的機率，如此 可有效改進傳統方法對特殊形狀分佈的資料聚類無法 找出正確結果的缺失。

五、參考文獻

[1] E. H. Ruspini, “A new approach to clustering,”

Inform. & Control, vol. 15, pp. 22-32, 1969.

[2] J. C. Bezdek, Pattern Recognition with Fuzzy Objective Function Algorithms, New York: Plenum Press, 1981, chap. 3, pp. 65-80.

[3] R. N. Dave, “Generalized fuzzy c-shells clustering and detection of circular and elliptical boundaries,”

Pattern Recognition, vol. 25, no. 7, pp. 713-721, 1992.

[4] R. Krishnapuram, O. Nasraoui, and H. Frigui, “The fuzzy c spherical shells algorithm: a new approach,”

IEEE Trans. Neural Net., vol. 3, no. 5, pp. 663-670, 1992.

[5] K. S. Al-Sultan and S. Z. Selim, “A global algorithm for the fuzzy clustering problem,” Pattern Recognition, vol. 26, no. 9, pp. 1357-1361, 1993.

[6] S. Chitroub, A. Houacine, and B. Sansal, “Robust optimal fuzzy clustering algorithm applicable to multispectral and polarimetric synthetic aperture radar images,” in Proc. of the SPIE on Image and Signal Processing for Remote Sensing V, Florence, Italy, 1999, vol. 3871, pp. 325-336.

[7] D. E. Goldberg, Genetic Algorithms in Search, Optimization, and Machine Learning, Reading, MA:

Addison-Wesley, 1989, chap. 3, pp. 59-86.

[8] G. P. Babu and M. N. Murty, “Clustering with evolution strategies,” Pattern Recognition, vol. 27, no. 2, pp. 321-329, 1994.

[9] T. V. Le, “Evolutionary fuzzy clustering,” in Proc.

of IEEE Int. Conf. on Evolutionary Comput., Perth, Western Australia, 1995, pp. 753-758.

[10] F. Klawonn and A. Keller, “Fuzzy clustering with evolutionary algorithm,” Int. Jour. of Intelligent Systems, vol. 13, pp. 975-991, 1998.