細胞神經網路構造

細胞神經網路最基本的單元是一個細胞(cell)，標準的細胞神經網 路結構是由 M 乘 N 個矩形的細胞所構成，在 i 列和 j 行位置的細胞，

定義為 C(i, j)，每個細胞只與相鄰的細胞相聯繫。鄰近的細胞能夠彼 此直接互相影響，而更多非鄰近的細胞靠傳遞間接地影響。如下圖(一) 所示：

1 2 3 j N

Mi 321

行

C(i,j)

圖(一) 細胞神經網路結構列

其中 M 乘 N 於此計畫中相當於影像之大小。下圖(二)以 4 乘 4 的細胞神經網路為例。

圖(二) 一個 4 乘 4 的細胞神經網路

然而第(i, j)個細胞的基本架構可以圖(三)來表示，其中 U 在此計 畫中代表是輸入影像(大小為 M 乘 N)，Y 是經細胞神經網路系統處理 後之輸出影像(大小亦為 M 乘 N)，x 是第(i, j)個細胞的狀態，_ij u 是輸_ij 入影像的第 i 行第 j 列的像素值，y 是輸出影像的第 i 行第 j 列的像_ij 素值，z_ij第 i 行第 j 列的外加偏壓值，“A”與“B”就是本計劃中所要設 計的模板，“A”稱為回授模板，“B”稱為輸入模板。

B ∫dt f(

‧

)

A -

xij

x&ij y_ij

uij

I

定義定義

定義定義 1.1：：：：細胞細胞細胞細胞 C(i, j) 的影響範圍的影響範圍的影響範圍 的影響範圍

用S_r(i ,j)來表示細胞 C(i, j)被影響的範圍，影響細胞 C(i, j)的範圍 必需滿足下列S_r(i ,j)的定義

{

}

^, ¹ ^;¹ ^}

max ) , ( { ) ,

(i j C k l k i l j r k M l N

S_r = − − ≤ ≤ ≤ ≤ ≤ (1.1) 其中 r 為一個正整數，稱為影響半徑。當影響半徑 r=1，r=2

，

和 r=3 的時候，C(i, j)所影響範圍就如圖(四)所示。

(a) r = 1 (b) r = 2 (c) r = 3

圖(四) C(i, j)相鄰的細胞

定義定義

定義定義 1.2：：：：輸出方程輸出方程輸出方程輸出方程

輸出 yij 對於狀態 xij 為一個無記憶性的線性飽和函數：

) 1 1

2( ) 1

( = + − −

= _ij _ij _ij

ij f x x x

y (1.2) 在圖(五)描述的即為線性飽和特性。

圖(五) 標準線性飽和特性輸出

根據細胞神經網路的定義和在圖(三)中一個細胞的系統區塊圖，

可得每一個細胞 C(i, j)的動態行為表示如下

( , ) ( , ) ( , ) ( , )

( , ; , ) ( , ; , )

r r

ij ij kl kl ij

C k l S i j C k l S i j

x x A i j k l y B i j k l u z

∈ ∈

= − +

∑

& (1.3)

其中 x_ij ∈ R，y_kl ∈R，u_kl∈R 和 zij∈R 分別稱為狀態、輸出、輸 入和細胞 C(i, j)的外加偏壓値。A(i,j;k,l) 和 B(i,j;k,l) 稱為回授和輸入 突觸運算子（synaptic operator）。

1.2 空間不變空間不變空間不變細胞神經網路空間不變細胞神經網路細胞神經網路細胞神經網路

突觸運算符號 A(i,j;k,l)、B(i,j;k,l) 和偏壓値^z_ij若是不隨著中心細 胞 C(i, j)位置改變而有所變化，則此細胞神經網路可以稱其為空間不 變細胞神經網路。在這定理，空間不變細胞神經網路被用來消除影像之雜訊。在下列的主題，我們考慮空間不變細胞神經網路在影響半徑

r 時的影響，將(1.3)式中的兩個突觸運算子和偏壓値描述如下

(1) 回授突觸運算子符號 A(i,j;k,l)

根據以上的描述，空間不變細胞神經網路的每一個細胞 C(i, j)之 動態行為可表示為下式

ij ij ij ij

x& = −x +A⊗Y +B⊗U +z (1.7)

1.3 向量微分方程向量微分方程向量微分方程向量微分方程

為了方便利用此一空間不變細胞神經網路系統來解決影像問題，所有定理和數字表示方式將以向量形式來加以公式化。我們必須重新整理細胞神經網路的動態方程為 MN 乘 1 之向量。有三種典型方法來定義變數:

(1) 列方向排列結構 (2) 對角線排列結構 (3) 行方向排列結構

這些排列結構分別展示在圖(六)(a)、(b)和(c)中。

(a) 列方向 (b) 對角線 (c) 行方向圖(六) 細胞神經網路三種可能之排列結構

以列方向排列結構，一個細胞神經網路的動態行為能夠表示於 (1.8)式，將(1.2)式重新表示為(1.9)式



Part II：：：粒子群最佳演算法基礎概念：粒子群最佳演算法基礎概念粒子群最佳演算法基礎概念粒子群最佳演算法基礎概念

自從 90 年代開始，藉由模擬自然界生物的群體行為，進而發展為最佳化演算法的研究成為一種主流。主要由於自然界生物群體行為，其覓食模式或演化方式的精神極為類似於最佳化過程的訴求。而模擬的對象經由模組化後，往往都能有效的運用於最佳化問題並發展成完善的最佳化方法。而粒子群最佳化(particle swarm optimization, PSO)為進化計算(evolutionary computation)方法的一種，於 1995 年時，由 Russell Eberhart 與 James Kennedy [13] 所提出。

2.1 最佳化更新公式最佳化更新公式最佳化更新公式最佳化更新公式

PSO 演算法初始時，族群中的每個粒子，於搜尋空間中隨機產生且個別代表目標函數的一個隨機解，然後以世代搜尋目標函數最佳解。在每一次世代演化過程中，粒子藉由追蹤兩個最佳值，不斷更新自己的速度與各個空間中所處位置。第一個最佳值就是粒子個體所擁 有的個體最佳適應值稱為 pbest，另一個最佳值則是目前所有群體中 最佳適應值和最佳位置，稱之為群體最佳值 gbest。

當獲得 pbest 與 gbest 這兩個最佳值後，粒子將根據目前在設計 空間所處的位置

x

_id( )

t

，t 為目前的世代數；並遵循 Eberhart 與 Kennedy 最初所提出的速度更新法則式(2.1)與式(2.2)，更新粒子前進的速度

v

_id( )

t

，並獲得其在設計空間中的新位置x_id(t+1) [14]。

1 2

( 1) ( ) () ( ( )) () ( ( ))

id id id id gd id

v t+ =v t +c ×rand × p −x t +c ×rand × p −x t (2.1)

( 1) ( ) ( )

id id id

x t + = x t + v t × ∆ t

(2.2)

其中 i =1,2,...,n；n 為族群數目，d 表示粒子所處的維度，t

=1,2,...,k；k 代表最大世代數(maximum generation)；c1及 c2為等加速度常數(acceleration constant)，又稱作認知參數(cognitive parameter) 或群居參數(social parameter)，c1及 c2通常為相等值，一般介於 0 到 4 之間，但沒有硬性規定，可由設計者針對應用目的並調整為適合之大 小； pid為粒子個體最佳值於維度 d 所處的位置；pgd為族群總體最佳 值於維度 d 所處的位置；rand()表示均勻分佈於[0,1]之間獨立的隨機 變數，隨機變數的作用，主要是做為各個粒子朝 gbest 與 pbest 前進 速度的權重，使粒子位置的更新(update position)能更具多樣性；∆t 為 時間差，一般設定時間差為 1，因此式(2.2)可將∆t 省略改寫成式(2.3)。

( 1) ( ) ( )

id id id

x t + = x t + v t

(2.3) 由式(2.1)，我們可以計算出此次更新的速度向量，再利用式(2.3) 更新粒子的位置朝 gbest 附近移動搜尋最佳值，如圖所示。

圖(七) 粒子位置更新方式

2.2 演算法運算流程與流程圖演算法運算流程與流程圖演算法運算流程與流程圖演算法運算流程與流程圖

執行 PSO 演算法時，根據以下步驟進行：

1. 初始化：於 d 維設計空間中隨機產生 n 個粒子，由這些粒 子所構成的群體稱為族群(population)，每個粒子的位置

id( )

x t ，均是設計空間中的一個隨機解。

2. 計算粒子 i 於 d 維空間中的目標函數適應值(fitness of particle, fi )。

3. 判斷是否符合所要求的條件，如果為是的話，則找到其總 體最佳函數適應值 fg 與總體最佳設計值 gbest，即為演算法 執行最佳化的結果，反之，則進行下一步驟。

4. 進行計算 Pid、Pgd。

5. 更新速度與位置：每個粒子根據式(2.1)進行速度更新獲得

id( )

v t 後，再由式 (2.3) 進行位置更新而得粒子新的位置 ( 1)

xid t+ 。

6. 重回步驟 2 進行，直到找到小於或等於所要求的目標函數適應值誤差 (required error of the best fitness, f_error^req ) 或最大 世代數 (the maximum generation, jmax) 到達時，則停止運 算，演算法輸出總體最佳函數適應值 fg 與總體最佳設計值 gbest，即為演算法執行最佳化的結果。

下圖為其演算法流程圖：

初始化

*產生隨機的位置

*產生隨機的速度

計算細胞神經網路之目標函數 (F)

開始

是否符合條件

If F(x_i) < F(pbest_i) then pbest_i= x_i

更新每個粒子的速度向量

否

更新每個粒子的速度向量求得最佳解

結束

產升下一代的粒子群

是

If F(x_i) < F(gbest) then gbest = x_i

圖(八) PSO 演算法流程圖

2.3 慣性慣性慣性慣性權重式粒子群最佳化權重式粒子群最佳化權重式粒子群最佳化權重式粒子群最佳化

現今所有隨機最佳化方法，都面臨到相同問題，初始狀態(Initial state)會影響演算法效率。而原始 PSO 亦面臨到同樣的問題，慣性權重式粒子群最佳化(particles swarm optimization with inertia weighted, PSO-IW) 便是針對 PSO 此項缺失進行改良，藉由慣性權重因子的加入，提升族群初始時全域搜索及末期時局部搜尋的能力。

PSO-IW 演算法於 1998 年，首次由 Y. Shi 與 R. Eberhart [15]所提出，其執行流程沿用 PSO 原始版本，與原始 PSO 不同之處在於速度更新公式上，PSO-IW 於式(3.1)中，將

v t

_id

( )

乘上慣性權重因子

( )

w t ，如下式所示：

1 2

( 1) ( ) ( ) () ( ( )) () ( ( ))

id id id id gd id

v t+ =w t ×v t + ×c rand × p −x t +c ×rand × p −x t (2.4) 此法僅在速度更新準則上將式(2.1)改用式(2.4)，而粒子位置更新仍沿用式(2.3)。此慣性權重因子 ( )w t 最初採用等值參數設定[13, 15]；

由式(2.4)可知其在粒子速度更新時，粒子上一世代之速度於每世代均佔有一等值的權重，而後面兩項隨機變量，則決定粒子前進速度方向與大小。在這慣性項中我們很快發現到， ( )w t 扮演了平衡全域搜尋與局部搜尋相互制衡的角色；當

w t ( )

取較大值時，則粒子上一世代之速度權重提高，初始階段演算法或許能由於粒子移動量大，而快速收歛至最佳解區域，但搜尋精準度欠佳；反之，

w t ( )

取較小值時，族群提高局部搜尋能力，需較長時間方能達到最佳解區域，但搜尋精度較高。於是

w t ( )

的選擇在此法中，扮演著決定演算法效率指標相當重要的參數。

隨後於 1999 年，Y. Shi 與 R. Eberhart 提出將

w t ( )

修正量呈線性變化，隨著世代數增加而線性遞減

w t ( )

值，改善了等值

w t ( )

參數設定上的模糊定義。也由於

w t ( )

參數隨著世代數呈線性遞減的關係，使 PSO-IW 於初始期時族群中的粒子能有較大範圍的搜尋，且不會因採用等值慣性權重，而容易越過了最佳解區域；並於後期階段，慣性權重項對粒子速度的影響減少，故粒子能在已搜尋到的最佳區域內，進行小範圍的局部搜尋，提高最佳解的精度。

Part III：：：：影像雜訊消除架構與設計影像雜訊消除架構與設計影像雜訊消除架構與設計影像雜訊消除架構與設計

3.1 系統敘述系統敘述系統敘述系統敘述

在本計劃中，因為彩色影像為光的三原色(RGB)所組合而成的，

也就是分別為紅(red)、綠(green)、藍(blue)。其個別元素在影像處理上，就如同灰階影像一般，所以我們在第二年中，將針對影像的分離及合成，再搭配我們第一年所得到的成果。

以下為本系統的架構圖：

圖(九) 系統架構圖

因為我們經過影像分離及合成，但不知道在處理過程中影像是否被破壞，所以我們將要證明影像在分離及合成是沒有被破壞的，以下是我們利用 MATLAB 軟體進行模擬及判斷：

圖(十) 影像分離及合成圖

由圖(十)我們可以用肉眼看出影像經過分離及合成過程中，並沒有遭受到破壞，但這樣還是不足以證明它的準確性，因為每個人的眼光並不盡相同，所以我們下面將使用一套較客觀的判斷準則－峰值信號雜訊比(Peak Signal to Noise Ratio, PSNR)：

MSE dB log

10 PSNR

2 10

=

λ (4.2)

∑∑

= =

−

=

i m

m

₁ ₁ ij

( )

MSE 1

α β (4.3)

因為我們輸入的圖片為灰階，所以這裡λ為 255，αij 表示輸入 影像在(i, j)位置的像素值，βij 表示經過處理過的影像在(i, j)位置的 像素值，m 為輸入影像的最大尺寸(這裡為 128)。其 PSNR 值為越大，

影像的品質越好，反之，則越差。以下為程式所模擬出的結果：

圖(十一) PSNR 之程式模擬圖

由圖(十一)我們可以看到整體及個別元素的 PSNR 都為無限大，這也更能證明影像經過分離及合成過程中，並沒有遭受到破壞。

由上述可知，影像經過分離及合成過程中，並沒有遭受到破壞。

以下我們主要是利用一組給定的訓練樣本，然後搭配粒子群最佳演算法求出細胞神經網路中類比細胞神經網路的模板“A”、“B”、“D”和

“z”。其中此組訓練樣本是由一張受到雜訊干擾的影像以及其對應的理想未受雜訊干擾的影像所構成(也就是所訓練出的模板必定會使得

此受雜訊干擾影像經過細胞神經網路處理後會得到與其對應的理想未受雜訊干擾的影像)。我們藉由此組給定的訓練樣本訓練出能夠消除雜訊的模板其架構如下圖所示：

在圖(十二)中，我們主要是利用灰階的圖像作為訓練樣本（如圖(十三) 所示）並訓練出模板，用來消除其受到雜訊干擾的圖像。

在文檔中細胞神經網路與粒子群最佳演算法應用於影像雜訊消除之消除(II) (頁 9-0)

‧

I

{

}

，

∑

∑

1.2 空間不變 空間不變 空間不變細胞神經網路 空間不變 細胞神經網路 細胞神經網路 細胞神經網路

1.3 向量微分方程 向量微分方程 向量微分方程 向量微分方程

Part II： ： ：粒子群最佳演算法基礎概念 ： 粒子群最佳演算法基礎概念 粒子群最佳演算法基礎概念 粒子群最佳演算法基礎概念

2.1 最佳化更新公式 最佳化更新公式 最佳化更新公式 最佳化更新公式

x

t

v

t

( 1) ( ) ( )

x t + = x t + v t × ∆ t

( 1) ( ) ( )

x t + = x t + v t

2.2 演算法運算流程與流程圖 演算法運算流程與流程圖 演算法運算流程與流程圖 演算法運算流程與流程圖

2.3 慣性 慣性 慣性 慣性權重式粒子群最佳化 權重式粒子群最佳化 權重式粒子群最佳化 權重式粒子群最佳化

v t

( )

w t ( )

w t ( )

w t ( )

w t ( )

w t ( )

w t ( )

w t ( )

Part III： ： ： ：影像雜訊消除架構與設計 影像雜訊消除架構與設計 影像雜訊消除架構與設計 影像雜訊消除架構與設計

3.1 系統敘述 系統敘述 系統敘述 系統敘述

MSE dB log

10 PSNR

=

∑∑

−

=

m

( )

MSE 1

1.2 空間不變空間不變空間不變細胞神經網路空間不變細胞神經網路細胞神經網路細胞神經網路

1.3 向量微分方程向量微分方程向量微分方程向量微分方程

Part II：：：粒子群最佳演算法基礎概念：粒子群最佳演算法基礎概念粒子群最佳演算法基礎概念粒子群最佳演算法基礎概念

2.1 最佳化更新公式最佳化更新公式最佳化更新公式最佳化更新公式

2.2 演算法運算流程與流程圖演算法運算流程與流程圖演算法運算流程與流程圖演算法運算流程與流程圖

2.3 慣性慣性慣性慣性權重式粒子群最佳化權重式粒子群最佳化權重式粒子群最佳化權重式粒子群最佳化

Part III：：：：影像雜訊消除架構與設計影像雜訊消除架構與設計影像雜訊消除架構與設計影像雜訊消除架構與設計

3.1 系統敘述系統敘述系統敘述系統敘述