中 華 大 學 碩 士 論 文
題目：以形狀為基礎之葉子影像檢索系統 Shape-based Leaf Image Retrieval System
系 所 別：資訊工程學系碩士班 學號姓名：M09102055 許志祥 指導教授：石 昭 玲 博士
中華民國 九十四 年 七 月
摘 要
隨著週休二日的實施，喜愛登山踏青的人也愈來愈多了，接觸野生植 物機會也增加。認識植物和蒐集葉子標本成為鄉土教學寓教於樂的一部份。
隨著數位相機的普及，葉子標本也跟著數位化。隨著數位圖書館的技術日漸 成熟，以影像內容為檢索特徵(content-based image retrieval)來搜尋相關資料
已非難事。如何從眾多雜亂的葉子影像資料庫中，找尋出相似葉形的圖檔，
是我們研究的主題。
在本論文中提出一個以形狀為基礎特徵描述子的葉形檢索系統。本檢 索系統將包含三個部分，第一個部分做葉子切割，利用色彩資訊將葉子的形 狀從影像中切割出來。第二個部分為特徵擷取，本論文提出了一個新的區域 特徵-圓形標靶特徵(dartboard feature)，並且引入了徑角轉換 (angular radial transform )及葉子輪廓的一階導數(derivative)等多個特徵來擷取每一個葉子 的形狀特徵；最後我們結合圓形標靶特徵(dartboard feature)和一階導數 (derivative)的優缺點，提出一個新的檢索比對方式，跳脫以往只比較單一輪 廓特徵 (contour feature)或區域特徵(region feature)的缺失，以提昇整體葉子 檢索系統的檢索正確率。
致 謝
這本論文的完成，首先要感謝的是我的指導教授石昭玲老師對我的諄 諄教誨、關心與指導，使得當初沒有影像處理背景知識和被動學習的我，在 經過老師多年來的教導，建立了許多多媒體相關的知識基礎，這些對於論文 的創作和日後就業是十分有幫助的，真是獲益良多。此外，還要感謝李建興 老師、韓欽銓老師、連振昌老師等人從旁的建議和指導，在此獻上我最誠摯 的感謝與敬意。最後非常感謝韓欽銓、李遠坤教授，在論文口試中提供許多 有用而且寶貴的意見。
其次要感謝的是實驗室的同學:王建棠、徐振愷、程鴻翔，還有實驗室 的學弟:林學偉、陳志豪、楊長慎、陳弘裕、張政暉、楊士賢、楊志強等人
在我修業期間給與的支持與陪伴，也要感謝在大太陽下辛苦採集葉子的專題 學弟們。
最後，謹以此文獻給我摯愛的雙親。
目 錄
摘要．．．．．．．．．．．．．．．．．．．．．．．．．1
致謝．．．．．．．．．．．．．．．．．．．．．．．．．2
目錄．．．．．．．．．．．．．．．．．．．．．．．．．3
附圖目錄．．．．．．．．．．．．．．．．．．．．．．．6
附表目錄．．．．．．．．．．．．．．．．．．．．．．．9
第一章 序論．．．．．．．．．．．．．．．．．．．．．10
1.1 動機．．．．．．．．．．．．．．．．．．．．．．10
1.2 論文架構．．．．．．．．．．．．．．．．．．．．12
第二章 相關研究．．．．．．．．．．．．．．．．．．．14
2.1 形狀表示法．．．．．．．．．．．．．．．．．．．．14 2.2 形狀特徵．．．．．．．．．．．．．．．．．．．．15 2.2.1 質心距離．．．．．．．．．．．．．．．．．．．．15 2.2.2 面積．．．．．．．．．．．．．．．．．．．．．．18 2.2.3 鍊碼．．．．．．．．．．．．．．．．．．．．．．192.3 常用於影像檢索的形狀描述子 ．．．．．．．．．．．．20 2.3.1 富立葉描述子．．．．．．．．．．．．．．．．．．20 2.3.2 極座標表示法．．．．．．．．．．．．．．．．．．21 2.3.2.1 徑角轉換．．．．．．．．．．．．．．．．．22 2.3.2.2 通用富立葉描述子．．．．．．．．．．．．．24 2.3.3 一階導數．．．．．．．．．．．．．．．．．．．．26 2.3.4 投影法．．．．．．．．．．．．．．．．．．．．27 2.3.5 曲率格化空間．．．．．．．．．．．．．．．．．．29
第三章 二維外形特徵擷取．．．．．．．．．．．．．．． 31
3.1 葉形擷取．．．．．．．．．．．．．．．．．．31 3.2 圓形標靶頻譜特徵．．．．．．．．．．．．．．．．32 3.3 整合型形狀比對法．．．．．．．．．．．．．．．．37第四章 實驗結果 ．．．．．．．．．．．．．．．．．．．40
4.1 實驗環境．．．．．．．．．．．．．．．．．．．40 4.2 縮放、旋轉、形變檢索實驗．．．．．．．．．．．．46
4.3 葉子影像檢索實驗．．．．．．．．．．．．．．．．50 4.4 葉形檢索實驗．．．．．．．．．．．．．．．．．．52
第五章 結論與未來方向．．．．．．．．．．．．．．．．60
參考文獻．．．．．．．．．．．．．．．．．．．．．．61
附圖目錄
圖1.1：利用 Google 圖片搜尋系統，關鍵字為「楓葉」的搜尋結果。．11
圖1.2：葉形檢索系統。．．．．．．．．．．．．．．．．．．．．．13
圖2.1：適用區域形狀描述法的例子。．．．．．．．．．．．．．．．15
圖2.2：利用質心距離計算外形特徵。．．．．．．．．．．．．．．．16
圖2.3：物體旋轉改變質心距離特徵之一例。．．．．．．．．．．．．17
圖2.4：質心距離特徵無法完整描述非凸邊形的物體。．．．．．．．．17 圖2.5：以三角形逼近物體的形狀的例子。 ．．．．．．．．．．．．18
圖2.6：鏈碼的例子。．．．．．．．．．．．．．．．．．．．．．．19
圖2.7：傳統笛卡爾座標和極座標示意圖。．．．．．．．．．．．．．22
圖2.8：ART 基底函數實虛部變化情形。．．．．．．．．．．．．． 24
圖2.9：物體旋轉改變頻譜相位之一例。．．．．．．．．．．．．．．24
圖2.10：r-θ座標轉換之例子。．．．．．．．．．．．．．．．．．．27
圖2.11：水平投影和垂直投影的例子。．．．．．．．．．．．．．．28
圖2.12：利用主軸分析易受到雜訊影響產生誤差的範例。．．．．．．29
圖2.13：用 CSS 影像表示物體形狀之ㄧ例。．．．．．．．．．．．．30
圖3.1：分離背景之一例。．．．．．．．．．．．．．．．．．．．．32
圖3.2：圓形標靶特徵轉換圖。．．．．．．．．．．．．．．．．．．33
圖3.3：白色扇形網格之分佈。．．．．．．．．．．．．．．．．．．34
圖3.4：葉子其 tmn分佈及其圓形標靶特徵比較。．．．．．．．．．．36
圖 3.5：圖解傳統質心特徵取樣時，外層輪廓對內部區域產生的遮蔽效
應。 ．．．．．．．．．．．．．．．．．．．．．．．．．37
圖 3.6： 使用圓形標靶特徵檢索蘋果，找到區域特徵相似但實際外形差異 很大之ㄧ例。 ．．．．．．．．．．．．．．．．．．．．．38
圖 3.7：使用 Der 特徵檢索蘋果，找到外形相似但區域性質不同之ㄧ 例。 ． ．．．．．．．．．．．．．．．．．．．．．．．39
圖3.8：結合圓形標靶和 Der 特徵檢索蘋果的例子。．．．．．．．．．39
圖4.1：Leaf 1 資料庫中類別 1 至 30 的葉子影像。 ．．．．．．．．．41 圖4.2：Leaf 1 資料庫中類別 31 至 60 的葉子影像。．．．．．．．．．42
圖4.3：Leaf 2 資料庫中類別 1 至 25 的葉子影像。 ．．．．．．．．．43 圖4.4：Leaf 2 資料庫中類別 26 至 60 的葉子影像。．．．．．．．．．44
圖4.5：Leaf 2 資料庫中類別 61 至 95 的葉子影像。．．．．．．．．．45
圖4.6：Leaf 2 資料庫中類別 96 至 99 的葉子影像。．．．．．．．．．46
圖4.7：各特徵在測試資料庫 A1 中，Recall 和 Precision 的變化關係。．48
圖4.8：各特徵在測試資料庫 A2 中，Recall 和 Precision 的變化關係。．49
圖4.9：各特徵在測試資料庫 B 中，Recall 和 Precision 的變化關係。 ．49
圖4.10：葉形相似但實際屬於不同植物之一例。．．．．．．．．．．51
圖4.11：元智大學葉子資料庫(Leaf 3)葉子之 12 大外形分類．．．．． 53
圖4.12：中華大學葉子資料庫(Leaf 4)葉子之 9 大外形分類。．．．．． 54
圖4.13：廣東油桐之 4 種完全不同的葉子形態。．．．．．．．．．．54
圖4.14：各特徵在資料庫 Leaf 3 各類別中的檢索正確率比較。．．．．56
圖4.15：各特徵在資料庫 Leaf 4 各類別中的檢索正確率比較。．．．．56
圖4.16：圓形標靶特徵和 ART 特徵在心形葉檢索上所呈現的差異．．．58
圖4.17：心形葉和近乎圓形的葉形圓形標靶特徵比較。．．．．．．．59
附表目錄
表4.1：不同 M、N 值之 Dar 特徵在 MPEG-7 資料庫 B 檢索正確率(Recall) 的表現。．．．．．．．．．．．．．．．．．．．．．．．．47
表4.2：各特徵在 MPEG-7 測試資料庫檢索正確率(Recall)的表現。．．48
表4.3：各特徵在 Leaf 1 和 Leaf 2 上面的檢索正確率(Recall)的表現。．50
表4.4：各特徵在 Leaf 3 和 Leaf 4 上面的檢索正確率(Recall)的表現。．55
第一章 序論
1.1 動機
隨著週休二日的實施，國人從事戶外登山踏青的人數眾多，接觸野生植 物機會也增加，四時落葉之美更成為常見攝影藝術題材之一。除此之外，採 集落葉標本和分辨不同葉形也成為認識植物的基本課程。隨著數位相機和網 際網路的普及，與葉子相關的圖片和網站更是多如繁星。也許有一天，你一 時興起拿著相片要找尋與圖中葉子相似的圖片，求助於諸如 Google[1] (圖 1.1)之類的檢索系統，或是透過國立自然科學博物館的植物博覽網網站[2]等
專業植物網站時，發現這些檢索引擎都是需要輸入植物名稱或點選植物學名 才可查詢，不知如何開始的你此時所能做的就是望著照片興嘆。
以內容為基礎的影像檢索系統最為著名莫過IBM 所推出 QBIC [3, 4, 5]
的檢索系統，利用圖例中色彩資訊和紋理來找尋相關圖片。甚或像 ETL 美 術博物館所用ART MUSEUM[6, 7]這款軟體，不須輸入圖片，也可以透過使 用手繪物體大致外形來檢索藝術畫作。其他如 Virage [8, 9]、MARS [10 - 14]、WebSEEK [15, 16]等影像檢索系統也如雨後春筍般的掘起。而這些影像 檢索系統的成功，足以驗證以內容為基礎(content-based)的影像檢索技術已 日漸成熟與實用。就因如此，我們認為建立一個利用圖片內容為基礎的植物
葉子影像檢索系統是可行的，也可讓對於植物方面沒有相當認知的民眾按圖 索驥得到想要的葉子圖片。
由於葉子顏色大多偏綠色，所以用色彩資訊來檢索葉子影像是不太適合 的。但是植物世界中除花、果之外，就屬葉子的形狀最為多彩多姿，型態變 化也最多種，所以我們採用葉子形狀來當作檢索特徵。在本論文中主要在探 討何種形狀描述子(shape descriptor)比較適合用來區分和檢索不同的葉形。
同時針對各形狀描述子的優缺點，本論文亦提出一個全新的形狀比對方式來 補其不足，以期達到最佳的檢索結果，近而提供使用者最正確的葉形相關圖 片資訊。
圖1.1：利用 Google 圖片搜尋系統，關鍵字為「楓葉」的搜尋結果[1]。
1.2 論文架構
本系統將包含三個部分，葉形切割(leaf segmentation)、特徵擷取(feature extraction)、葉子資料庫搜尋 (leaf model retrieval)，圖 1.2 為系統架構圖。在 特徵擷取的部份，本論文提出圓形標靶特徵(dartboard feature)，圓形標靶特 徵主要是將葉子以其質心為中心切割多個扇形區塊，葉子所佔該扇形面績之 比為新特徵。本論文除了提出新的特徵擷取方法以外，同時針對 MPEG-7 標準所定義的ART 形狀描述 Angular Radial Transformation）[17, 18, 19]、和 一 般 常 用 形 狀 檢 索 輪 廓 特 徵 (contour-based feature) 如 一 階 導 數 (derivative)[20] 、 質 心 距 離 富 立 葉 描 述 子 (centroid distance Fourier descriptors)[21, 22]、面積富立葉描述子(area Fourier descriptors) [21, 22]和極 座標富立葉描述子(generic Fourier descriptors)[23]等區域性形狀特徵做比
較。最後結合一階導數和圓形標靶特徵，使得此新特徵能兼具葉子輪廓和區 域性特徵。 所以在本篇論文的第二章，將介紹有關過去二維形狀特徵及與 葉子形狀檢索系統的相關研究，第三章將描述本篇論文所提出檢索特徵，第 四章介紹如何自圖片中分離背景，擷取葉形部份。最後第五章介紹整個實驗 環境、所用葉子資料庫並討論分析在葉形檢索的實驗結果，最後第六章為結 論與未來方向。
(a)
(b)
圖1.2：葉形檢索系統。(a)建立葉形資料庫。(b)葉形檢索系統架構。
第二章 相關研究
由於葉子為平面構造，因此本論文只針對二維的形狀描述法做深入的解 析。我們希望描述物體外形特徵時，不會因為物體在圖片中位置不同，方向 不同或是大小不同，而使表示法產生不一致的現象；因此對於穩定的形狀特 徵而言，必須具備對位移的不變性(translation invariance)、對旋轉的不變性 (rotation invariance)和大小的不變性(scale invariance)，同時對物體非剛體的 形變和外在雜訊具有強韌性。本章節第一部份簡介形狀表示法的分類。在第 二部份介紹形狀特徵，第三部份列舉幾個常用於影像檢索的形狀特徵；在第 二、三部份並引用幾個應用形狀特徵做葉形影像檢索的例子做為本論文的對 照參考。
2.1 形狀表示法分類
Dengsheng Zhang 與 Guojun Lu [24]認為形狀特徵可依描述對象的性質 大致分為兩種：1)區域性(region-based)特徵、2) 輪廓性(contour-based) 特 徵。區域性特徵是用來描述物體內部區域點的分佈，以整個區域裡的點計算 出形狀特徵；輪廓性特徵則利用邊緣上的點來表達物體的外形。一般而言，
區域性特徵常用於對輕微非剛體形變，或是物體破碎，或是邊緣資訊不完整 的情況(圖 2.1)，因為考量整體區域，故不受雜訊(salt-and-pepper noise)影響。
遇到形狀區域性質類似、非剛體形變變化大，或是在不同視角而產生物體型 態的轉換，可以用輪廓性描述法來進一步區分。
(a) (b)
(c) (d) 圖2.1：適用區域形狀描述法的例子。(a)輕微非剛體形變。(b)物體破碎
(c)(d)含多物體或是邊緣資訊不連續的圖像。
2.2 形狀特徵 (Shape signature)
2.2.1 質心距離( centroid-contour distance，CCD)
一般而言，物體外形質心(xc, yc)存在於物體中的位置不會隨著物體平移或 旋轉而改變，故其質心座標恆定。欲求質心距離必先取得外形質心的座標(xc, yc)，質心座標(xc, yc)求法如下：
( )
⎟⎟
⎟⎟
⎠
⎞
⎜⎜
⎜⎜
⎝
⎛
=
∑ ∑
=
=
N y N ,
x y
, x
N
i i N
i i c
c 0 0
,
其中N 為邊緣點總數，(xi, yi)為第 i 個邊緣點的座標；則某邊緣點(xt, yt)的質
心距離r(t) ( centroid-contour distance, CCD)計算公式如下：
( ) (
t xt xc) (
2 yt yc)
2r = − + − 。
以順時針(或逆時針)方向取 N’個等圓心角的點，這些點與質心的距離即為質 心距離特徵[21, 22, 24] (圖 2.2)。為使縮放效應不致讓同一種形狀，產生兩種
以上的描述方式，通常會以最大的質心距離為基準，正規化質心距離在0 至 1 的範圍內。CCD 曲線會因旋轉產生平移(圖 2.3)，假設取 N 個等圓心角的 邊緣點的質心距離為特徵，CCD 曲線比對須平移 N 次，取兩物體質心距離
差異最小值，使得兩曲線盡量契合。兩個形狀 q、s 質心距離特徵的差異性 Dc可表為
{
j N}
c min D ,...,D ,...,D
D = 1 ，
其中Dj表形狀q 之質心距離曲線平移 j 次和 s 質心距離曲線的差異：
( )
( ) ( )
N
i r N mod j i
D rq s
N i
j =
∑
=0 + − 。r(t)
t
(a) (b) (b)
圖 2.2：利用質心距離計算外形特徵。(a)心形葉。(b)質心和質心座標與(c)其質心 距離特徵。
R(t)
t
(a) (b) 圖2.3：物體旋轉改變質心距離特徵之一例。(a)為圖 2.2 旋轉 90°與(b)其質心距離
特徵。
一般而言，CCD 特徵對於凸邊形的描述比較完整，但是無法表達非凸邊 (Non-convex)形內凹區域的細微部分。如圖 2.4 所示，僅管彎月和熱帶魚屬
不同形狀，但CCD 無法表達熱帶魚的魚尾部份，以至於兩圖 CCD 特徵很相 近。
r(t)
t
(a) (b) r(t)
t
(c) (d) 圖2.4：質心距離特徵無法完整描述非凸邊形的物體。(a)彎月和(b)其質心距離特
徵。(c)熱帶魚和(d)其質心距離特徵。
Z.Wang 和 D. Feng 於 2002 年提出一套葉形檢索系統架構[26]，利用 CCD 特徵配合離心率(eccentricity)特徵來檢索葉子影像資料庫，並取葉子骨 架和最靠近骨架之葉尖端點模擬葉脈和葉緣之交會處做為 CCD 曲線的起始
點，來解決 CCD 旋轉和比對的問題；然而骨架容易因為雜訊產生偏移，此 方法只比對幾個葉尖端點為起點的 CCD 特徵，若所取葉尖端點並非為兩 CCD 最佳契合點，故反而可能加大比對的誤差。
2.2.2 面積(Area)
物體邊緣上的點除了可以提供質心距離的資訊，我們也可利用質心和相 鄰兩個等圓心角點 p1, p2 三點所夾之三角形面積來做為區域性特徵 A(圖 2.5)[21, 22, 24]:
1 2 2
2 1
1 x y x y
A= − ，
其中 p1 (x1, y1), p2(x2, y2)均為 p1和 p2之質心座標。如同質心距離特徵一樣，
取樣數越多，這些以順時針(或逆時針)方向排列的三角形區塊所拼湊的圖形
會越近似原圖。但面積特徵會隨物體大小旋轉產生不一致的情況，故必須透 過富立葉描述子( Area Fourier descriptor，AreaFD)來應用這些資訊。在本論 文2.3.1 節會對富立葉描述子做進一步描述。
(a) (b) 圖2.5：以三角形逼近物體的形狀的例子。(a)用三角形逼近蘋果外形。(b)利用向
量觀念求三角形面積
2.2.3 鍊碼(Chain code)
鏈碼[26]可用以表現物體之輪廓，對每相鄰二點間的線段可用其方向 的編碼來表示。方向的編碼有兩種，分為四連通(4-connectivity)和八連通 (8-connectivity)。從一起始點開始編碼，順時鐘沿物體邊緣走一圈，整個 物體的輪廓則可轉換成由一連串方向代碼的鏈碼(如圖 2.6)。但相同形狀若
是旋轉或選取不同的起始點開始編碼，產生的鏈碼結果不同。為使不受旋 轉影響，我們可以用相對方向(兩相鄰鏈碼之方向差，或稱外形數)來取代
原有的編碼方式。僅管如此，鏈碼表示法仍然易受雜訊影響；若物件外型 有些雜訊，會使邊緣產生鋸齒也會使同一物體的鏈碼表示法不一致。
(a) (b) (c) (d)
圖2.6：鏈碼的例子。 (a) 4 方向的鏈碼。(b)8 方向的鏈碼。(c)形狀輪廓與其再 取樣網格 。(d)為(c)之 8 方向鏈碼編碼結果。
2.3 常用於影像檢索的形狀描述子
2.3.1 富立葉描述子(Fourier descriptor)
對任意一維的形狀特徵函數 u(t)，其富立葉轉換[21, 22, 24]均可表為:
( ) ( )
∑
−=
−
= 1
0
1 N 2
t
n u t exp j ntN
a N π ，n=0, 1, …, N-1。
n=0, 1, …, N-1，N 為取樣個數。若原圖經過旋轉，特徵波形會跟著平移，需
要校正波形位置才能比對特徵。但對一維富立葉轉換而言，平移前和平移後 訊號的富立葉頻譜是一樣的，利用此特性免去圖形比對的困擾。而圖形縮小 放大所產生頻譜振幅|an|的改變，則可除以富立葉頻譜的 DC 值(a0)來正規化
|an|；正規化後的富立葉頻譜係數|bn|和|an|的關係為:
a0
bn = an 。
利用此性質去分析質心距離(CCD) (2.1 節)或面積(area)特徵(2.2) [21, 22, 24]
而成為新的富立葉描述子 f :
⎥⎦⎤
⎢⎣⎡
= −
12 2
1,b ,...,bN
b
f 。
兩個形狀q、s 富立葉描述子的差異 Df :
( )
∑
−
=
−
= 2
1
0 N
n n q n s
f b b
D 。
2.3.2 極座標表示法(polar coordinate)
描述物體區域中點分佈的位置除了傳統笛卡爾座標表示法(Cartesian coordinate)之外，也可以用極座標(polar coordinate)來表示，極座標中心可為
前面所提以物體外形質心或物體區域質心。如圖2.7 所示，本節所提極座標 表示法是以物體區域質心(xcm, ycm)為中心，其影像分佈於物體的最小外接圓
內；由離區域質心之距離 r 與 θ=0°所夾角度來表達點的位置 (r,θ)。若已知 物體 I 實際所佔面積 M，則其區域質心(xcm, ycm)為
( )
⎟⎟
⎟⎟
⎠
⎞
⎜⎜
⎜⎜
⎝
⎛
=
∑ ∑
=
=
M y M ,
x y
, x
M i
i M
i i cm
cm 0 0
，
其中(xi, yi)表物體內部第 i 個取樣點的笛卡爾座標。則笛卡爾座標轉換到極座 標的公式如下：
(
x xcm) (
2 y ycm)
2r = − + − ，
( ) ( )
(
x xcm , y ycm)
arctan − −
θ = 。
極座標表示法優點是不受圖形平移影響，所有物體上面的點距離質 心，不論圖形平移或旋轉幾度，距離不變。因此不少形狀描述特徵諸如徑角 轉 換(Angular Radial Transform) 和 通 用 富 立 葉 描 述 子 (generic Fourier descriptor)均利用以物體區域質心為中心的極座標表示法的特性來做進一步 的衍生。
(a) (b)
圖2.7：傳統笛卡爾座標和極座標示意圖。(a)葉子二值化影像及其笛卡兒座標表 示。(b)極座標表示法。
2.3.2.1 徑角轉換(Angular Radial Transform)
MPEG-7 Region Shape Descriptor 是使用一組 ART(Angular Radial Transform)的係數來描述形狀內像素(pixel)的組成，是一種區域性質的形狀描 述[17, 18, 19]。所以常被用在圖形中有空缺或是由多個形狀所組合成的圖 形。ART 係數 Fnm定義為：
( ) ( ) ( ) ( ) ( ) ( ) ( ) [ ][ ]
。
2 0
1 0 2 0
1 0
n m ARTM
d d , f R A
d d , f , V
, f , , V F
n m nm nm nm
=
=
=
=
∫ ∫
∫ ∫
∗π π
θ ρ ρ θ ρ ρ θ
θ ρ ρ θ ρ θ ρ
θ ρ θ ρ
其中 f
( )
ρ,θ 為影像在極座標的布林值，白點為1，黑點為 0；Am( )
θ 和Rn( )
ρ 為 (x0,y0)ART 基底函式中角度和半徑變化的函式：
( ) (
θ)
θ π exp jm Am
2
= 1 ，
( )
⎩⎨⎧( )
≠= =
0 2
0 1
n n cos Rn n
ρ
ρ π 。
m、n 值分別代表 ART 的角度係數和半徑係數。我們發現:當角度係數 m 值
增大時，ART 基底實(虛)部圖形的黑白扇形區域之圓心角角度變化頻率隨 m 值增大而遞增；當半徑係數n 值增大時，ART 基底實(虛)部圖形的黑白同心 圓數目隨n 值增大而增加(漣漪現象)(圖 2.8[17, 18, 19])，可用此特性來檢索 對稱圖形。為了不受形狀縮放影響，通常需將每個 ART 係數正規化，將每 個ART 係數除以 m=0、n=0 的 ART 係數，即為 ART 描述子：
[ ]
ArtM[0][0]ArtM[m][n]
ArtM[m][n]= i =
ArtDE ， i=0,1,2,…, n×m-1。
在MPEG-7 所訂定 Region-Based Shape Descriptor 標準中，採用 35 個 ART 係數 (m =12、n =3)來表達物體區域的特徵。兩個形狀 q、s ART 特徵的差異 Art_dif 為
[ ] [ ]
( )
∑
=−
= 34
0
A 2
i
s q
s ,
q ArtDE i ArtDE i dif
_
rt 。
然而，ART 僅適用於檢索對稱性較好的物件；在現實生活中並非所有物 體都有對稱性，在非對稱形狀的檢索上，效果較差。
(a)
(b)
圖2.8：ART 基底函數實虛部變化情形(m =12、n =3)[17] (a)實部，(b)虛部。
2.3.2.2 通用富立葉描述子( generic Fourier descriptor，GFD)
在笛卡爾座標做二維富立葉轉換，平移物體不致於改變富立葉頻譜；但 若物體有旋轉，富立葉頻譜相位也會跟著旋轉(圖 2.9)。
(a) (b) (c) (d)
圖2.9：物體旋轉改變頻譜相位之一例。(a)長方形。(b)圖(a)之富立葉頻譜。(c)圖(a) 旋轉90°。(d)圖(c)之富立葉頻譜。
原圖在笛卡爾座標旋轉t 次後的圖形，相當於在極座標θ座標上平移t 單位。
基於以上特性，通用富立葉描述子(generic Fourier descriptor)[23]是將影像轉 換到極座標(polar coordinate)表示，並利用二維富立葉轉換，將形狀的區域特 徵轉換為頻譜來分析。二維極座標富立葉轉換PF
( )
r,ϕ 可表為( ) ( )
⎥⎦
⎢ ⎤
⎣
⎡ ⎟
⎠
⎜ ⎞
⎝
⎛ +
−
×
=
∑∑
= =
π φ π ρ
θ ρ
ϕ T
r i j R
exp ,
f ,
r PF
r T i
i
2 2
R
0 0
，
其中0≤ρ<R,0≤i<T ,θi =2πiT ；f
(
ρ,θi)
為二值影像在極座標的布林值，白 點為 1，黑點為 0；R 和 T 為物體在極座標上的半徑解析度和角度解析度。為了不受縮放和旋轉效應影響，只取富立葉係數的振幅部份，所有極座標富 立葉係數除以頻譜DC 值，最後極座標富立葉頻譜第一個係數除以最小外接 圓面積，這些正規化後的係數，即為通用富立葉描述子(GFD)。
( ) ( )
( ) ( )
( )
⎪⎭⎪⎬⎫⎪⎩
⎪⎨
=⎧
0 0 0
0 1 0 0
0
, PF
n , m ,PF , ,
PF , , PF Area
,
GFD PF L ，
其中 m 為最大半徑頻率，n 為最大角度頻率，Area 為最小外接圓面積。經 過驗證[23]，GFD 在形狀縮放、旋轉檢索效果優於傳統一維特徵富立葉描述 子，且適用於商標檢索；但對於不同視角下透視效應(perspective)的相似形 狀檢索，GFD 檢索效果較差。
2.3.3 一階導數 (Derivative，Der)
CCD 描述法一般至少需要用 100-250 多個邊緣上的點來趨近一個形狀 輪廓。由於比對n 個 CCD 描述子，為需要 O(n2)的運算時間。CCD 龐大的 描述子數目，造成比對上時間的浪費。除了利用富立葉描述子外可用來降低 比對時間，也可以藉由相鄰兩個邊緣點的 CCD 值的差值，即一階導數 (derivative，Der)來描述物體的輪廓[19]。要如何取得 Der 特徵，首先物體輪 廓之外形質心作為最小外接圓之圓心，以最大質心距離為半徑涵蓋住整個影 像資料；利用極座標轉換影像為64×64 大小之 r-θ座標影像以便降低描述子 數目。其次，將轉換後的結果，使用邊緣偵測的方式取得邊緣影像s(圖 2.10)；
令影像s 之邊緣偵測結果為 Es，且emns 等於0 或 1，ls
( )
n 為邊緣曲線，則Ls可定義為：
{
1}
max =
= mns
m s
n m e
l ，其中n =0, 1, 2,…, 63。
則此64 個一階導數特徵為 ders：
s n s n s
n 1
der =l −l + 。
檢索形狀q 與比對形狀 s 之間的一階導數特徵向量之差異定義如下：
∑
=−
= 63
0
der der
n
s ' n q t n
s ,
q min
der _
Dis ，
其中n′=(n+t)除以64 的餘數，t = 0, 1, 2, …, 63。經過實驗證明[19]，我們
發現用最精簡的64 個 Der 值不僅可完整描述物體的外形，同時也降低了特 徵比對的時間。
(a) (b) (c) 圖2.10：r-θ座標轉換之例子。(a)楓葉及(b)轉換到 64×64 之r-θ座標。(c)圖(b)
之邊緣影像。
2.3.4 投影法 (Projection，proj)
投影分佈(projection)[27, 28]可用來表示物體區域的特徵。先切割出物體 的最小外接矩形，將在最小外接矩形內的影像投影在水平X 軸上，統計垂直 在 X 軸每單位上的點數，即可求得在 X 軸上的水平投影。亦可以將影像投 影在 Y 軸上，來統計垂直投影，如圖 2.11 所示。其垂直投影及水平投影基 本定義如下：
水平投影:
( )
=∑ ( )
y
h x f x,y
P 。
垂直投影:
( )
=∑ ( )
x
v y f x,y
P 。
其中f(x, y)為圖形上點(x, y)所代表二值影像之布林值。
圖2.11：水平投影和垂直投影的例子。
一般而言，投影法會受到物體大小而改變，故仍須先對最小外接矩形內影像 做正規化動作；影像正規化即將影像依其長寬比例縮小(或放大)到統一規定 的外接矩形長(寬)。投影法符合人類直觀感覺，實作和計算容易，適用於檢
索簡單的形狀，常用來做手勢或文字辨識上面的應用。除此之外，投影法結 合圖形最小外接矩形的長寬比(aspect ratio)、邊緣佔圖形面積之比值(edge ratio)、和中心位置(center position)來做葉子的檢索特徵[30]。但是投影法有 其缺點，其水平定位和垂直定位，常利用主軸分析來定義，然後將物體以新 的 X, Y 座標計算投影量，但主軸分析易受到雜訊影響產生誤差，若主軸並 非為物體的對稱軸，容易產生歪斜現象(圖 2.12)，故不適合檢索含旋轉圖像 的圖片。
水平投影
垂直投影
(a) (b)
圖2.12：利用主軸分析易受到雜訊影響產生誤差的範例。
2.3.5 曲率格化空間 (Curvature Scale Space，CSS)
MPEG-7 標準中提出兩種形狀特徵，除了 2.3.2 節所提徑角轉換 (ART) 之外，曲率格化空間(Curvature Scale Space)亦為 MPEG-7 標準形狀描述法 [18]。ART 則是代表物體的區域特徵(region feature)，CSS 特徵則用來描述物 體輪廓。F. Mokhtarian [29, 30]發現物體的輪廓經過高斯平滑處理後，原本輪 廓凹陷部份漸漸平緩；輪廓軌跡隨著一次次的平滑處理而改變，出現於輪廓 凹陷和凸起交界反曲點的數目也隨平滑的次數增多而變少。記錄反曲點出現 在物體周長中的位置和相對應平滑的次數，即產生了CSS 影像(圖 2.13)。CSS 影像上波峰出現的位置即為CSS 特徵。CSS 特徵已應用於 SQUID 系統上面 做海洋魚類檢索[31]，同時也列為 MPEG-7 標準，經過驗證均可克服形狀在 不同解析度、縮放、旋轉和扭曲等問題，為一個優秀形狀特徵。但若原圖形 輪廓近乎圓滑，如橢圓形，則平滑的次數和反曲點數目少，產生的 CSS 影 像波峰不明顯，CSS 影像所提供的資訊也就不足，故只適合檢索羽狀分裂 (pinnate lobed leaf)或掌形的葉形( palmate lobed)，如菊葉。
(a) (b) 圖2.13：用 CSS 影像表示物體形狀之ㄧ例。(a)五爪楓葉和其(b) CSS 影像。
Smooth 次數
弧長
第三章
二維外形特徵擷取
在此章節，將描述本論文所提出的2D 模型特徵擷取的方法。本論文除 提出了圓形標靶頻譜特徵（dartboard feature）這一個新特徵之外，並且提出
了一個新的檢索比對方式整合一階導數(der)和圓形標靶整合頻譜特徵 (dar)，使得此新的檢索比對方法同時考量物體形狀的區域和輪廓特性。
3.1
葉形擷取對於我們所設定的葉形資料庫，其照片中葉子顏色和背景顏色(白色)差 異很大，只需要取得葉形部份，故可利用葉子和背景在YUV 色彩空間中 Y(亮 度)的差異，使用分水嶺法抽離背景(圖 3.1)。其中 Y 和一般 RGB 色彩的對 應關係為：
B .
G .
R .
Y =0299× +0578× +0114×
在本論文所使用的葉子資料庫中，絕大部分的葉子的亮度都低於235，故 Y 值大於235 的區域屬於背景，將背景設為黑色，其他設為白色。再使用區域 成長法將二值化影像自外圍合併非葉子部份，並忽略葉子影像中間黑色部 分，以避免葉子表面的空洞會影響質心的位置。
(a) (b) 圖3.1：分離背景之一例。(a) 分離前。(b) 利用分水嶺法去除背景(門檻值Y=235)
3.2
圓形標靶頻譜特徵（dartboard feature，dar）承第二章所提，以極座標表示物體所有點的絕對位置可以避免物體平移 的問題。因此我們站在極座標的觀點來分析物體的形狀，提出一個新的形狀 特徵向量以極座標為基礎的”圓形標靶特徵”(dartboard feature)，去取得物體 的形狀特徵。
首先，先將影像轉成二值化(binary)的影像，如圖 3.2 所示。為了方便
定義新特徵圓形標靶其扇型網格的位置，將影像從笛卡爾座標轉換為極座
標。點(x, y)由笛卡爾座標轉至極座標(r, θ)之轉換公式如下：
( ) ( )
(
x xcm 2 y ycm 2)
12r = − + − ，
( ) ( )
(
y ycm x xcm)
tan − −
= −1
θ ，
其中(xcm, ycm)為物體區域質心座標。若物體的二值化極座標影像 F 中有物體 存在，則定義 frθ =1，反之 frθ =0。
(a) (b)
(c) (d)
圖3.2：圓形標靶特徵轉換圖。(a) 眼形葉。(b) 葉子二值化影像及其笛卡爾座 標表示。(c) 葉子二值化影像及其極座標表示。(d) 將有葉子的網格設
成1。
再以物體區域質心為中心，取物體的最小外接圓，並以其半徑將物體切 割成N 段，並依順時針方向，將圓周劃分為 M 等分，物體最小外接圓則被等 分為N×M個扇形區域(或稱扇形網格，如圖 3.2(c)所示)，在此扇形區域內，
若有物體區塊存在，則該網格設為1(白色)；不包含物體扇形區域，則該網格 設為 0(黑色)。如圖 3.2(d)所示，白色表葉子區塊恰落於該網格，黑色表無葉 子區塊落於該網格。以圖3.3 所示可看出 N =4、M =32 時，葉子白色網格的 分佈較N =3、M =16 白色網格的分佈更接近原圖葉子形狀。
但此方法有其缺失：在單一扇形網格中，即使葉子實際僅僅切到網格的 一小部分，網格也設為 1；不論葉子在該網格所佔面積多少，均將該網格設 為1。且對外圍網格而言，因網格本身面積較大，若有少數葉子區塊落於網 格之中，也會將該網格設為 1，造成極大的誤差。為改善以上的缺失，在本 論文中，我們將改以定義為在扇形網格中，葉子落在此扇形網格所佔面積和 實際扇形網格的面積之比值來取代單純的0 或 1 的值。則針對葉子的形狀，
我們新提出的圓形標靶特徵(dartboard feature)定義如下：由極座標 0°開始，
將物體以最小外接圓半徑切割成 N 段，以葉子質心為中心，依順時針方向，
將圓周劃分為M 等分；其第 m 個圓心角，在半徑第 n 等分的扇形網格之(如 圖3.4)圓形標靶特徵 T 定義為：
mn mn
mn a
t = s ，
其中amn表扇形網格(m, n)的面積，smn為扇形網格(m, n)中葉子所佔之面積。
如圖 3.4 所示：圖 3.4(a)為眼形葉，圖 3.4(e)(i)為兩葉形相近之心形葉。圖 3.4(b)(f)(j)為葉子之 tmn值分佈，其中N =4、M =32，灰階值越高代表 tmn值
(a) (b)
圖3.3：白色扇形網格之分佈。(a) n=3, m=16。(b) n=4, m=32。
越接近1，圖 3.4(c)(g)(k)為 tmn值分佈圖之對應圓形標靶特徵；眼形葉和心形 葉兩不同葉形 (圖 3.4(a)(e))，其 tmn值分佈圖(圖 3.4(b)(f))和其對應的圓形標 靶頻譜 (圖 3.4(c)(g))，可發現兩葉子外形差異越大，tmn值分佈和圓形標靶特
徵差異程度也越大。但兩葉形相近者，如圖3.4(e)(i)兩心型葉，其 tmn值分佈 圖(圖 3.4(f)(j))和對應的圓形標靶特徵(圖 3.4(g)(k))極為類似。故我們利用圓
形標靶特徵圖和相對應之半徑角度索引圖所提供的資訊當做新的特徵，以區 別不同形狀的葉子。
圓形標靶特徵T 之富立葉轉換後的頻譜 FT 計算如下：
( )
∑∑
−=
− +
=
= 1
0 1 2 0
1 N
r
vmM unN M j
mn
uv t e
ft NM π
θ ，
其中u= 0, 1, 2, …, N-1，v= 0, 1, 2,…, M-1。將圓形標靶特徵利用二維富立葉 轉換去分析，實驗發現每個葉子的圓形標靶特徵均含有特定的富立葉頻譜 (如圖 3.4(d)(h)(l))，可用來表達葉子的形狀。形狀相似的葉子可擷取到相似 的頻譜分佈；兩形狀相異的葉子，其頻譜分佈差異性越大。如圖3.4 所列舉 二例：圖3.4(d)(h)眼形葉和心形葉之頻譜分佈不同，可明確判定此二葉子屬 於不同葉形；圖3.4(e)(i)為兩形狀相似但圖 3.4(e)底部略有變形的心形葉比 較，所呈現的圓形標靶特徵頻譜分佈極為相似（如圖3.4(h)(l)）。搜尋圖形 q 和資料庫中欲比對之圖形 s 其差異程度可藉由兩圓形標靶特徵富立葉頻譜 係數的差值求得
∑∑
−=
−
=
−
= 1
0 1 0 M
m N
n
s mn q
mn s
,
q | ft ft |
t _
Dis 。
圓形標靶特徵富立葉頻譜係數的Dis_tq,s差異越小，兩物體形狀越相近。
(a) (b) (c) (d)
(e) (f) (g) (h)
(i) (j) (k) (l)
圖3.4：葉子其tmn分佈及其圓形標靶特徵比較:(a)眼形葉。(b)圖(a) tmn值分佈。
(c)圖(a)圓形標靶特徵圖。(d) 圖(a)圓形標靶頻譜。(e)心形葉 1。 (f)圖(e) 之tmn值分佈。(g)圖(e)圓形標靶特徵圖。(h)圖(e)圓形標靶頻譜。(i)心形 葉2。(j)圖(i)之tmn值分佈。(k)圖(i)之圓形標靶特徵圖。(l)圖(i)之圓形標 靶頻譜。
3.3
整合型形狀比對法承 2.2.1 節所提，傳統質心距離(CCD)特徵和一階導數(Der)特徵向量並 無法完整描述外形質心落在非凸邊形之外形狀。如圖3.5 所提彎月和熱帶魚 為例，此二圖形均為外形質心落在圖形之外，圖中紅色放射線表最外層輪廓 至外形質心的連線，由於 CCD 和 Der 特徵皆取最外層離外形質心最遠處的 輪廓，其餘落在紅色放射線上的內層區域均忽略不計，故兩圖之CCD 和 Der 特徵曲線極為類似。
(a) (b) (c) (d)
圖3.5：圖解傳統質心特徵取樣時，外層輪廓對內部區域產生的遮蔽效應。
(a)彎月。(b)圖(a)之質心和放射線示意圖。(c)熱帶魚。(d)圖(c)之質心和 放射線示意圖。
為解決此一問題，我們可以考量結合區域形狀特徵來描述物體形狀。我 們在分析各種形狀特徵時，發現如利用檢索形狀q 與比對形狀 s 之 Der 差值
s ,
derq
_
Dis 乘上兩形狀圓形標靶之富立葉頻譜差值Dis_tq,s，作為代表形狀 q、s 的輪廓和區域特徵的差異。此新整合特徵其計算兩葉子 q、s 形狀差異
值Dis_Der_tq,s公式如下：
s , q s
, q s
,
q Dis_der Dis_t
t _ Der _
Dis = × 。
s ,
tq
_ Der _
Dis 差異越小表兩物體在區域和輪廓性質上越近似；反之，則 表示兩形狀在本質上是不同的。透過這樣的整合方式可結合一階導數特徵向 量和圓形標靶富立葉頻譜的優點，以提昇整體的檢索正確率，也可彌補一階 導數在描述非凸邊形資訊不足的缺點，也可以避免使用單一區域特徵搜尋 時，找到區域特徵相似但實際輪廓外形相差很大的錯誤圖形，如圖3.6-3.8。
圖3.6：使用圓形標靶特徵檢索蘋果，找到區域特徵相似但實際外形差異很大之ㄧ 例。
圖3.7：使用 Der 特徵檢索蘋果，找到外形相似但區域性質不同之ㄧ例。
圖3.8：結合圓形標靶和 Der 特徵檢索蘋果的例子。
第四章 實驗結果
在這個章節裡，將介紹我們所採用的資料庫以及所進行的實驗。一般使 用的量測檢索正確率標準為Recall 與 Precision [32]，定義為
T recall= N 與
K precision= N ，
其中 recall 所定義的檢索範圍 T 是全部與搜尋圖形同一類圖檔個數，
precision 則不分是否與檢索圖形同類，所有檢索出來圖形總數排名前 K 名當 做檢索範圍，N 為檢索範圍中與搜尋圖檔同屬一類的個數。
4.1 實驗環境
在這裡，我們先介紹本論文實驗所採用的資料庫。在本論文中一共採用 三種資料庫來進行實驗。第一種是MPEG-7 所定義的形狀測試資料庫，其中 又分大小縮放(scaling)、旋轉運算(rotation)、相似度測試(similarity)，主要用
來驗證形狀特徵的正確性和可適用範圍，以期本實驗所用之特徵不僅可用於 葉形檢索，更可應用於一般形狀檢索。第二種則採用在[28]所提葉子資料庫 作為比較，本論文稱其資料庫為Leaf 1。Leaf 1 含 60 種足以概括代表元智校 園的植物的葉子類別，每種10 張 600×600 的灰階影像可供測試。圖 4.1-4.2 為其60 種葉子影像類別。
Class 1 Class 2 Class 3 Class 4 Class 5
Class 6 Class 7 Class 8 Class 9 Class 10
Class 11 Class 12 Class 13 Class 14 Class 15
Class 16 Class 17 Class 18 Class 19 Class 20
Class 21 Class 22 Class 23 Class 24 Class 25
Class 26 Class 27 Class 28 Class 29 Class 30 圖4.1：Leaf 1 資料庫中類別 1 至 30 的葉子影像。
Class 31 Class 32 Class 33 Class 34 Class 35
Class 36 Class 37 Class 38 Class 39 Class 40
Class 41 Class 42 Class 43 Class 44 Class 45
Class 46 Class 47 Class 48 Class 49 Class 50
Class 51 Class 52 Class 53 Class 54 Class 55
Class 56 Class 57 Class 58 Class 59 Class 60 圖4.2：Leaf 1 資料庫中類別 31 至 60 的葉子影像。
第三種則是我們自行在校園採集的葉子資料庫，本論文稱我們所蒐集的葉子 資料庫為Leaf 2。該資料庫一共蒐集了 99 種植物葉子，每種植物各取 10 個 葉子，每個葉子均拍攝其正反面，並正規化為330×330 的影像，故共可提供 1980 張影像進行檢索。本論文稱我們所蒐集的葉子資料庫為 Leaf 2(圖 4.3-4.6)。
Class 1 Class 2 Class 3 Class 4 Class 5
Class 6 Class 7 Class 8 Class 9 Class 10
Class 11 Class 12 Class 13 Class 14 Class 15
Class 16 Class 17 Class 18 Class 19 Class 20
Class 21 Class 22 Class 23 Class 24 Class 25 圖4.3：Leaf 2 資料庫中類別 1 至 25 的葉子影像。
Class 26 Class 27 Class 28 Class 29 Class 30
Class 31 Class 32 Class 33 Class 34 Class 35
Class 36 Class 37 Class 38 Class 39 Class 40
Class 41 Class 42 Class 43 Class 44 Class 45
Class 46 Class 47 Class 48 Class 49 Class 50
Class 51 Class 52 Class 53 Class 54 Class 55
Class 56 Class 57 Class 58 Class 59 Class 60 圖4.4：Leaf 2 資料庫中類別 26 至 60 的葉子影像。
Class 61 Class 62 Class 63 Class 64 Class 65
Class 66 Class 67 Class 68 Class 69 Class 70
Class 71 Class 72 Class 73 Class 74 Class 75
Class 76 Class 77 Class 78 Class 79 Class 80
Class 81 Class 82 Class 83 Class 84 Class 85
Class 86 Class 87 Class 88 Class 89 Class 90
Class 91 Class 92 Class 93 Class 94 Class 95 圖4.5：Leaf 2 資料庫中類別 61 至 95 的葉子影像。
Class 96 Class 97 Class 98 Class 99 圖4.6：Leaf 2 資料庫中類別 96 至 99 的葉子影像。
4.2 縮放、旋轉、形變檢索實驗
為了決定圓形標靶頻譜(Dar)在 M、N 值為多少時，我們可以獲得最佳的
檢索正確率。我們引用MPEG-7 形狀測試資料庫來實驗。MPEG-7 形狀測試 資料庫可分為 A1(縮放)、A2(旋轉)、B(相似度)和 C(非剛體運動)4 種測試資 料庫：其中資料庫 A1 有 70 種不同形狀類別，每種形狀包含原圖、原圖縮 放0.3、0.25、0.2、0.1 和 2 倍大小等 6 張影像，共 420 張;資料庫 A2 有 70 種不同形狀類別，每種形狀包含原圖、原圖旋轉 9°、36°、45°、90°和 150°
等6 種不同旋轉角影像，共 420 張。資料庫 B 有 70 種不同形狀類別，每種 類別包含20 種相似的形狀，共 1400 張影像。資料庫C 有 1300 張深海魚類 影像，其中用來測試非剛體運動形變的標準鯛魚影像一共有200 張。而各標 準資料庫計算檢索正確率Recall 和 Precision 的檢索範圍，資料庫 B 是採用 bull-eyes 的檢索方式，以排名前 40 張為範圍；資料庫C 則是取首張標準鯛 魚影像，取其檢索範圍前200 名作計算。除資料庫B、C 之外其餘資料庫均 以檢索範圍前6 名作計算。表 4.1 顯示在不同 M、N 值之下在資料庫 B，Dar
之Recall 值。可以發現當圓形標靶切割的圓心角等分數 M 越大，檢索正確 率也隨之提昇。提昇半徑解析度 N 也可以拉昇 Recall 值。我們可以發現在 M=32、N=4 時，可達到最佳的 Recall 值。當 M、N 值超過此一限度，所能
增加的Recall 成長率越少。因 Dar 特徵在 A1、A2、B 資料庫均優於 MPEG-7 中所用ART 特徵和其他區域性描述子，故引用 Dar 來搭配一階導數(Der)成 為新的比對特徵。為了考量描述子數目不至過多而影響特徵比對速度，因此 我們採用M=32、N=4 的 Dar 和 Der 特徵，利用兩圖形之 Der 和 Dar 差值相 乘做比對。如表4.2 所示，發現結合 Dar 和 Der 特徵的新比對方式不受縮放、
旋轉影響；同時此新比對法較只使用Der 或其他單一特徵在測試資料庫 B 的 檢索正確率要來得高，也優於結合 Der 和 ART 差值相乘的比對方式。圖 4.7-4.9 為各特徵在 MPEG-7 測試資料庫中，Recall 和 Precision 的變化關係。
經由上述的諸多實驗，我們驗證了圓形標靶特徵(Dar)和利用兩圖形之 Der 和Dar 差值相乘之整合型形狀比對法，不受縮放、旋轉、非剛體形變的影響，
是一個優秀的形狀檢索方法。
表4.1：不同M、N 值之 Dar 特徵在 MPEG-7 資料庫 B 檢索正確率(Recall)的表現。
M (圓心角等分數)
16 32 48 64 Recall (K=40) Recall (K=40) Recall (K=40) Recall (K=40)
N 3 0.66285758 0.68120546 0.68451975 0.68911507 4 0.69566093 0.70893509 0.70871516 0.70871679 5 0.70220546 0.70813888 0.70817548 0.70839814 6 0.70214462 0.70891527 0.70878127 0.70813536 ( 半徑等分數
) 7 0.70840961 0.70870943 0.70879321 0.70847028
表4.2：各特徵在 MPEG-7 測試資料庫檢索正確率(Recall)的表現。
Recall
A1 (K=6) A2 (K=6) B (K=40) C(K=20) Overall Dar + Der 0.9857 1 0.8212 0.9350 0.9164
圓形標靶(Dar) 0.9829 1 0.7089 0.9350 0.8745 ART 0.9713 1 0.6834 0.9200 0.8631 一階導數(Der) 0.9570 0.9932 0.7748 0.9300 0.8933
質心距離富立葉特徵 (CCDFD)
0.9328 0.9873 0.6633 0.9150 0.8461 ART + Der 0.9861 1 0.8031 0.9300 0.9087
Area FD 0.9428 1 0.6607 0.9050 0.8457
GFD 0.9888 1 0.6734 0.9200 0.8626 CSS 0.9103 1 0.7915 0.9600 0.9022 Overall = {(A1+A2)/2+B+C}/3
圖4.7：各特徵在測試資料庫 A1 中，Recall 和 Precision 的變化關係。
圖4.8：各特徵在測試資料庫 A2 中，Recall 和 Precision 的變化關係。
圖4.9：各特徵在測試資料庫 B 中，Recall 和 Precision 的變化關係。
4.3 葉子影像檢索實驗
第二個實驗採用李式葉子分類系統[28]所使用的葉子資料庫(Leaf 1)和我 們在中華大學內所自行採集葉子資料庫(Leaf 2)。在這裡，Recall 與 Precision 的檢索範圍相同，我們以所有檢索出來葉子影像總數排名前K 名為同一種類 的葉子影像之總數，要求檢索系統在此範圍找出最多相關葉子影像。表 4.3 為各特徵在Leaf 1 和 Leaf 2 上面的檢索正確率。比較各特徵在資料庫 Leaf 1 和 Leaf 2檢索正確率，我們所提出的新的圓形標靶特徵(Dar)優於許多區域性 形狀描述子，而整合Dar 和一階導數(Der)特徵的新比對方式則遠勝於其他特 徵。實驗發現在眾多不同葉子之間，在外形上面仍有相似之處，以至於無法 達到檢索正確率百分之百。如圖4.10 所示，黃色部份表與檢索葉子屬同類，
灰色表外形相似但與檢索葉子屬不同類。
表4.3：各特徵在 Leaf 1 和 Leaf 2 上面的檢索正確率(Recall)的表現。
Recall
Leaf 1 (K=10) Leaf 2 (K=20)
Dar + Der 0.6353 0.4980
圓形標靶(Dar) 0.5413 0.4322
ART 0.5275 0.4215
一階導數(Der) 0.6152 0.4731
質心距離富立葉特徵(CCDFD) 0.5223 0.4228 ART + Der 0.6197 0.4964
AreaFD 0.5037 0.4228 GFD 0.5270 0.4131 CSS 0.6025 0.4632
圖4.10：葉形相似但實際屬於不同植物之一例。
4.4 葉形檢索實驗
由4.3 節可知，我們無法單用葉形來做植物分類，但是我們可以找到相 似葉形的影像，所以我們再將葉子資料庫做整理。將相似外形歸為同一類，
然後對相似外形的葉形做檢索，日後可結合葉脈紋理等相關資訊再判斷此葉 子影像屬何種植物。先將元智大學葉子資料庫(Leaf 1)其外形分為五瓣複 葉、五爪掌形、心形、針形、葫蘆形、腎形、三爪掌形、扁橢圓、橢圓、六 瓣裂葉、三瓣裂葉、深裂葉、羽狀葉和盾形葉等 14 大類，重新分類的資料 庫稱之為Leaf 3(圖 4.11)。其中資料庫 Leaf 3 含五瓣複葉 10 張、五爪掌形 10 張、心形 10 張、針形 10 張、葫蘆形 10 張、腎形 10 張、三爪掌形 40 張、
扁橢圓130 張、橢圓 310 張、六瓣裂葉 10 張、三瓣裂葉 10 張、羽狀葉 10 張、深裂葉20 張和箭形葉 10 張。除此之外也整理了中華大學校內的葉子資 料庫(Leaf 2)，依其外形區分為五爪掌形、心形、針形、三角形、腎形、三 爪掌形、扁橢圓、橢圓和盾形(圖 4.12)等 9 類。此重新分類的資料庫稱之為 Leaf 4，如圖4.12 所示。Leaf 4 資料庫包含五爪掌形葉 20 張、心形 20 張、
針形300 張、三角形 20 張、腎形 20 張、三爪掌形葉 40 張、扁橢圓 380 張、
橢圓1160 張、盾形 20 張。若某植物包含兩種以上的葉形，在本實驗將挑選 一種葉形當作全部該植物葉子的形狀，如圖 4.13 之廣東油桐，其葉形含 4 種完全不同的葉形，除圖4.13(b)差異較大外，其餘可視為橢圓之形變，故油 桐之葉形視為橢圓。
(a)五瓣複葉 (b)五爪掌形 (c)心形 (d)針形
(e)葫蘆形 (f)腎形 (g)三爪掌形-1 (g)三爪掌形-2
(g)三爪掌形-3 (h)扁橢圓 (i)橢圓 (j)六瓣裂葉
(k)三瓣裂葉 (l)深裂葉 (m)羽狀葉 (n)箭形葉 圖4.11：元智大學葉子資料庫(Leaf 3)葉子之 12 大外形分類。
(a)五爪葉 (b)心形葉 (c)針形葉-1 (c)針形葉-2
(c)針形葉-3 (c)針形葉- 4 (d)三角形 (e)腎形葉
(f)三爪葉-1 (f)三爪葉-2 (g)扁橢圓-1 (g)扁橢圓-2
(g)扁橢圓-3 (h)橢圓-1 (h)橢圓-2 (i)盾形葉 圖4.12：中華大學葉子資料庫(Leaf 4)葉子之 9 大外形分類。
(a) (b) (c) (d)
圖4.13：廣東油桐之 4 種完全不同的葉子形態。
表4.4 為各特徵在 Leaf 3 和 Leaf 4 上面的平均檢索正確率。因為我們橢 圓葉形佔葉形資料庫比例極大，為避免影響整體檢索正確率，在這裡，平均 檢索正確率的計算方式為:
∑
−=
= 1
0
1 N
i
Rei
Re N ，
其中Re表整體平均檢索正確率，Re 表各類別之平均 Recall 值，N 為類別總i 數。圖4.14 和圖 4.15 為各特徵在 Leaf 3 和 Leaf 4 各葉形中 Recall 的分佈曲 線。
表4.4：各特徵在 Leaf 3 和 Leaf 4 上面的平均檢索正確率(Recall)的表現。
平均Recall
Leaf 3 Leaf 4
Dar + Der 0.8128 0.8172
圓形標靶(Dar) 0.7316 0.7023
ART 0.6898 0.6629
一階導數(Der) 0.7615 0.7623
質心距離富立葉特徵(CCDFD) 0.6136 0.6965
ART + Der 0.7949 0.7878
AreaFD 0.6242 0.5787
GFD 0.6899 0.6640
CSS 0.7543 0.7921
圖4.14：各特徵在資料庫 Leaf 3 各類別中的檢索正確率比較。
圖4.15：各特徵在資料庫 Leaf 4 各類別中的檢索正確率比較。
由圖 4.14 和 4.15 可以很明顯的看出一階導數(Der)在心形、腎形和盾形 等非橢圓形的葉形檢索具有最佳的正確率。唯在檢索針形葉、扁橢圓形、橢 圓形時，Recall 值反低於其他的區域形狀特徵。因扁橢圓形、橢圓形等邊緣 變化緩慢平滑的形狀，Der 無法細分。除此之外 Der 特徵在檢索末端兩葉較 小的五爪掌形葉，容易與三爪掌形葉混淆，故宜用CSS 和 ART 特徵最佳。
但ART 特徵在檢索心形葉外形容易和近乎圓形的葉形混淆(圖 4.16)。因為心 形葉和近乎圓形的葉形兩種圓形標靶頻譜差異很大(圖 4.17)，可利用此一特 性加以區隔;所以本論文所提出圓形標靶特徵(Dar)，在檢索心形葉、盾形葉 和腎形葉兩種葉形正確率遠優於其他區域性形狀描述子。概括而言，區域性 特徵相較於Der 特徵對於扁橢圓形、橢圓形較為敏感，可藉由區域性特徵來 細分。故整合區域特徵和Der 特徵的新比對法來解決 Der 在檢索扁橢圓形、
橢圓形上的低檢索正確率；其中又以搭配Dar 特徵為最佳，此新特徵在 Leaf 3 和 Leaf 4 整體檢索正確率較 Der 搭配 ART 的新比對法佳，且遠優於其他 僅使用單一形狀特徵的檢索方式。
(a)
(b)
圖4.16：圓形標靶特徵和 ART 特徵在心形葉檢索上所呈現的差異性。(a)使用圓 形標靶特徵檢索心形葉。(b)使用 ART 檢索心形葉。
(a) (b) (c) (d)
(e) (f) (g) (h)
(i) (j) (k) (l)
圖4.17：心形葉和近乎圓形的葉形圓形標靶特徵比較。(a)近乎圓形的葉形。(b) 圖(a) tmn值分佈。(c)圖(a)圓形標靶特徵圖。(d) 圖(a)圓形標靶頻譜。(e) 心形葉 1。 (f)圖(e)之 tmn值分佈。(g)圖(e)圓形標靶特徵圖。(h)圖(e)圓 形標靶頻譜。(i)與圖(e)相似的心形葉。(j)圖(i)之tmn值分佈。(k)圖(i)之 圓形標靶特徵圖。(l)圖(i)之圓形標靶頻譜。
第五章
結論與未來方向
本論文提出了圓形標靶特徵以及和結合一階導數和圓形標靶的新特徵 比對方式。圓形標靶特徵主要概念為物體落在圓形標靶各扇形區域的面積和 該扇形總面積的比例，透過富立葉轉換將此一資訊轉為頻譜分析。結合一階 導數和圓形標靶的新特徵比對方式，則提供另一種計算兩形狀在輪廓和區域 上性質的差異；以上兩個特徵比起傳統形狀特徵不論應用在葉子或是一般形 狀影像的查詢，均有較佳的檢索正確率。此外，本論文依葉子形狀分類，整 理不同植物但具相同葉形的葉子影像為同類，以期配合如葉脈紋理，對葉子 影像分類和檢索方面更進一步的探討。
因此本論文的貢獻有：
（1）提出一個嶄新且檢索率較高的特徵擷取演算法。
（2）提出整合既有區域性和輪廓性的形狀特徵的新比對方式。
未來的研究要考量葉脈紋理，配合形狀特徵，針對葉子影像檢索，擴大 此檢索系統的應用範圍。
參考文獻
[1] Google, http://www.google.com
[2] 植物博覽網, 國立台中自然科學博物館, http://www.nmns.edu.tw/botany/home.php
[3] QBIC, the IBM QBIC project, Demo: http://wwwqbic.almaden.ibm.com/.
[4] M. Flickner, H. Sawhney, W. Niblack, J. Ashley, Q. Huang, B. Dom, M.
Gorkani, J. Hafner, D. Lee, D. Petkovic, D. Steele, and P. Yanker, “Query by image and video content: The QBIC system,” IEEE Computer, Vol. 28, No.
9, pp. 23-32, 1995.
[5] C. Faloutsos, R. Barber, M. Flickner, J. Hafner, W. Niblack, D. Petkovic, and W. Equitz, “Efficient and effective querying by image content,” J. Intell.
Inform. Sys. Vol. 3, pp. 231-262, 1994.
[6] T. Kato, T. Kurita, and H. Shimogaki, “Intelligent visual interaction with image database systems-toward multimedia personal interface,” J. Inform.
Process. Vol. 14, No. 2, pp. 134-143, 1991.
[7] T. Kato, “Database architecture for content-based image retrieval,” SPIE Image Storage and Retrieval Systems, Vol. 1662, pp.112-122, 1992.
[8] Virage, the project of Virage Inc., Demo: http://virage.com/.
[9] J. R. Bach, C. Fuller, A. Gupta, A. Hampapur, B. Horowitz, R. Humphrey, R.
Jain, and C. F. Shu, “The Virage image search engine: An open framework for image management,” in Proc. of SPIE Storage and Retrieval for Still Image and Video Databases IV, pp. 76-87, San Jose, CA, USA, February 1996.
[10] M. Ortega, Y. Rui, K. Chakrabarti , S. Mehratra and T. S. Huang,
“Supporting similarity queries in MARS,” ACM Conf. on Multimedia, pp.403 - 413, 1997.
[11] S. Mehrotra, Y. Rui, O. B. Michael, and T. S. Huang, “Supporting content-based queries over images in MARS,” in Proc. of IEEE Int. Conf.
Multimedia Computing and Systems, pp. 632-633, 1997.
[12] Y. Rui, T. S. Huang, M. Ortega, and S. Mehrotra, “Relevance feedback: A power tool in interactive content-based image retrieval,” IEEE Tran. Circuits Systems Vedio Technol (Special Issue on Interactive Multimedia Systems for the internet), Vol. 8, No. 5, pp. 644-655, Sept. 1998.
[13] X. S. Zhou and T. S. Huang, “Image retrieval: feature primitives, feature representation, and relevance feedback,” in Proc. of IEEE Workshop on Content-Based Access of Image and Video Libraries, in Conjunction with
