以主成分影像作特徵抽取之三維模型檢索系統

(1)

國

立

交

通

大

學

電機與控制工程學系

碩

士

論

文

以主成分影像作特徵抽取之三維模型檢索系統

A 3D Models Retrieval System Based on Feature Extraction of

Principle Image

研究生：徐道智

指導教授：林昇甫博士

中

華

民

國

九

十

八

年

七

月

(2)

以主成分影像作特徵抽取之三維模型檢索系統

A 3D Models Retrieval System Based on Feature Extraction of

Principle Image

研究生：徐道智

Student：Dou-Chih Hsu

指導教授：林昇甫博士 Advisors: Dr. Sheng-Fuu Lin

國立交通大學

電機與控制工程學系

碩士論文

A Thesis

Submitted to Department of Electrical and Control Engineering College of Electrical Engineering

National Chiao Tung University in partial Fulfillment of the Requirements

for the Degree of Master

in

Electrical and Control Engineering July 2009

Hsinchu, Taiwan, Republic of China

(3)

以主成分影像作特徵抽取之三維模型檢索系統

學生：徐道智指導教授：林昇甫博士

國立交通大學電機與控制工程學系﹙研究所﹚碩士班

摘要

本論文提出一個以主成分影像作特徵抽取之三維模型檢索系統，首先藉由主成分分析法(principal component analysis，PCA)找出每個模型的主軸，使相似模型有相似主軸，以此克服部分旋轉變量，之後再以具有旋轉不變性的傅立葉描述子(Fourier descriptors) 和 Zernike 矩(Zernike moments)並加上一個三維特徵：主軸投影圖的相關大小做為檢索特徵。其想法來自光場描述子(light field descriptors，LFD)，但藉由主成分分析法改進其需要大量圖形的缺點，並利用新的主軸投影圖相關大小特徵，使對於相似物體的檢索有更大的容忍度。之後由實驗證明本論文對於因相似物體部分區域不同所造成的偏軸情形能有效克服，而且相對於 LFD 檢索速度加快，儲存需求大幅下降。最後使用普林斯頓形狀評判標準(Princeton shape benchmark，PSB)跟四個不同特徵之資料庫做檢索效能評判，證明本論文較其他方法有較好的檢索效能。

(4)

A 3D Models Retrieval System Based on Feature Extraction of

Principle Image

Student: Dou-Chih Hsu Advisors: Dr. Sheng-Fuu Lin

Department of Electrical and Control Engineering

National Chiao Tung University

ABSTRACT

In this thesis, a 3D models retrieval system based on feature extraction of principle images is proposed. First of all, find the main axis of all models by principal component analysis (PCA). Let similar models have similar main axis in order to overcome variables of rotation. And then use the

rotation invariance features Fourier descriptors and Zernike moments and add a 3D feature: the size

relevant of the projection image. The idea is from the light field descriptor (LFD), but use PCA to

overcome the shortcomings that it needs a lot of images. And use the new feature: the size relevant of the

projection images to let the retrieval system have greater tolerance for similar models. And prove that it can

overcome the rotation variables of main axis when similar models have different parts. And it has faster

retrieval speed and smaller storage with LFD. In the last, determine the effectiveness of retrieval systems

by Princeton shape benchmark (PSB) and four different characteristic databases. And prove this thesis has better performance than other methods.

(5)

致

謝

首先要以最誠摯的謝意，感謝我的指導教授林昇甫博士，感謝他在研究上的啟迪與指導，以及細心校閱本論文的謬誤之處。同時也要感謝本實驗室的學長晉嘉、永吉、士哲、國育、逸章、啟曜、俊偉；一起同甘共苦的同學長安、昆義、子航、煜維以及學弟們，有如此龐大的研究團隊，使得我在遇到問題時都能很充裕的能找到人來對我伸出援手，讓論文的研究能夠順利完成，並且在碩士生涯中有好大一票的好伙伴一起成長、一起學習；不只是書本上的知識，還有更多更多有趣有用的技能以及想法。過程中也許有苦有樂，但是在回憶中卻是既燦爛又豐富。最後要感謝我親愛的父母，感謝他們的養育之恩以及在我求學生涯中給我最大的鼓勵與支持，使我得以在精神與生活上無後顧之憂，順利完成學業。

(6)

2.2 擷取特徵的方法 ... 10 2.2.1 輪廓提取 ... 10 2.2.2 傅立葉描述子(Fourier descriptors) ... 11 2.2.3 Zernike 矩 ... 14 2.3 相似度分析 ... 16 2.4 檢索評判標準 ... 17 第三章檢索系統 ... 20 3.1 離線架構 ... 21 3.1.1 前處理 ... 22 3.1.2 特徵抽取 ... 25 3.2 系統在線架構 ... 28 3.2.1 相似度分析 ... 29 第四章實驗結果與分析 ... 31 4.1 實驗平台 ... 31 4.2 主成分分析法驗證 ... 31 4.2.1 主成分分析法的旋轉變量修正 ... 31 4.2.2 不同求取主成分分析的方法實驗 ... 40 4.3 檢索效能評判 ... 43 4.3.1 PSB 資料庫檢索 ... 43 4.3.2 小型資料庫檢索 ... 45 4.3.3 計算複雜度與空間需求 ... 53 4.4 特徵需求實驗 ... 54 4.4.1 各別特徵重要性 ... 55 4.4.2 大型資料庫的特徵需求 ... 55

(7)

4.4.3 小型資料庫的特徵需求 ... 58

4.5 實驗分析 ... 61

第五章結論與未來發展 ... 64

(8)

表目錄

表 3. 1 Zernike 矩每階所含的矩。 ... 27 表 4. 1 有無旋轉修正比較表。 ... 35 表 4. 2 不同方法求取主成分分析的效能。 ... 43 表 4. 3 十四種方法在 PSB 中的效能。 ... 45 表 4. 4 各方法在動物資料庫的效能比較表。 ... 46 表 4. 5 各方法在家具資料庫的效能比較表。 ... 48 表 4. 6 各方法在常用工具資料庫的效能比較表。 ... 50 表 4. 7 各方法在交通工具資料庫的效能比較表。 ... 51 表 4. 8 儲存一個模型的空間需求表。 ... 53 表 4. 9 時間需求表。 ... 54 表 4. 10 在大型資料庫中不同特徵數檢索效能表。 ... 58 表 4. 11 在小型資料庫中不同特徵數的效能表。 ... 60

(9)

圖目錄

圖 1. 1 幾何形狀分布的各種形狀函數。 ... 3 圖 1. 2 正十二面體的二十個頂點。 ... 4 圖 2. 1 輪廓追蹤圖。 ... 11 圖 2. 2 不同傅立葉特徵，(a)中心傅立葉、(b) 面積傅立葉、(c) 角度傅立葉、(d) 複數平面傅立葉、(e) 極座標傅立葉、(f) 綜和角度跟中心距離傅立葉。 ... 13 圖 2. 3 抽取 Zernike 矩特徵向量流程圖。 ... 16 圖 2. 4 精確度於回傳率代表圖。 ... 18 圖 3. 1 檢索系統架構。 ... 21 圖 3. 2 離線架構圖。 ... 22 圖 3. 3 前處理流程圖。 ... 23 圖 3. 4 三維模型旋轉圖。 ... 24 圖 3. 5 格子點轉換假碼。 ... 25 圖 3. 6 三主軸投影圖。 ... 26 圖 3. 7 三主軸輪廓圖。 ... 26 圖 3. 8 Zernike 矩每階所形成的不同單位圓。 ... 28 圖 3. 9 系統在線架構。 ... 29 圖 4. 1 編號第 1119 飛機，左圖為初始位置，右圖經過旋轉跟平移。 ... 32 圖 4. 2 編號第 1119 飛機的三軸投影圖：(a)對第一主軸投影、(b)對第二主軸投影、(c)對第三主軸投影。 ... 32 圖 4. 3 編號第 1137 的飛機三軸投影圖：(a)原始未經旋轉的圖形(b)對第一主軸投影、(c)對第二主軸投影、(d)對第三主軸投影。 ... 33 圖 4. 4 編號第 1160 的飛機三軸投影圖：(a)原始未經旋轉的圖形(b)對第一主軸投影、(c)對第二主軸投影、(d)對第三主軸投影。 ... 34 圖 4. 5 編號 1162 的飛機三軸投影圖：(a)原始未經旋轉的圖形(b)對第一主軸投影、(c)對第二主軸投影、(d)對第三主軸投影。 ... 34 圖 4. 6 編號 810 的椅子的三軸投影圖(椅背跟椅腳長度標準)：(a)原始未經旋轉的圖形(b)對第一主軸投影、(c)對第二主軸投影、(d)對第三主軸投影。 36 圖 4. 7 編號 814 的椅子的三軸投影圖(椅背長度短，椅腳長度標準)：(a)原始未經旋轉的圖形(b)對第一主軸投影、(c)對第二主軸投影、(d)對第三主軸投影。 ... 36 圖 4. 8 編號 816 的椅子的三軸投影圖(椅背長度短，椅腳長度長)：(a)原始未經旋轉的圖形(b)對第一主軸投影、(c)對第二主軸投影、(d)對第三主軸投影。 ... 37 圖 4. 9 針對編號 816 在家具資料庫做檢索的結果，左上綠色的為檢索物體依序往右再往下為檢索到的順序，藍色代表正確，紅色代表錯誤。 ... 37

(10)

圖 4. 10 編號第 110 的兔子投影圖：(a)原始未經旋轉的圖形(b)對第一主軸投影、 (c)對第二主軸投影、(d)對第三主軸投影。 ... 38 圖 4. 11 編號第 111 的兔子投影圖：(a)原始未經旋轉的圖形(b)對第一主軸投影、 (c)對第二主軸投影、(d)對第三主軸投影。 ... 39 圖 4. 12 編號 112 的兔子投影圖：(a)原始未經旋轉的圖形(b)對第一主軸投影、 (c)對第二主軸投影、(d)對第三主軸投影。 ... 39 圖 4. 13 PSB 資料庫中編號 3 的原圖。 ... 40 圖 4. 14 PSB 資料庫中編號 2 的原圖。 ... 40 圖 4. 15 點求主成分分析(上排為圖 4.13 的三軸投影圖，下排為圖 4.14 的三軸投影圖。) ... 41 圖 4. 16 權重主成分分析(上排為圖 4.13 的三軸投影圖，下排為圖 4.14 的三軸投影圖。) ... 41 圖 4. 17 格子點化後再以每個格子點求取主成分分析(上排為圖 4.13 的三軸投影圖，下排為圖 4.14 的三軸投影圖。) ... 42 圖 4. 18 連續主成分分析(上排為圖 4.13 的三軸投影圖，下排為圖 4.14 的三軸投影圖。) ... 42 圖 4. 19 動物資料庫精準度對回傳率圖。 ... 46 圖 4. 20 動物資料庫的類別對 DCG 圖。 ... 47 圖 4. 21 家具資料庫精準度對回傳率圖。 ... 48 圖 4. 22 家具資料庫的類別對 DCG 圖。 ... 49 圖 4. 23 常用工具資料庫精準度對回傳率圖。 ... 50 圖 4. 24 常用工具資料庫的類別對 DCG 圖。 ... 51 圖 4. 25 交通工具資料庫精準度對回傳率圖。 ... 52 圖 4. 26 交通工具資料庫的類別對 DCG 圖。 ... 52 圖 4. 27 各別特徵對重要性。 ... 56 圖 4. 28 各別傅立葉描述子特徵的效能。 ... 56 圖 4. 29 各別 Zernike 矩特徵的效能。 ... 56 圖 4. 30 各別傅立葉描述子特徵的效能。 ... 59 圖 4. 31 各別 Zernike 矩特徵的效能。 ... 59

(11)

第一章

緒論

近年來，由於電腦運算速度越趨快速，電腦視覺(computer vision)的應用也越來越廣泛，而 3D 模型的製作早已不是問題，不論是在醫療上，如 DNA 模型，腫瘤，身體內臟等，或者是工業上，如模具製造，建築設計等，對於 3D 模型的使用越來越常見，且相關的模型也已經都製作完成。而如何快速找尋並使用這些已經製造出來的 3D 模型或其他相似的模型也越來越重要。而實際可應用在三維場景中尋找所要的物體將，如在雷射或超音波掃描後產生的三維場景中尋找目標物體如炸彈，刀槍等危險物品、或是找尋身體內的惡性腫瘤，骨刺等。如今 3D 模型檢索的演算法已經提出不少種類，如何改進這些舊有的方法或提出新的方法是一大課題。在本章第一節將說明本論文的研究動機與背景並簡單介紹本論文的方法，第二節整理相關已經被提出的演算法並說明一個好的演算法應該具備什麼條件，第三節提出本論文的架構。

1.1 研究動機與背景

研究動機與背景

如今 2D 圖形檢索早已在網路上發展以久，但 3D 模型卻還只有少數系統可以簡單搜索，且大部分的檢索方式還是以圖形旁的關鍵字搜索而非實際物體的特徵。不像 2D 圖形早就可以使用形狀跟顏色等不同特徵作檢索，而這種以內容為基礎的檢索方法 (content-based retrieval)和分類系統，要如何延伸到 3D 模型上抑或者是使用不同的演算法來抽取 3D 模型特有的特徵以檢索相似模型，即為本論文的動機。本篇論文提出一個以基於主軸分析並藉由傅立葉描述子、Zernike 矩和不同角度投影圖形的大小相關性特徵抽取的 3D 模型檢索系統。首先藉由主成分分析法找出三個主軸並分別對三個主軸做投影，藉由投影圖形求取傅立葉描述子跟 Zernike 矩並同時取出除了傅立葉描述子跟 Zernike 矩之特徵之外的第三種特徵：固定整體模型比例大小比較三個投影圖的形狀比例關係。此特徵是直接藉由計算傅立葉描述子跟 Zernike 矩之特徵

(12)

而不再做大小比例的正規化而完成，其緊密跟傅立葉描述子和 Zernike 矩結合而成，而不需再獨立出來。最後藉由此三種特徵作為檢索 3D 物體的依據，其稍為類似 D. Y. Chen 等人所提出的光場描述子(light field descriptors，LFD)[7]，但本論文所提出的方法因為多考慮了圖像的相對大小，且不再是以 10 個描述子，每個描述子 10 個面當做旋轉變量的克服，取而代之以主成分分析法大幅降低所需要的投影面，使整體所需時間和儲存容量都大幅降低，最後藉由 P. Shilane 等人所提出的普林斯頓形狀評判標準(Princeton shape benchmark，PSB)[3]，使用其中所分類好的資料庫和其他較小但有不同特徵的資料庫跟其他的方法比較，驗證本論文所提出的演算法的檢索效能。

1.2 相關研究

1.3 論文架構

論文架構

本論文的組織架構如下：第二章介紹本論文所使用的主成分分析、對物體做特徵抽取的各種方法、相似度分析跟各種檢索好壞的評判標準。第三章介紹本論文檢索 3D 物體的系統，並詳述其每個步驟。

(15)

第四章為實驗並分析本系統對於旋轉變量的修正效果，之後再針對不同資料庫做檢索並分析，最後針對速度與儲存需求加以討論。

(16)

第二章

第二章相關知識與理論

2.1 主成分分析

主成分分析

主成分分析法

法

法(principal component analysis，

，

，PCA)

，

主成分分析法最早是由美國心理學家 Charies Spearman 在 1904 年提出，之後由霍特林(Hotelling)加以發展的一套統計系統，其為一種簡化數據集的技術。它是一個線性變換，藉由把數據轉換到另一個新的坐標系統中，使得任何數據投影的第一大均方差在第一個坐標(稱為第一主成分)上，第二大均方差在第二個坐標(第二主成分)上，依次類推。因此主成分分析法經常用在減少數據的維數且同時保持數據的均方差貢獻最大的特徵、或者是用在圖形找最大成分的主軸。在本篇論文中主要藉由主成分分析法找出前三主軸，使相似物體的座標能轉換為相似的座標系統，使其在相似的型態下，投影出三個相似的投影面，以克服旋轉變量。雖然在 T. FunkHouser 等人[8]所提的論文，提出主成分分析法對於部分相似物體會因為部分區域比例形狀大小不同，造成主軸偏斜的問題，使之後檢索錯誤，但在本篇論文最後的實驗可知：在基於 Zernike 矩和傅立葉描述子兩種具備旋轉不變性的特徵抽取方法，並加上在相似度比較時作旋轉比較找最佳視角，使對於這項缺點所受的影響其實很小並不顯著。計算主成分分析法，首先必須針對模型上所有點V=

_{

v v₁, ₂, , v_N

_}

，找出模型重

(17)

心，以此克服平移變量，其中點的順序並不會影響到最後的結果。 , 1, , , k k N =

∑

= v v (2-1) { , , }, k = xk yk zk v (2-2) 接著將vk減去重心v，使各點對於重心具有平移不變性： , 1, , , k k k = N v = v - v (2-3) 之後產生資料矩陣向量： [ , , , _N], = ₁ ₂ I v v v (2-4) 其中每列是減去重心之後的點。再建立資料矩陣I 的共變異矩陣 C： T , = ⋅ C I I (2-5) 其中共變異矩陣C的維度是3 3× 。之後再求解共變異矩陣C的特徵值跟特徵向量。 , j j j λe =Ce (2-6) 可以得到共變異矩陣的特徵向量e_j e_j與對應的特徵值λ 。特徵向量_j e_j e_j也就是經過主成份分析後得到的主軸，之後在依照其特徵值大小，由大而小依序排列形成：λ₁、λ₂、 3 λ ，而相對應的e₁也就是第一主軸，e₂為第二主軸，e₃為第三主軸。 [ ], = ₁ ₂ ₃ e e e e _(2-7) 轉換座標方程式如下： , 1, , , k = ⋅ k k= N v e v (2-8) 之後為了使模型整體方向更一致性，讓有較多點的部份為正方向，較少的為負方向。首先令一對角化矩陣F：

(18)

( ( _x), ( _y), ( _z)),

diag sign f sign f sign f

= F (2-9) 其中 2 1 ( ) N x k k k f sign x x = =

∑

⋅ ， f_y跟 f_z作法也相同，sign為求函數的正負符號。而為了使之 後擁有比例大小的一致性，再令 s 為比例大小參數： 2 2 2 1/ 2 [( _x _y _z) / 3] , s= s +s +s (2-10) 其中s_x，s_y，s_z為各點到主軸的平均值。其次把每點跟F和 1 s− 相乘，則得到最後轉換完成的新座標。 1 , 1, , . k s k k N − = ⋅ ⋅ = v F v (2-11) 但如果只使用模型的點座標而不考慮面的話，所求得的新座標對於相似物體還是不夠一致，所以D. V. Vrani´c等人[18]提出權重主成分分析法，藉由每點相鄰面的面積找出每點的權重值以求出新的主軸方向。首先計算出模型上每個三角形網格的面積：令V=

_{

v , v ,₁ ₂ , v_N

_}

為模型上關聯到網格的所有點。 3 , 1, 2, , , k∈ k= N v (2-12) 藉由相鄰面積計算每點的權重值w_k： , 1, , , 3 k k N S w k N S ⋅ = = (2-13) 其中S_k是每點相鄰面的總面積和，S為模型的總面積，且 1 N k k w N = =

∑

。之後再計算增加權重後的新重心m： 1 1 , N k k k w N = =

∑

m v (2-14) 同樣為了求特徵值跟特徵向量，必須再先以下式求新的共變異矩陣C：

(19)

1 1 ( ) ( ) , N T k k k k k w w = =

∑

− ⋅ −

∑

C v m v m (2-15) 最後再以之前求標準主成分分析法相同的方法(2-6)，求其特徵值跟特徵向量，並以特徵值大小遞減排序，即可得到經過加權的主成分分析法的主軸，使經過轉換的座標能更加精確，減少被不均勻分散的點影響的程度能有所降低。但是權重主成分分析法，對於大小不平均的三角面所做的主成分分析並不夠完備，故之後D. V. Vrani´c等人[19]又提出連續主成分分析法(continuous principal component

analysis，CPCA)，藉由計算出三角面內所有點對重心的向量，找出更完美的主軸方向。首先把模型上的所有面設為一三角面集合，所有點設為一點集合： 3 1 { , , }, _m _i , = ⊂ T t t t (2-16) 3 1 { , , _n}, _i ( ,x y z_i _i, )_i , = = ∈ P p p p (2-17) 並設定好一個對應表記住哪三點對哪個面，之後再令 1

U

im= i = I t 為所有三角面的點集合。之後為了找到一個訪射圖(affine map)τ:3→3，使任意連續的σ能具備有平移，旋轉跟比例大小的不變性，如下： ( ) ( ( )), ( ) : { ( ) | }, τ τ σ σ σ = = ∈ I I I v v I (2-18) 首先跟權重主成分分析法同樣的令S_i為T_i的面積，並假設面跟面的交界值為零，使整個模型面積為： 1 : ... _m , S =S + +S =

∫

d I v (2-19) 同樣為了克服平移變量，把所有點減去重心 c ，形成新的一組I₁： := − ={ | = , ∈ }, 1 I I c u u v - c v I (2-20) 再來是藉由積分求新的變異矩陣：

(20)

1 1 , T d S =

∫

⋅ I C v v v (2-21) 之後再以式(2-6)求解C的特徵值跟特徵向量e，同樣依照特徵值大小由大往小依序排列。為了使方向一致，由式(2-9)求對角矩陣F，並且為了使比例大小有一致性，由(2-10) 求比例參數 s 。最後得到訪射圖方程式如下，其也就是座標轉換公式： 1 ( )v s ( ). τ − = ⋅ ⋅ ⋅F e v c − _(2-22)

2.2 擷取特徵的方法

擷取特徵的方法

擷取特徵是檢索或辨識系統中最重要的一環，良好的特徵不僅能使系統檢索快速，並且也能提高正確率。在檢索系統中通常可將特徵分為全域特徵，區域特徵，全域特徵通常是以統計為主，其特性就是計算簡單，檢索快速，系統強健，但效果通常不佳，如 D2。區域性特徵特性是計算較為複雜，較易受雜訊干擾，容易受物體本身姿態影響，但檢索效果較佳。而本篇論文所使用的特徵，傅立葉描述子跟Zernike矩皆為區域性特徵，其在D. Zhang等人[17]的論文早已證明其在2D圖形檢索上的效能，且合併使用更能得到最佳效能。以下首先介紹為了傅立葉描述子所要先做的輪廓提取的方法，再來是各種傅立葉描述子，最後則是Zernike矩的特徵抽取方法。

2.2.1 輪廓提取

輪廓提取

輪廓提取的目的是獲得影像的外部輪廓特徵，是為影像形狀分析作準備，在本篇論文是為了給傅立葉描述子作預先的轉換。輪廓提取的方法有很多種，如梯度法，或者是用型態學先對原影像進行腐蝕，在藉由原影像減去腐蝕後的影像，更簡單的方法是尋找圖中每個黑點，且其八個相鄰點皆為黑色時，即刪除該點，但後兩種方法皆可能會得到內部輪廓，而這在傅立葉描述子的運算中並不需要，而本論文所處理的圖形也只是二值影像，並不需要使用梯度法。所以最後採用的是輪廓追蹤法，如此一來也可把輪廓點依序排好不需在做好輪廓圖後重新排序。

(21)

輪廓跟蹤的基本方法是：首先找到第一個邊界像素其為最左下方的黑點，可由下往上，並由左往右尋找第一個遇見的黑點，記為A₀點，而其右、右上、上、左上四臨點必含有一個邊界點，記為A₁。再從A₁開始找起，按右、右上、左上、左、左下、下、右下的順序找相鄰的邊界點A₂，若A₂就是A₀，則表明已經旋轉一圈，程式結束，否則就繼續尋找下個相鄰邊界點，直到再次找到A₀為止。但此方法運算量較大，可藉由稍稍的改變跟蹤準則使整個過程簡化。首先跟上述方法相同的方法找到第一個起始點A₀，定義初始的搜索方向為沿左上方，如果左上方為黑點則為邊界點，否則搜索方向順時針旋轉45度，直到找到黑點，然後把此點定為A₁，並把當前搜索方向逆時針旋轉90度，繼續尋找下一個黑點，直到返回第一個初始點為止，則程式結束，如下圖。圖2. 1 輪廓追蹤圖。

2.2.2 傅立葉描述子

傅立葉描述子

傅立葉描述子(Fourier descriptors)

傅立葉描述子是一種以輪廓特徵為基礎的特徵抽取工具，在2D圖像檢索中已經是很有效的一種方法，其可經由正規化(normalize)使其對平移、旋轉，和比例大小具有不變性。而基於不同方法來取特徵，其正規化的方法也有些許不同，而辨識效果也有顯著的差別，其中依照其採取特徵的不同可分為中心距離傅立葉(radius Fourier)，面積傅立葉(area Fourier)，角度傅立葉(angular Fourier)，複數平面傅立葉(contour complex Fourier)，極座標傅立葉(polar Fourier)和綜和角度跟中心距離傅立葉(angular radius Fourier)等，從I. Kunttu 和L. Lepiston[12]所提出的論文，可知綜和角度跟中心距離傅立葉的檢索效果為最佳，其次是中心距離傅立葉，而且這兩種方法明顯勝過其他方法，但

(22)

在本論文中比較中心法搭配Zernike矩跟中心角度法搭配Zernike矩的效能，其中以中心法搭配Zernike矩的效能較優，且不必使用更多的參數作最佳化。 1. 中心距離傅立葉：在平面上輪廓可以以一維的方程式來表示，使傅立葉方程式只需要處理實數部分，可以簡化計算量，其中中心法就是以物體輪廓上每一點到物體中心的距離為特徵方程式，定義如下： 2 2 ( ) ( _k _c) ( _k _c) , 1, , , r k = x −x + y −y k= N (2-23) 其中(x_k, )y_k 為物體上輪廓的一點，( , )x_c y_c 為物體的中心點，N為邊界點的總數。 2. 面積傅立葉：這方法主要是以邊界上兩點跟中心所夾的三角形面積作為特徵方程式，其也是一維方程式，故做傅立葉轉換時也只需做實數部分，定義如下： 1 1 ( )( ) ( )( ) ( ) . 2 k c k c k c k c x x y y x x y y a k = − + − − + − − (2-24) 3. 角度傅立葉： 這方法是以兩個邊界點與水平軸的夾角，其也是一維方程式，其中 w 為一固定 常數，可因所取的輪廓點總數不同而有所不同，但從論文[13]和[14]可知這種取特徵的方式跟其他方法比起來檢索效能非常低。其定義如下： 1 ( ) tan ( k k w). k k w y y k x x ϕ − − − − = − (2-25) 4. 複數平面傅立葉： 這方法主要是把原本座標的 x 當做傅立葉方程式中的實數部份，而y當成虛數部，使原本圖型投影到複數平面，形成一維的複數方程式，定義如下： ( ) ( _k _c) ( _k _c). z k = x −x + j y −y (2-26) 5. 極座標傅立葉：這方法則是把平面座標系改成極座標系，使距離為傅立葉方程式的實數部，角度則為虛數部，其中距離也就是式(2-23)的r k( )，定義如下：

(23)

( ) ( ) ( ). p k =r k + jθ k (2-27) 6. 綜和角度跟中心距離傅立葉：這方法主要是結合第一跟第二種方法，其原因是因為中心距離法並無法考慮空間中個點的關係，而由角度法作為彌補，形成一個一維複數傅立葉方程式，定義如下： ( )k r k( ) jϕ( )k Γ = + (2-28) ( ,x y_c _c) _{( ,} ₎ c c x y ( ,x y_c _c) ( ( ), ( ))x k y k ( (x k−w y k), ( −w)) ( ) r k a k( ) ( )k ϕ (a) (b) (c) ( ,x y_c _c) ( ,x y_c _c) ( ,x y_c _c) Re Im ( ) z k ( ) r k ( )k θ ( ) r k ( ( ), ( ))x k y k ( (x k−w y k), ( −w)) ( )k ϕ (d) (e) (f) 圖2. 2不同傅立葉特徵，(a)中心傅立葉、(b) 面積傅立葉、(c) 角度傅立葉、(d) 複數平面傅立葉、(e) 極座標傅立葉、(f) 綜和角度跟中心距離傅立葉。選定好抽取特徵的方法後，對參數作傅立葉轉換，但因為上述所說之特徵參數均為離散訊號，故必須使用離散傅立葉轉換，其定義如下：

(24)

1 0 1 2 ( ) ( ) exp( ), 0, 1, , 1, N k nk F n f k n N N N π − = − =

∑

= − (2-29) 其中F n( )也就是 f k( )的傅立葉轉換後的值。其中為了使每項係數都能具有旋轉不變的性質，故只取F n 的大小，而不考慮正負。其次為了使傅立葉描述子具有比例大小不( ) 變性，要針對複數特徵時把每項F n( )除以F(1)，定義如下： ( ₂ 1) ₁ ₂ ₂ 1 1 1 1 , , , , , , T L L F _F _F F F F F F − − ₋           (2-30) 而針對特徵是實數時，每項F n( )除以F(0)，定義如下： 1 2 0 0 0 , , , , T L F F F F F F         (2-31) 其中L為一固定值，越大代表特徵的維度越高，且不可超過輪廓總數 2 N ，超過的特徵值為重複的特徵值並不需要。

2.2.3 Zernike 矩

矩

Zernike矩是一個以區域特徵為基礎的圖像檢索工具，且在D. Zhang和G. Lu[17]所提之論文中證明其在平面空間中的檢索效果比傅立葉還好，主要就是因為其能考慮更多細節，並且因為其為一正交複數矩，藉由正交多項式處理在一單位圓內的形狀特徵。故可以保證其所提供之特徵相關性小，重複度低。並且 Zernike 矩對於平移和旋轉也具有不變性而再經過正規化後也可具有比例大小的不變性，故其為一良好的圖像搜索工具。其低階矩是描述物體整體的形狀特徵，高階矩為描述物體細微的變化，故適當選擇使用其低階矩能得到很好的檢索成果。Zernike矩的定義如下： 2 2 1 ( , )[ ( , )] , where 1, mn mn x y m Z f x y V x y dxdy x y π ∗ + =

∫ ∫

+ ≤ (2-32)

(25)

其中 m 為 Zernike 矩的階數，m=0, 1, , ∞， f x y( , )為圖像亮度，＊代表共軛複數， 當 n 為正整數，其為旋轉角度依存，且要滿足 (m− n)=even _，n≤ m 。之後把 Zernike 矩轉換成極座標表示： 2 1 1 ( , ) ( , ) , where 1, mn mn m Z f r V r drd r π θ θ θ π + =

∫ ∫

≤ (2-33) 其中 2 2 r= x +y ， 1 tan ( / )y x θ − = 。而為了方便計算可再把Zernike多項式改為： ( , ) ( ) exp( ), mn mn V r θ =R r jnθ (2-34) 其中 j= −1，( , )r θ 的範圍定義在單位圓上，R_mn( )r 為正交徑項多項式，其定義如下： 2 2 2 0 ( )! ( ) ( 1) , !( )!( )! 2 2 m n m s mn s m s R r r m n m n s s s − − = − = − + − − −

∑

(2-35) 而對於 f x y( , )只為純實數且為離散時，可將式(2-32)改為： 2 2 1 ( , )[ ( , ) ( , )], where 1, mn mn nm x y m Z f x y VR x y jVI x y x y π + =

∑∑

+ + ≤ (2-36) 其中VR_mn( , )x y 為V_mn( , )r θ 的實數部分，VI_nm( , )x y 為V_mn( , )r θ 的虛數部分。最後為了使 Zernike 矩具有旋轉不變性，故對Z_mn只取其大小 Z_mn 不考慮正負，而為了使Zernike矩具有比例大小不變性，再對其每一項Z_mn除以Z₀₀作比例大小正規化，但不包含Z₀₀本身，而Z₀₀也就是其在單位圓所佔的面積，作法如下： 10 20 22 00 00 00 00 , , , , , T Z Z Z Z Z Z Z Z ∞∞         (2-37) 整個Zernike矩的特徵向量抽取流程如下：

(26)

圖2. 3抽取Zernike矩特徵向量流程圖。首先針對每一張圖像必須先作二值化，使圖形變成只有黑與白的圖像，其次藉由 (2-36)式，計算每個Z_mn，之後再對每項Z_mn做比例大小正規化。當m=4時，形成特徵向量集合

_{

Z₁₁,Z₂₀,Z₂₂,Z₃₁,Z₃₃,Z₄₀,Z₄₂,Z₄₄

_}

，階數越大特徵值越多。但是代表性也將越低，因為越高階屬於越小的變動，容易因雜訊或小部分的不同而有很大的差異，故作檢索時階數要取得適當，而不要過多。

2.3 相似度分析

相似度分析

要如何分辨兩物體的相似度分析，通常主要使用的是兩物體的距離，也就是差異度而非是相似度。當距離越小，相異度也就越小，相似度也就越高。J. H. Tangelder等人[13] 在論文中提出一個好的距離( d )評判標準在相似模型集合S中應該要符合以下幾個定義： 1. 一致性：對於所有 x∈S d x x, ( , )=0。 2. 正定性：對於所有 x≠ y in , ( , )S d x y >0。 3. 對稱性：對於所有 x≠ y in , ( , )S d x y =d y x( , )。

(27)

4. 三角不定性：對於所有x y z, , ∈S d x z, ( , )≤d x y( , )+d y z( , )。 5. 轉移不變性：對於一個座標轉換矩陣G，對於所有x y, ∈S， ( , ) ( ( ), ( )) d x y =d G x G y 。第一種性質是指對於同物體所抽取出的特徵距離為零，也就是跟自己要完全相似，而第二種性質是不同的物體其一定有所不相似，這是高階的描述子應該要有的強健性，但大部分的描述子皆沒有此項性質，但缺乏此性質也不算是嚴重的缺點，因為可能只是省略了部分不需要的小區塊而造成此問題。第三種特性也並不是必要的，畢竟就算從人眼中觀看，這項性質也不一定會成立，很有可能只會覺得猴子像人，但人不像猴子，兩邊的差距並不對稱。而三角不定性通常在區域形辨識系統上並不遵守，常會有區域相似但整體不相似。轉移不變性則是是模型檢索一定要具備的條件，其就是前面所講的平移不變性，旋轉不變性，跟比例不變性的綜合體。最常使用的距離判斷是範數距離(norm)： 1 ( n) ,n n norm i i d ₋ =

∑

x −y (2-38) 當n=2時，就是歐基里德距離，是常用的距離標準。不過在本論文的演算法其距離都以1-norm為標準，因實驗結果其檢索效能比使用2-norm來的較佳。

2.4 檢索評判標準

檢索評判標準

當檢索結果出來時，必須判斷其檢索成果的好壞，以知道其整個系統的效能，以下列出，幾種常用方法： 1. 精準度對回傳率圖(precision-recall plot)：將回傳物體對正確率作一條相關性曲線，對一個分類，其內含C個物體，從其

(28)

中一個物體尋找最相關的K個物體，準確度則為這K個最相似物體的正確度，K必須小於C。故當一個物體回傳越多，其準確度通常會越低，而一個完美的系統是不管回傳多少準確度永遠為一。而其中精確度(precision，p)跟回傳率(recall，r)定義如下： TP , TP+FP p= (2-39) TP , TP+FN r= (2-40) 其中 TP 為想要並且檢索到的資料(true positive)，TN 為不想要也沒檢索到的資料

(true negative)，FN為想要但沒檢索到的資料(false negative)，FP為不想要但檢索到的資料(false positive)，如下圖所示：想要的資料

FN

TP

FP

檢索到的資料

TN

圖2. 4 精確度對回傳率代表圖。 2. 最近相鄰者(nearest neighbor，NN)：對一物體檢索到最接近的物體為相同分類的正確度，理想值為100%，其值越高代表系統效果越好。 3. first-tier 和second-tier：檢索結果對同一類型內含C個物體的分群，其中最相似的K個物體的正確率，對First-tier而言，K = C − ，而對1 Second-tier而言，K =2 *(C −1)。理想值為100%，分數越高代表效果越好。

(29)

4. E-measure：一個組合正確與不正確機率的修正參數，通常用來表達在第一頁找到相關物體的準確度，故只計算檢索到的前32個物體。其中p跟r定義同式(2-38)跟(2-39)， E-measure定義如下： 2 . 1 1 E p r = + (2-41)

5. discounted cumulative gain (DCG)：

統計關於正確結果越早出現分數越高的統計量，是對搜尋引擎常用的一種標準。當一個物體被檢索到時其為相關物體則G_i為1，否則為0，其定義如下， 1 1 2 , 1, , otherwise, lg ( ) i i i G i DCG G DCG i − =   = +   (2-42) 當計算完畢後除以最大可能值如下： 2 , 1 1 lg 2( ) k C j DCG DCG j = = +

∑

(2-42) 其中k為資料庫中模型的總數。DCG值理想結果為一，同樣當分數越高代表系統越好。

(30)

第三章

第三章檢索系統

檢索系統

本章提出一個基於主軸分析與區域特徵抽取的檢索系統，其擁有位移、旋轉以及比例大小不變性的特性。檢索系統的架構圖，如圖 3.1 所示。首先對每一個 3D 模型作前處理，定義整體解析度為(2R，2R，2R)，使每一個物體的中心都在座標(R，R，R)上，以此克服位移變量，並把最遠點到中心的距離轉換為解析度的一半R，使相似物體具有一固定的比例大小，使其有比例大小的不變量，之後藉由主成分分析定出主軸旋轉物體並輸出成格子點，使相似物體具有相同的座標系，以克服旋轉變量，但由之後實驗可知只做主成分分析法並不能完全克服旋轉變量，故之後所使用的特徵抽取也需具備旋轉不變量，並在最後相似度比對時必須旋轉物體找最佳解，才能完整克服旋轉變量。做完前處理後，抽取三種不同特徵：傅立葉描述子、Zernike 矩跟三軸投影圖形的相關大小，其中圖像相關大小特徵隱含在另兩種特徵之內。且在計算傅立葉描述子之前，必須先找出輪廓的每點位置當作傅立葉方程式的值，並且在計算傅立葉描述子特徵時，不做最後的比例大小正規化這一步驟，而 Zernike 矩特徵同樣也不作比例大小正規化這步驟，如此圖像大小相關性則存在在這兩項特徵之內，最後把此兩種特徵向量權重相加，得到3D 物體的相似度，把其相似度依序排列也就是檢索結果。本方法跟D. Y. Chen提出的論文 (LFD)[7]都均為以2D圖形為檢索準則的演算法，但克服了LFD所需要的龐大運算量跟儲存空間，其原因就是以主成分分析法等相關步驟克服旋轉變量，並藉由各個圖像大小相關性取代多面特徵比較，使運算簡化並且對於相似物體擁有更好的容忍度，使檢索效果更佳。以下第一節說明離線架構的步驟，第二節說明在線架構的部份。

(31)

在線架構離線架構前處理特徵抽取所有3D模型 _{三維模型特} 徵資料庫檢索物體的模型前處理特徵抽取相似度分析輸出相似物體圖3. 1 檢索系統架構。

3.1 離線架構

離線架構

本節將介紹檢索系統的離線架構，如圖3.2所示，此階段是在實際檢索物體前必須先作的準備，首先要針對所有要處理的3D模型資料做前處理，平移、旋轉跟比例大小的變換，使相似物體有相同中心位置，姿態跟比例大小並輸出成格子點，使原本點數過多的模型減少太過於細節的部份和補足原本點數過少的模型的點跟點間太過空洞的部份，然後投影輸出 2D 圖型並抽取傅立葉描述子的特徵向量跟 Zernike 矩的特徵向量，最後輸出特徵向量形成3D模型的特徵資料庫，之後在使用此系統時則只需在特徵資料庫中尋找相關特徵，則能達到檢索相關物體的效果。

(32)

三維模型主成分分析找主軸座標轉換（旋轉平移縮放）對三個主軸做投影形成二值影像計算 Zernike 矩的特徵值尋找輪廓計算中心傅立葉描述子的特徵值輸出特徵值 Z(0)到Z(25) 輸出特徵值 FD(0)到 FD(10) 儲存為資料庫

前

處

理

特徵抽取格子點化圖3. 2 離線架構圖。

3.1.1 前處理

前處理

一個好個檢索系統，對於每一個物體都必須要有適當的前處理，使物體具有位移，旋轉和比例大小的不變性，如此就算輸入的物體初始式不同角度位置，或比例大小，也能有相同的檢索效果，其流程圖如下。

(33)

3D模型解決旋轉解決比例大小解決平移輸出格子點圖3. 3 前處理流程圖。前處理的第一步是克服旋轉變量，本篇論文是以主成分分析法找出整個物體的三大主軸，並轉換座標系使相似或相同的物體都會有相同的座標軸，如圖3.4 所示，則之後投影出來的圖型也能具備相似的形狀，在最後也才能有正確的相似度判斷，不過因為主成分分析法還是可能會因為物體部分的變動，使三大主軸顛倒或互換，而最糟的結果是完全沒對齊，但從之後實驗結果可知，主軸完全沒對齊的結果非常少，主要會發生的問題是主軸的顛倒或互換，故在此階段並沒有完全克服旋轉變量，必須在之後搭配傅立葉描述子跟 Zernike 矩並利用其所具備的旋轉不變量加以克服主軸的偏移，並在最後的相似度比對時做三大投影圖旋轉找最佳組合的步驟。

(34)

圖3. 4 3D模型旋轉圖。為了準確計算主成分分析的主軸，本篇論文使用D.V. Vrani´等人[19]所提出的連續主成分分析法(CPCA)找出模型的前三大主軸，並開始對原始資料作主軸旋轉。即每個點的p_i =( , , )x y_i _i z_i 乘上主成分分析法計算出來的特徵向量e=[ , , ]e₁ e₂ e₃ _{，形成新的點為} ( , , ) i = x yi i zi p ，作法如下： , i = i⋅ p p e _(3-1) 其次要對模型作比例( S )的固定，使相似模型具有相似的比例大小，且能使之後的特徵向量大小能具有比例相關性，形成一個新的特徵。故以模型上的點到模型中心點 ( , , )x_c y_c z_c = c 的最遠距離(L_max)的兩倍作為新格子點的總長度，然後對每點作比例縮放，並且把物體中心移到格子點的中心處( R，R，R)，作法如下： max / 2 , S=R L (3-2) ( ) , i = i− ⋅S p p c _(3-3) 最後把資料庫的物體從點跟面資料轉換成格子點(grid voxel)型態，使原本點數太少的模型之後的投影圖不會產生內部空洞。對於一個有三個點A，B，C的面，其相對位置為a，b，c轉換為格子點，必須依

(35)

照以下步驟：

Step1 voxel floor i( ( ))=1 ,i=a b c, , , Step2 letat =a b, t = , r=1, b Step3 when a b_{t t} >r , ( ( )) 1, t t t t t a a a b r voxel floor a = + × = Until a b_{t t} ≤r. Step4 if ac> ×1 r&bc> ×1 r, , a= +a ac r× b= +b bc r× , Return Step2 else end. 圖3. 5 格子點轉換假碼。其中r為每次檢索的範圍，當r越小則所轉換的三角形邊界越準確，但也越耗時間，在本篇論文中r定為1。完成上述的座標轉換跟格子點化後即完成前處理的動作，接下來則要對格子點作主軸投影並作特徵抽取。

3.1.2 特徵抽取

特徵抽取

首先為了要抽取傅立葉描述子跟Zernike矩，必須把3D模型先轉為2D圖型，故先對X，Y，Z三主軸作垂直投影，形成三張二值化影像，如圖3. 5所示，在實驗中解析度定為256*256 像素，更高的解析度會增加整體的運算複雜且會使特徵太專注於細節，但過低的解析度也會造成Zernike矩的檢索效果嚴重下降。

(36)

圖3. 6三主軸投影圖。其次對兩種特徵抽取方法將分成兩部分：首先對傅立葉描述子作特徵抽取前，必須要先找尋三張影像的輪廓，如圖3. 6所示：圖3. 7 三主軸輪廓圖。之後再以輪廓上每點到中心點的距離為傅立葉參數，經過傅立葉轉換，計算出傅立葉描述子的前11個特徵值F(0)到F(10)，這包含了平常用來作為大小正規化的F(0)，其代表意義是本張圖型所有輪廓點到中心的平均距離。而 Zernike 矩則是直接針對三張 2 值化的影像作處理，在本篇論文中選定階數(m) 為8，共25個參數，其每階所含的矩個數如表3. 1所示，更高階的矩經由實驗知道其所含有的資訊已經是太過細節的部份，對於檢索系統的效能並沒有幫助，只會增加更多的運算故不使用。

(37)

表3. 1 Zernike矩每階所含的矩。

m Moments No. of Moments

0 Z00 1 1 Z11 1 2 Z20，Z22 2 3 Z31，Z33 2 4 Z40，Z42，Z44 3 5 Z51，，Z53 Z55 3 6 Z60，Z62，Z64，Z66 4 7 Z71，Z73，Z75，Z77 4 8 Z80，，，，Z82 Z84 Z86 Z88 5 其次在對每張投影圖形計算Zernike矩前，必須先計算好每階所會形成的不同亮度的單位圓圖形，其超過單位圓的部份階設為0，如圖3. 7所示。最後投影圖以一對一的方法對每張單位圓圖形相乘能快速得到Zernike矩的特徵向量Z₀₀到Z₈₈，其中也包含了原本作為比例正規化參數的Z₀₀，最後在把每個模型依序儲存為特徵向量，形成特徵資料庫。

(38)

00 Z Z₁₁ Z₂₀ Z₂₂ Z₃₁ 33 Z Z₄₀ Z₄₂ Z₄₄ Z₅₁ 53 Z Z₅₅ Z₆₀ Z₆₂ Z₆₄ 66 Z Z₇₁ Z₇₃ Z₇₅ Z₇₇ 80 Z Z₈₂ Z₈₄ Z₈₆ Z₈₈ 圖3. 8 Zernike矩每階所形成的不同單位圓。

3.2 系統在線架構

系統在線架構

在線架構部分是提供給使用者能快速檢索相關物體的部份，其架構圖如圖3. 8，首先將要檢索的物體作前處理跟特徵抽取，再把特徵向量跟資料庫中所有3D模型的特徵向量作相似度比較，故如果特徵向量儲存越多，將會使檢索速度越慢，故特徵向量越少但具有足夠代表性會越好。而在線階段的前處理跟特徵處理階段跟離線階段相同，故本節只再介紹相似度分析。

(39)

圖3. 9 系統在線架構。

3.2.1 相似度分析

相似度分析

當檢索相似物體時，首先也要對檢索物體作前處理之後再求取檢索物體的 Zernike 矩和傅立葉描述子的特徵向量。最後再針對所求得的特徵向量跟特徵資料庫作相似度比較。首先Zernike矩對於一個影像，所求得的特徵向量會有兩組，正面Z i₁( ), i=0, , 24 和反面Z i₂( ), i=0, , 24，而為了處理雖然主成分分析法轉成相似型態，但卻沒有完全克服旋轉變量的物體，其還是會因為不同物體雖然整體相似但因為部分的變化，發生正方向顛倒或主軸顛倒的情形，形成沒有對齊的狀況，故在此最後比對階段時要以一對一面的特徵向量距離和為最小的解為其最後的比對依據，如下式。 ,1,1 , , ,2,1 , , ,3,1 , ,

min(min( ( , )) min( ( , )) min( ( , )), 1, 2, 3

for 1, 2,3 , 1, 2, 3

iz q i a k q i b k q i c k

k k k

d dist Z Z dist Z Z dist Z Z a b b a c c a c b = + + =   = ∧ ≠   ₌ _{∧ ≠ ∧ ≠}  (3-4) 其中 Z 的下標第一項q是指檢索模型，i為資料庫內的任意模型，下標第二項為第幾個投影面，下標第三項為正反面，1為正面，2為反面。

(40)

而傅立葉描述子針對一個影像，只需求得一組特徵向量F i( ), i=0, , 10，因為正反面的中心距傅立葉描述子的特徵向量幾乎相等，故省去反面的特徵向量只取正面所得到的特徵向量，其次和 Zernike 矩一樣，為了完全克服旋轉變量，必須取一對一面的最小和，求特徵距離如下式： ,1 , ,2 , ,3 , min( ( , ) ( , ) ( , )), 1, 2, 3 for 1, 2,3 , 1, 2, 3 if q i a q i b q i c

d dist F F dist F F dist F F a b b a c c a c b = + + =   = ∧ ≠   ₌ _{∧ ≠ ∧ ≠}  (3-5) 其中以1-norm當作兩個特徵向量的距離，而又因為使用的Zernike矩跟傅立葉描述子是並未大小正規化的特徵向量，所求得的距離會差異很大，為了使兩參數較好結合，再把這兩特徵向量的參數皆除上兩特徵向量的最遠距離，使傅立葉描述子跟 Zernike 矩所求得特徵向量的距離都在0到1之間，之後在特徵向量前加上權重值讓兩參數相加形成最後的兩物體的差異距離d_i。

/ max( ), for all database model,

iz iz iz

i

d =d d i (3-6)

/ max( ), for all database model,

if if if i d =d d i (3-7) , i iz if d =d ⋅ +w d (3-8) 其中 w 為權重值，針對於不同database將有不同的最佳解，預設為1。最後兩物體的相似度( SM )的定義如下式： (1 ) , (1 ) w d SM w + − = + (3-9) 當其值越大代表兩物體越相似，當值為1時代表兩物體完全相同。

(41)

第四章

實驗結果與分析

在本章第一節將說明整個實驗平台，其次第二節是實驗主成分分析加旋轉變量修正的效果與不同方法下主成分分析的結果，之後第三節分析在PSB資料庫跟不同類別的小型資料庫中檢索物體的成效並比較本方法與其他方法的優劣，之後再比較不同方法的運算複雜度跟空間需求，第四節是針對不同資料庫所需特徵數加以探討，最後第五節是對整個實驗的結果作分析。

4.1 實驗平台

實驗平台

實驗的平台是在Intel CPU 2.4Ghz的電腦上，以Visual Studio 2005的環境中完成整個演算法。其中有使用到Open CV的程式資料庫跟PSB[3]所提供的程式碼。本實驗中的所有3D物體均為PSB資料庫中的3D物體，其3D模型的點數從數十到上萬都有。

4.2 主成分分析法驗證

主成分分析法驗證

主成分分析法為一尋找最大分布的正交主軸的工具，本身已具備有平移，旋轉，比例大小的不變性，但在本節將先說明主成分分析本身的旋轉不變性對於在檢索物體時並不完備，需要加以修正才能完整克服旋轉變量，之後再以不同方法求取主成分分析，說明以不同的方法求取主成分分析將對整體檢索結果有很大的影響。

4.2.1 主成分分析法的旋轉變量修正

主成分分析法的旋轉變量修正

主成分分析法雖然本身即具有平移跟旋轉的不變性，但是這個特性只對於同一物體而具有不同初始角度時方有作用，即當同一物體輸入時就算是中心位置不同且座標軸也不同，但之後藉由乘上主成分分析法所求得的特徵向量還是能把物體主軸轉成一致的，如圖4.1的飛機，對於不同的起始輸入座標，但同樣都是輸出圖4.2這三張投影圖。

(42)

圖4. 1編號第1119飛機，左圖為初始位置，右圖經過旋轉跟平移。 (a) (b) (c) 圖4. 2編號第1119飛機的三軸投影圖：(a)對第一主軸投影、(b)對第二主軸投影、(c) 對第三主軸投影。但是對於相似物體，就可能會出現圖樣顛倒的情形，如圖4.2跟圖4.3為兩架不同的飛機，但都是屬於兩翼型飛機類型。卻明顯可看出每張圖均左右相反。其原因是因為當物體處於極為對稱的情況下，容易因為小部分的變化而造成主軸正向顛倒，而導致圖與圖形成左右顛倒的情況，所以之後必須配合具有旋轉不變性的特徵抽取。

(43)

(a) (b) (c) (d) 圖4. 3編號第1137的飛機三軸投影圖：(a)原始未經旋轉的圖形(b)對第一主軸投影、(c) 對第二主軸投影、(d)對第三主軸投影。而除了顛倒以外更嚴重的情形是各主軸順序顛倒的情形，如下面兩架飛機的三主軸投影圖，可明顯由圖4.4和圖4.5可看到兩架飛機的投影圖順序不一致，圖4.4的(a)應該要對應到圖4.5的(b)，而圖4.4的(b)應該對應到圖4.5的(a)，且兩張圖的(c)旋轉了90 度，若只使用主成分分析的旋轉不變性，而之後的特徵抽取沒考慮旋轉變量的話，檢索結果必然會出現錯誤。

(44)

(a) (b) (c) (d) 圖4. 4編號第1160的飛機三軸投影圖：(a)原始未經旋轉的圖形(b)對第一主軸投影、(c) 對第二主軸投影、(d)對第三主軸投影。 (a) (b) (c) (d) 圖4. 5編號1162的飛機三軸投影圖：(a)原始未經旋轉的圖形(b)對第一主軸投影、(c)對第二主軸投影、(d)對第三主軸投影。從以上兩例可知只作主成分分析並不足以克服旋轉變量，必須在之後抽取特徵時也

(45)

要具備有旋轉不變性，而傅立葉描述子跟Zernike矩正都具備這一特性。而對於主軸順序顛倒，則必須要在相似度比對時，旋轉找尋最佳的對應方式，也就是旋轉主軸投影圖並找出最相似的一組解。而因為是三對三的判斷，故只需判斷六種組合，其和最小則為最相近，以此值定為這兩個物體的距離。而由以下實驗可看出，有做此修正能改善因主軸順序顛倒而造成錯誤的檢索，而提昇效能。在此直接針對PSB資料庫作整體的檢索判斷，以下兩種方法只差異在有作旋轉修正跟不作旋轉修正直接作比對。由下表可知有作修正的方法可克服原本對於旋轉變量處理不佳的物體做修正，進而提昇檢索的正確率。表4. 1有無旋轉修正比較表。

方法 NN first-tier second-tier E-measure DCG

有做修正 0.648 0.387 0.494 0.287 0.643

直接比對 0.634 0.386 0.493 0.286 0.641

而在T. Funkhouser等人的論文[8]提出主成分分析的另一問題，對於部分物體具有相似型態，但因為部分區域的比例或形狀不同形成主軸偏移的情況。但在實驗中發現對於這種狀況，影響其實不大。在PSB資料庫中的基礎分類(base classification)中的測試(test)

分群中的907個模型中，發生主軸偏移的現象發生在不同長度或形狀的椅背，其椅子的主軸發生偏移如圖4.7到圖4.9，但因為傅立葉描述子跟Zernike矩都具備旋轉不變性，所以還是都能完整的檢索到正確的相似模型，如圖4.9對編號816的椅子在家具資料庫做檢索，其檢索結果為完全正確，而整體來看在家具資料庫實驗時發現，餐廳椅的檢索效果還是各個方法中最佳，如圖4.16。

(46)

(a) (b) (c) (d) 圖4. 6編號810的椅子的三軸投影圖(椅背跟椅腳長度標準)：(a)原始未經旋轉的圖形(b) 對第一主軸投影、(c)對第二主軸投影、(d)對第三主軸投影。 (a) (b) (c) (d) 圖4. 7編號814的椅子的三軸投影圖(椅背長度短，椅腳長度標準)：(a)原始未經旋轉的圖形(b)對第一主軸投影、(c)對第二主軸投影、(d)對第三主軸投影。

(47)

(a) (b) (c) (d) 圖4. 8編號816的椅子的三軸投影圖(椅背長度短，椅腳長度長)：(a)原始未經旋轉的圖形(b)對第一主軸投影、(c)對第二主軸投影、(d)對第三主軸投影。圖4. 9針對編號816在家具資料庫做檢索的結果，左上綠色的為檢索物體依序往右再往下為檢索到的順序，藍色代表正確，紅色代表錯誤。而發生更為嚴重的主軸未對齊現象是在第35號模型的胖鳥，第112號模型的胖兔，跟第389號模型教堂。但其發生主軸無法對齊的原因主要是因為部分區域差異度太大，或是整體比例已經完全不同。以下以兔子的模型做例子，其中下面三個皆為兔子模型，但經過前處理後對主軸投影，前兩隻兔子還是能正確辨識，各個投影圖都還是相似型態，但第三隻兔子卻產生主軸跟前兩隻兔子的主軸沒對齊的情形，造成之後檢索錯誤。這種錯誤通常只會發生在基

(48)

本形狀已經有所改變，如圖4.12的兔子，其4隻腳已經跟身體黏合在一起了，跟前兩隻兔子皆有明顯的四隻腳有所差異，而頭頸的部位也跟其他兩隻兔子有所差異，且身體明顯比前兩隻圓滾跟胖，因此在計算主成分分析時才會出現錯誤的主軸，若要修正這種錯誤，必須要找尋更佳的主軸評判工具，或者是藉由整個物體包含體積內部所有點都作主成分分析，而不單只有表面作主成分分析，如此才能避免這種錯誤。 (a) (b) (c) (d) 圖4. 10編號第110的兔子投影圖：(a)原始未經旋轉的圖形(b)對第一主軸投影、(c)對第二主軸投影、(d)對第三主軸投影。

(49)

(a) (b) (c) (d) 圖4. 11編號第111的兔子投影圖：(a)原始未經旋轉的圖形(b)對第一主軸投影、(c)對第二主軸投影、(d)對第三主軸投影。 (a) (b) (c) (d) 圖4. 12編號112的兔子投影圖：(a)原始未經旋轉的圖形(b)對第一主軸投影、(c)對第二主軸投影、(d)對第三主軸投影。

(50)

4.2.2 不同求取主成分分析的方法實驗

不同求取主成分分析的方法實驗

主成分分析法對於本論文的成效佔有很大的影響，故在本節分析直接從點求主成分分析、權重主成分分析、格子點化後再以每個格子點求取主成分分析跟連續主成分分析。針對在PSB資料庫中編號3跟編號4的物體做評判，其中這兩個物體在PSB的基礎分類中都分為同一個分群：螞蟻，如圖4.13 跟圖 4.14，首先由圖 4.15 可看出由點求主成分分析的第一主軸投影圖都會往一方偏斜，這將會使得之後檢索時因偏斜角度不同造成便是錯誤；而由圖4.16可看出權重主成分分析有可能造成突然的歪斜，使得辨識結果出錯；而從圖4.17 和圖 4.18 可看出格子點化後再以每個格子點求取主成分分析跟連續主成分分析都能有效的使投影面展現出最具特徵的一面，較不會有偏斜產生，兩物體能有最相似主軸的投影圖，其整體成效如下表4.2所示：圖4. 13 PSB資料庫中編號3的原圖。圖4. 14 PSB資料庫中編號2的原圖。

(51)

圖4. 15點求主成分分析(上排為圖4.13的三軸投影圖，下排為圖4.14的三軸投影圖。)

(52)

圖4. 17格子點化後再以每個格子點求取主成分分析(上排為圖4.13的三軸投影圖，下排為圖4.14的三軸投影圖。)

以主成分影像作特徵抽取之三維模型檢索系統

國

立

交

通

大

學

電機與控制工程學系

碩

碩

碩

碩

士

士

士

士

論

論

論

論

文

文

文

文

以主成分影像作特徵抽取之三維模型檢索系統

A 3D Models Retrieval System Based on Feature Extraction of

Principle Image

研 究 生：徐道智

指導教授：林昇甫 博士

中

中

中

中

華

華

華

華

民

民

民

民

國

國

國

國

九

九

九

九

十

十

十

十

八

八

八

八

年

年

年

年

七

七

七

七

月

月

月

月

以主成分影像作特徵抽取之三維模型檢索系統

A 3D Models Retrieval System Based on Feature Extraction of

Principle Image

研 究 生：徐道智

Student：Dou-Chih Hsu

指導教授：林昇甫 博士 Advisors: Dr. Sheng-Fuu Lin

國 立 交 通 大 學

電 機 與 控 制 工 程 學 系

碩 士 論 文

以主成分影像作特徵抽取之三維模型檢索系統

國立交通大學電機與控制工程學系﹙研究所﹚碩士班

研究生：徐道智

指導教授：林昇甫博士

研究生：徐道智

指導教授：林昇甫博士 Advisors: Dr. Sheng-Fuu Lin

國立交通大學

電機與控制工程學系

碩士論文

第二章相關知識與理論

_{