基於三元編碼之三維特徵描述子建構與模型比對 - 政大學術集成

全文

(1)國立政治大學資訊科學系 Department of Computer Science National Chengchi University. 碩士論文 Master’s治 Thesis. 立. 政. 大. ‧ 國. 學 y. sit. Nat. 建構與模型比對. ‧. 基於三元編碼之三維特徵描述子. al. er. io. Local Ternary Descriptor for n. v i n 3D Model Matching and Retrieval Ch engchi U. 研究生：王崇銘指導教授：廖文宏. 中華民國一百零六年十一月.

(2) 基於三元編碼之三維特徵描述子建構與模型比對 Local Ternary Descriptor for 3D Model Matching and Retrieval. 研究生：王崇銘. Student：Chong-Ming Wang Advisor：Wen-Hung Liao. 指導教授：廖文宏. 國立政治大學資訊科學系. 學. ‧ 國. 立. 政治大. ‧. 碩士論文. er. io. sit. y. Nat. a. A Thesis. n. v submitted to l Department of Computer n i Science Ch. i U. e n g c hUniversity National Chengchi. in partial fulfillment of the Requirements for the degree of Master in Computer Science. 中華民國一百零六年十一月 ii.

(3) 基於三元編碼之三維特徵描述子建構與模型比對摘要 Qmodel Creator 是一款製作三維模型的軟體，其模型特色為積木風格，顧名思義，是以積木或是立方體所構成的模型。然而，目前三維模型檢索系統多數以關鍵字搜尋，缺點為需要大量時間對三維模型進行關鍵字標記。本論文提出三維特徵描述方法(3D Local Ternary Descriptor，3DLTD)，嘗試基於內容本身進行三維模型檢索。此方法由二維影像的三元特徵描述延伸而來。首先，利用 PCA 找出主軸分佈，藉此篩選非相關的模型。接著，依照每個模型. 政治大. 的 bounding box 分割兩次區塊，第一次分割的單位稱為 cube，第二次分割稱為. 立. voxel，再根據與邊界的距離賦予 voxel 對應的權重，距離邊界越近權重越大，同. ‧ 國. 學. 時隨機從 voxel 樣本對關係中取 64 組樣本對進行三元化編碼。最後把編碼完的字串經由 bipartite weighted matching 做匹配。相較於 3DBRIEF 方法，本架構可. ‧. 以改善效率的問題，使用三元化編碼機制加快其運算速度，並以 voxel 為單位加. y. Nat. sit. 入權重機制，以區別加權 voxel 位置之間造成的影響程度。. n. al. er. io. 實驗結果顯示本研究方法對於積木風格模型的樣本集，相對於二元化編碼，. i n U. v. 採用三元化編碼不僅可以提升描述力和抗噪力，同時因為區域的劃分，降低特徵. Ch. engchi. 描述子維度，節省模型比對的時間和空間，也能維持整體模型比對之效能。. 關鍵字：積木風格模型、三元化區域特徵描述子、三維模型比對 iii.

(4) Local Ternary Descriptor for 3D Model Matching and Retrieval Abstract Qmodel Creator is a software for designing block (lego) style 3D models using intuitive drawing methods. The produced models are composed of cubes, which are conveniently encoded using voxel-based representation. In order to provide the search function for 3D models, keywords or tags have to be inserted manually, which is timeconsuming and not cost-effective.. 政治大. In this thesis, we proposed a 3D feature descriptor defined as 3D local ternary. 立. descriptor (3DLTD) to support content-based search and retrieval for models generated. ‧ 國. 學. using Qmodel Creator. This descriptor is extended from a class of 2D features known as local binary descriptors (LBD) for image matching. To begin with, principal. ‧. component analysis (PCA) is employed to align model orientation to filter out irrelevant. Nat. sit. y. samples. After the alignment, we first partition the bounding box of each model into. n. al. to its distance to the boundary.. er. io. cubes and then divide cubes into voxels. Weights are assigned to each voxel according. i n U. v. We randomly select 64 pairs of voxels in each cube. Ch. engchi. and generate a ternary code based on the relationship between each pair of voxels. Finally, weighted bipartite matching is employed to compute the similarity between two models. Compared with 3DBRIEF, another method extended from LBD, our proposed framework is more robust and efficient. The inclusion of weights differentiates the contribution of different voxels and have effectively enhanced the performance of 3DLTD. Experimental results indicate that 3DLTD is suitable for comparing and searching voxel-based 3D models. Thanks to two-level partition, feature representation and distance computation are greatly simplified. Ternary encoding also promotes iv.

(5) 'describility' and noise immunity while maintaining efficiency in 3D model search and retrieval.. Keywords: block-style model, local ternary descriptor, model comparison. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. v. i n U. v.

(6) 目錄第一章緒論.................................................................................................................. 1 1.1. 研究背景.................................................................................................... 1. 1.2. 三維模型之建構........................................................................................ 2. 1.3. 三維模型比對............................................................................................ 5. 1.4. 研究目的.................................................................................................... 5. 1.5. 主要貢獻.................................................................................................... 6. 1.6. 論文架構.................................................................................................... 7. 政治大. 第二章相關研究.......................................................................................................... 8. 立. 二維區域影像特徵.................................................................................... 8. 2.1.2. 基於點對關係................................................................................ 9. ‧. 2.1.3. 基於區域梯度統計........................................................................ 8. 學. 2.1.1. ‧ 國. 2.1. 基於點群關係.............................................................................. 11. Nat. 2.3. 三維特徵編碼.......................................................................................... 13. sit. er. al. n. 2.4. y. 三維特徵比對流程.................................................................................. 11. io. 2.2. i n U. v. 2.3.1. 基於統計的特徵.......................................................................... 15. 2.3.2. 基於延伸擴展的特徵.................................................................. 15. 2.3.3. 基於射線的特徵.......................................................................... 16. 2.3.4. 基於投影的特徵.......................................................................... 17. 2.3.5. 基於圖(graph)的特徵 .................................................................. 18. 2.3.6. 基於立體像素(voxel)的特徵擷取 .............................................. 19. Ch. engchi. 小結.......................................................................................................... 23. 第三章研究方法........................................................................................................ 25 3.1. 三維特徵描述子之建構.......................................................................... 26 vi.

(7) 3.2. 3.1.1. Pixel 值與 Voxel 值關係 ............................................................. 28. 3.1.2. 描述子建構 – 3DLTD ................................................................ 29. 3.1.3. 權重設定...................................................................................... 33. 比對方法建構.......................................................................................... 34 3.2.1. 快速篩選機制.............................................................................. 34. 3.2.2. 比對方法...................................................................................... 35. 3.2.3. bipartite weighted matching ......................................................... 36. 第四章實驗結果與分析............................................................................................ 38. 4.2 4.3. 政治大樣本標準差設定...................................................................................... 39 立實驗樣本.................................................................................................. 38. 實驗一...................................................................................................... 40. 學. ‧ 國. 4.1. 實驗二...................................................................................................... 43. 4.5. 實驗三...................................................................................................... 47. 4.6. 實驗四...................................................................................................... 49. 4.7. 實驗五...................................................................................................... 51. 4.8. 實驗結果小結.......................................................................................... 54. ‧. 4.4. er. io. sit. y. Nat. al. n. v i n 第五章結論與未來展望............................................................................................ 56 Ch engchi U 參考文獻...................................................................................................................... 57. vii.

(8) 圖目錄圖 1.1 點雲(POINT CLOUD)模型 .............................................................................................................. 1 圖 1.2 網格(MESH)模型 .......................................................................................................................... 2 圖 1.3 立體像素(VOXEL)模型 ................................................................................................................ 2 圖 1.4 DEPTH IMAGE 示意圖 ....................................................................................................................... 4 圖 1.5 POINTCLOUD 示意圖 ........................................................................................................................ 4 圖 1.6 LIDAR 影像示意圖...................................................................................................................... 4. 政治大. 圖 1.7 上圖為 QMODEL CREATOR 介面，下圖為 QMODEL CREATOR 所製作的模型 ........................... 6. 立. 圖 2.1 矩形分割區域以及梯度統計 ....................................................................................................... 9. ‧ 國. 學. 圖 2.2 對數極座標分割方式................................................................................................................... 9 圖 2.3 LBP 計算方法之示意圖 ............................................................................................................ 10. ‧. 圖 2.4 BRISK ......................................................................................................................................... 10. sit. y. Nat. 圖 2.5 FREAK ....................................................................................................................................... 11. io. er. 圖 2.6 三維模型檢索架構[9] ............................................................................................................... 12. al. 圖 2.7 差異度屬性性質[12] .................................................................................................................. 13. n. v i n Ch 圖 2.8 3D 特徵分類法 ........................................................................................................................... 14 engchi U 圖 2.9 特徵向量表示圖 ........................................................................................................................ 14 圖 2.10 拓樸結構圖[13] ....................................................................................................................... 15 圖 2.11 EGI 法向量分布 ....................................................................................................................... 16 圖 2.12 光線投射之示意圖 .................................................................................................................. 17 圖 2.13 RH1 投射 .................................................................................................................................. 17 圖 2.14 模型投影到平面之取樣過程[19] ........................................................................................... 18 圖 2.15 基於 VOXEL 的 3D 形狀特徵擷取過程[20]................................................................................ 19 圖 2.16 3DLBP 計算流程[20] ............................................................................................................... 20 viii.

(9) 圖 2.17 3DORB 的三種型態[20] .......................................................................................................... 22 圖 2.18 3DORB-CG 之旋轉正規化動作[20] ....................................................................................... 22 圖 3.1 模型搜尋系統架構圖................................................................................................................. 25 圖 3.2 模型區域比對示意圖 ................................................................................................................ 26 圖 3.3 LTP 編碼方式 ............................................................................................................................. 27 圖 3.4 (左)為 ELTP 編碼方式，(右)為其門檻值設定......................................................................... 27 圖 3.5 切格子，上圖為大格子(CUBE)，下圖為小格子(VOXEL) ............................................................ 28 圖 3.6 VOXEL 值之示意圖........................................................................................................................ 29. 政治大. 圖 3.7 3DLTD 描述子建構流程.............................................................................................................. 29 圖 3.8 二元編碼與三元編碼之門檻值設置示意圖 ............................................................................ 31. 立. 圖 3.9 三元特徵編碼示意圖 ................................................................................................................ 32. ‧ 國. 學. 圖 3.10 VOXEL 權重設定之示意圖 .......................................................................................................... 33. ‧. 圖 3.11 3DLTD 比對流程 ....................................................................................................................... 34. sit. y. Nat. 圖 3.12 BIPARTITE MATCHING 示意圖 ......................................................................................................... 36. io. er. 圖 3.13 WEIGHTED BIPARTITE MATCHING 示意圖 .......................................................................................... 37 圖 4.1 不同積木風格模型示意圖 ........................................................................................................ 39. al. n. v i n 圖 4.2 隨機加減 N%之單一模型平均穩定性 40 C h ...................................................................................... engchi U 圖 4.3 有無 BM 之單一模型平均穩定性 ............................................................................................ 41 圖 4.4 有無 BM 之整體穩定性 ............................................................................................................ 41 圖 4.5 有無 BM 之衍生整體穩定性 .................................................................................................... 42 圖 4.6 有無 BM 之 TOP@K 圖片呈現.................................................................................................. 43 圖 4.7 加上權重之單一模型平均穩定性 ............................................................................................ 44 圖 4.8 加上權重之整體穩定性 ............................................................................................................ 44 圖 4.9 加上權重之衍生整體穩定性 .................................................................................................... 45 圖 4.10 有無權重之 TOP@K 圖片呈現 ................................................................................................ 46 ix.

(10) 圖 4.11 不同隨機樣本對組之單一模型平均穩定性 .......................................................................... 47 圖 4.12 不同隨機樣本對組之整體穩定度 .......................................................................................... 47 圖 4.13 不同隨機樣本對組之衍生整體穩定性 .................................................................................. 48 圖 4.14 不同樣本對組之 TOP@K 圖片呈現 ........................................................................................ 49 圖 4.15 樣本對數量之單一模型平均穩定性 ...................................................................................... 50 圖 4.16 樣本對數量之整體穩定性 ...................................................................................................... 50 圖 4.17 3DLTD 和 3DBRIEF 之單一模型平均穩定度 ............................................................................ 52 圖 4.18 3DLTD 和 3DBRIEF 之整體穩定度 ............................................................................................ 52. 政治大. 圖 4.19 3DLTD 和 3DBRIEF 之衍生整體穩定度 .................................................................................... 53 圖 4.20 3DLTD 和 3DBRIEF 之 TOP10 圖片呈現 .................................................................................... 54. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. x. i n U. v.

(11) 表目錄表 4.1 N%之 MODEL INDEX 分佈 .......................................................................................................... 40 表 4.2 有無 BM 之標準差設定 ............................................................................................................ 41 表 4.3 有無 BM 之 TOP10 比對結果 ................................................................................................... 42 表 4.4 加上權重之標準差設定 ............................................................................................................ 44 表 4.5 有無權重之 TOP 10 比對結果 ................................................................................................... 45 表 4.6 不同樣本對組之 TOP10 比對結果............................................................................................ 48. 政治大. 表 4.7 樣本對數量之標準差設定 ........................................................................................................ 50. 立. 表 4.8 3DLTD 和 3DBRIEF 之特徵擷取及比對時間.......................................................................... 51. ‧. ‧ 國. 學. 表 4.9 3DLTD 和 3DBRIEF 之 TOP10 比對結果 ................................................................................. 53. n. er. io. sit. y. Nat. al. Ch. engchi. xi. i n U. v.

(12) 第一章緒論 1.1 研究背景隨著科技快速發展，電腦軟硬體的效能提升，使三維模型的運用更加普及。不論是在醫療、工業，或是教育及科學領域，都可發現其應用潛力，如 DNA、建築，以及與各學科教育相關的模型。三維模型除了可以使用實景掃描或軟體建模方式建構，近來亦可透過網路免費或是付費取得。三維模型呈現方式可分為點雲(Point Could)模型、網格(Mesh)模型、立體像. 政治大. 素(voxel)模型，如圖 1.1、圖 1.2、圖 1.3。至於檢索系統多數是以模型關鍵字設. 立. 計，然而這樣的方式往往需要花費大量的時間對三維模型進行關鍵字標記，為了. ‧ 國. 學. 降低人力與時間成本，且提高比對的準確性，以內容為基礎的三維模型比對技術. ‧. 是持續被關注的研究議題。. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. 圖 1.1 點雲(Point Cloud)模型. 1. v.

(13) 圖 1.2 網格(Mesh)模型. 立. 政治大. ‧. ‧ 國. 學. Nat. n. a. er. io. sit. y. 圖 1.3 立體像素(Voxel)模型. 1.2 三維模型之建構l. Ch. engchi. i n U. v. 以下分兩部分說明 3D 模型之構成：3D 建模方式與模型的資料型態。3D 模型建模分為兩種，實體建模和軟體建模。實體建模隨著硬體以及存取三維影像技術越來越成熟，可以直接使用攝影裝置或光達進行深度資訊重建，如：Microsoft Kinect v2.0、Intel RealSense、Scanse；軟體建模，為運用三維製作軟體，在虛擬的三維空間構建出具有三維數據的模型。目前 3D 建模軟體可略分為以下幾類： . CAD 類型為參數式建模軟體，例如：TinkerCAD、Catia、PRO-E 、UG、 Solidworks，屬 CAD 類型的軟體，是一種用來進行產品開發的工具， 2.

(14) 此類型軟體套件主要目的是將常見的產品開發流程數位化，藉此提高工作效率。 . CAID 類型不會自己主動維持參數之間的關連性，擁有比較多的自由度，沒有多種模擬分析的功能，但實際上也是建模軟體。CAID 軟體的重點是可以與 CAD 軟體進行物件的數據格式交換，因此 CAID 軟體可以當作能夠與 CAD 軟體互相配合的 3D 軟體，例如：Alias、Rhino。. . Polygon 類型. 政治大物件(網格物件、Polygon Mesh)與其他類型 3D 軟體在數據格式上有所立影視動畫方面的模型皆為此類模型。由於 Polygon 軟體所建立的. 不同，所以如果沒有打算印出實物，一般而言不會採用這種類型的軟體，. ‧ 國. 學. 例如：3ds Max、Maya 等代表。積木風格類型. ‧. . y. Nat. 風格特色為積木或是立方體所堆積而成，例如：Qmodel Creator[1]、. er. io. sit. VoxelBuilder。Qmodel Creator 軟體優點為操作簡單易懂且容易上手，並且提供 Web、Android、IOS 三種版本。相對於前者，VoxelBuider 優點. n. al. 也是操作簡易，缺點為只有 C h Web 版本。 U n i engchi. v. 使用實景掃描取得之模型的資料型態可分為三類，第一類為深度影像(Depth Image)，在二維影像中每個像素所含的內容為 0~255 的灰階值，在深度影像中每個立體像素(Voxel)中所含的則為攝影機到物體的距離，再由取得的距離轉換成相對應的灰階影像，如圖 1.4 所示；第二類為點雲資料(Point Cloud Data)，而這種資料的表現方式則如其名，將攝影機掃瞄到的物品以點集合的方式呈現，則點雲中的資訊代表的正是三維空間中相對應的座標，其點對點的位置則為實際空間中的相對位置，如圖 1.5 所示；第三類為光學雷達(光達，LIDAR)影像，通過向目標照射一光束，測量發送和接受到的脈衝信號的時間間隔來計算物體的距離。 3.

(15) 立. 政治大. 圖 1.4 Depth Image 示意圖. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. 圖 1.5 PointCloud 示意圖. 圖 1.6 LIDAR 影像示意圖 4. v.

(16) 使用軟體建模之模型的資料型態，由於眾多建模軟體的因素，因此各家軟體也有各自的資料型態，如：obj、stl、3ds 等等。二維影像提供以實際空間投影到平面上的資訊，來取得物體的輪廓、紋理等特徵資訊。如果直接以二維特徵資訊為基礎，在進行辨識實際的三維模型時，會產生許多的問題。若是可以直接取得場景中的三維特徵資料來進行比對辨識，則辨識效率能更加準確，簡單的說，三維特徵資訊相對於二維資訊，更能不受限且精準地描述物體的資訊。. 1.3 三維模型比對. 政治大. 除了電腦製作而成的 mesh 模型外，也可以從點雲資訊轉換而來。比對與搜. 立. 尋的概念，跟二維影像的方法類似，找出模型上突出的地方，或者是說最佳代表. ‧ 國. 學. 性的特色，我們稱為特徵，把三維模型全部最具代表的特色集合起來，則稱為特. ‧. 徵向量，以此作為比對模型的基礎。. 對於各種特徵擷取的辦法，目前還無法直接從理論上證明對模型的精確程度，. y. Nat. io. sit. 只有透過實驗以召回率(Recall)和精確率(Precision)作為判斷其模型比對結果的依. n. al. er. 據。然而，經由特徵擷取後，原三維模型將可以得到一組特徵向量或是拓樸結構. Ch. i n U. v. 圖，則類似的三維模型可以表示在特徵向量空間中有一組相近的特徵向量。相似. engchi. 的三維模型在相對應的特徵向量或是結構空間中具有較近的距離，而不相似的模型之間的距離則會有顯著的差距。相似性比對之演算法的目的就是在三維空間中，計算三維模型與三維模型資料庫中所有模型的空間距離，或是採用特別的分類器，取得模型之間內容的相似度，且據此排序顯示比對結果。. 1.4 研究目的找尋三維模型之間相似性的問題點在於如何提供精準與合適的描述。因此，以二維影像特徵當作基礎的搜尋方式和分類方法，要如何延伸到三維的積木風格模型上即為本研究的動機。 5.

(17) 以 Qmodel Creator 所製作的模型當作本論文的研究主題，如圖 1.7 所示。 Qmodel Creator 特色為使用一個積木或立方體為單位的方式來建構三維模型，其優點上手容易且模型製作簡單，很適合初學者使用。那麼是否有一套方法可以把這些模型的關係連結在一起？也就是使用製作的模型找到與其類似的模型。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 1.7 上圖為 Qmodel Creator 介面，下圖為 Qmodel Creator 所製作的模型. 1.5 主要貢獻目標樣本為 Qmodel Creator 所製作的積木風格模型。市面上的資料庫多屬 surface-based(如 CAD 模型或三維動畫模型，以圖 1.2 為例)，與 voxel-based 的積木風格模型(圖 1.3)有明顯的差異，而目前模型比對的方法大多用二維影像找出表面的特徵點或是模型的輪廓，而這些方法卻在積木風格模型上不適用，因為積木風格模型沒有以往模型表面的突出特徵點。 6.

(18) 本研究的主要貢獻，對該目標樣本，提出一種三維特徵描述子建構方式(3D Local Ternary Descriptor，3DLTD)，利用立體像素(voxel)之間的關係及重要程度來建構一個模型的特徵架構，並以實驗來驗證其與其他三維特徵描述方法的差異及其優越性。. 1.6 論文架構此論文架構如下:第二章為相關研究部分：首先依編碼方式說明過往的二維影像特徵，接著敘述特徵比對流程，最後分別對於不同的三維特徵描述方式進行介紹，以及說明其優劣性：第三章將介紹 3DLTD 方法，說明如何建構和二維影. 政治大. 像與三維空間的關係，以及比對方法介紹；第四章描述實驗流程並討論實驗結果；. 立. 第五章為結論及未來展望。. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 7. i n U. v.

(19) 第二章相關研究近幾年，電腦視覺領域持續引起關注，包含影像處理、特徵擷取以及物件辨識等課題。相關研究部份分為四個段落進行說明，第一部分為介紹過去與區域影像特徵相關的研究；第二部分為介紹三維特徵比對流程；第三部分為說明三維特徵的編碼方式以及差異；第四部分為討論三維特徵描述子的主要優勢、可能出現的問題和可行的解決辦法。. 2.1 二維區域影像特徵. 政治大甚多方法可參考，如複雜但是辨識效果穩定的 SIFT[2]、SURF[3]、DAISY[4]等，立在圖像的搜尋部份，多數使用區域影像特徵去比對，有關影像特徵的研究有. ‧ 國. 學. 到使用較精簡之區域二元描述子(Local Binary Descriptors, LBD)，如 BRIEF[5]、 BRISK[6]、ORB[7]等。近年來，特徵描述子的發展趨勢漸漸朝向低位元表示法、. ‧. 使用簡易的距離公式，在不影響辨識準確度的前提下，來降低計算量，預期達到. sit. y. Nat. 更佳的效果。此章節，我們將過去的相關區域影像特徵擷取方法依照編碼方式歸. n. al. er. io. 類，分別進行討論：. C 2.1.1 基於區域梯度統計. hengchi. i n U. v. 在找尋影像中區域特徵點的時候，如 SIFT、SURF、DAISY 等特徵描述方法，則是使用此類的編碼方式來計算影像中的區域特徵點。此方法為計算特徵點附近區域的梯度大小和方向的分佈，並且依照矩形的區域進行分割，如圖 2.1，或對數極(Log-polar)座標分割(如圖 2.2)的方式去統計，而形成特徵向量，以其當作影像區域特徵。此類的編碼方式的特徵向量加入了權重考量，通常以實數方式表示，距離的定義則是採用𝐿2 -norm (Euclidean distance)計算方式，如式( 2.1)所計算。. 8.

(20) ( 2.1). D(x,y) = √∑𝒏𝒊=𝟏(𝒙𝒊 − 𝒚𝒊 )𝟐. 政治大. 圖 2.1 矩形分割區域以及梯度統計. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 2.2 對數極座標分割方式. 2.1.2 基於點對關係此類編碼方式為比較區域影像中，兩點之間的大小關係而決定其編碼為何。著名的區域二元圖型(Local Binary Patterns, LBP)[8] 即為此類編碼方式的典型例子，原始的 LBP 演算法是在一塊 3x3 的區域內，藉著中心點與鄰近的像素值的比較，將其區域內像素轉換為二元表示後，再轉換為十進位表示。其方法流程為，以中間像素值當作基準值，對區域中的每個像素，與其周圍八個鄰近像素進行比 9.

(21) 較，可以按照順時鐘或逆時鐘方向進行比較，對中間像素值小於鄰近像素值設為 1，反之設為 0。進而可以得到一串二進位值，再將其值轉換為十進位值，作為其位置像素的特徵，統計區域中各個像素所對應到的十進位值，累計形成直方圖，再串聯所有區域的直方圖，即可得到影像的特徵向量。以圖 2.3 為例，假設圖中數值為某影像的區域像素值，以中間 45 為基準，按照上述的方法，得到二進位值(如下圖中間)，接著，以順時鐘方向依序代表為 27,26,…,20 之係數，產生二進位字串：11101001，轉換成十進位值為 233，則在直方圖中所對應到的地方(此對應的是 233)進行加一的動作。. 立. 政治大. ‧. ‧ 國. 學圖 2.3 LBP 計算方法之示意圖. sit. y. Nat. 前述所提到的區域二元描述子(LBD)也是屬於此類的編碼方式，將其像素值. al. er. io. 轉換成二元編碼(0、1)表示，但是不同的是在距離計算上，此計算則是使用. v. n. Hamming Distance 方式。LBD 則會因為點對的取樣方式不同，而有不一樣的方. Ch. engchi. i n U. 法出現，如：BRISK(圖 2.4)、FREAK[10] (圖 2.5)等等。. 圖 2.4 BRISK 以特徵點為圓心，藍圓為取樣點位置，紅圓為對應用來平滑取樣點的 10.

(22) Gaussian kernel 的標準差，依照同心圓的方向取樣，互相不重疊. 圖 2.5 FREAK 也是以同心圓方式取樣，每個圓為使用相對應取樣點的 Gaussian kernel 平滑取樣點，依照特定方式重疊. 立. 2.1.3 基於點群關係. 政治大. ‧ 國. 學. 點群關係與 2.1.2 節所提到的點對關係相比較，最大的不同點是此方法同時. ‧. 考慮鄰近多個點之間的關係。在考量多點之間的關係時，可能會因為排列組合數. y er. io. sit. 即為少數例子。. Nat. 過多，不利於計算，因此過去較少有利用點群關係建構的區域描述子， LIOP[11]. a 2.2 三維特徵比對流程 n. iv l C n hengchi U 三維模型的比對流程與二維影像辨識架構類似，如圖 2.6 所顯示，如何取得三維模型的特徵是模型搜尋的一個核心考量。三維模型的辨識將會考慮三個性質 – 平移不變性、尺度不變性、旋轉不變性，比對時通常分為幾個步驟討論：第一步，模型正規化(normalization)，因為建模方式不盡然相同，所以每個三維模型的大小可能會不相同，方向及位置也可能不一樣。但是在看待某個物體時，雖然比例不一樣、位置擺置不同和方向的不同，還是會認為是同一個東西，所以為了保證三維模型比對的效果，取得的特徵應該要具有平移、旋轉、尺度變換不變性，而主成分分析(principal component analysis, PCA)是一種用於減少資料的維 11.

(23) 度，同時保持資料對變異數貢獻最大的特徵，且維持以上不變性的性質，換句話說，將關聯性高的轉換成較少的個數，保留最能表示其特性的特徵且相互獨立。第二步，特徵擷取，其最能辨識不同三維模型差別的因素。一般會將模型特徵透過某個特定的特徵描述方式進行轉換，以方便比對檢索。第三步，差異度比較[12]，為了比較兩個模型是否相似，需要計算兩個模型特徵在某個特徵描述規則下的距離。差異度低則意味著兩個特徵的距離小，表示模型很類似，差異度比較定義為特徵描述子相對應的距離定義為d ∶ S × S → 𝑅 + ⋃{0}，且通常具備圖 2.7 性質，identity 說明任意形狀都與本身模型完全相. 政治大是很重要的，但是通常不一定會滿足這個條件，symmetry 只是一個想法，一般來立似，positivity 表示不同的形狀不會完全相似，這個性質對於要求精準度高的比對. 說，不是所有情況都會需要，根據需求來決定。如果形狀特徵擷取與模型的方向、. ‧ 國. 學. 位置、比例無關，距離定義的轉換不變性必須說明清楚。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. 圖 2.6 三維模型檢索架構[9]. 12. v.

(24) 圖 2.7 差異度屬性性質[12]. 2.3 三維特徵編碼此章節將會著重於以模型內容當作描述特徵的方法，較多著墨在基於立體像. 政治大特徵；相對於文字搜尋，更能完整的表示模型本身的特徵，因此會比文字來得更立. 素(voxel)的探討。基於內容的搜尋方式，主要是依據三維模型的物體內容來當作. ‧ 國. 學. 有辨識度。其搜尋技術分為三類，如圖 2.8：首先是基於形狀，透過擷取三維模型的形狀特徵，如：球面調和、形狀特徵；基於拓撲結構，透過擷取其三維模型. ‧. 的拓撲結構，如：3D 骨架；基於圖像比較，針對其三維模型擷取特徵進行比較。. sit. y. Nat. 在模型比對所使用的特徵，包括將模型做變換，如：3D 傅立葉轉換等，擷. io. er. 取變換後的特徵或直接對模型進行運算所取得的幾何形狀特徵，形狀特徵具有多樣性。如何快速地取得及比較特徵，又能快速的辨識三維模型是否相似是目前三. al. n. v i n Ch 維模型比對中的一門重要議題。此章節，我們將整理一些目前的特徵擷取方法， engchi U 且依照其編碼方式，分別進行討論。. 特徵依照表現的形式可分為兩大類：特徵向量(圖 2.9)、拓樸結構(圖 2.10)。特徵向量，是將三維模型的幾何形狀特徵經過處理後得到的一組值；拓樸結構則是相對應於模型空間中的結構，能夠簡單地表示模型資訊。以下介紹幾個常見的擷取特徵方式：. 13.

(25) 立. 政治大. y. ‧. ‧ 國. 學. Nat. n. er. io. al. sit. 圖 2.8 3D 特徵分類法. Ch. engchi. i n U. 圖 2.9 特徵向量表示圖. 14. v.

(26) 圖 2.10 拓樸結構圖[13]. 2.3.1 基於統計的特徵方法為先對模型使用 PCA 降維，減低計算量，在計算幾何距離，作為用於. 政治大. 檢索時的特徵向量。以歐基里德距離(Euclidean distance)計算及比較相似度。對於. 立. mesh 模型，Vranic 和 Saupe[14]使用空間距離作為特徵進行 3D 模型比對搜索等. ‧ 國. 學. 動作，計算的方式則是使用基於射線的方法取樣於模型的表面。 Paquet 和 Rioux[15]則是使用模型表面的每個三角形的質心來當作特徵。Vranic 和 Saupq[16]. Nat. y. ‧. 的實驗證明，基於射線會比基於質心方式的比對效率高。. sit. 此類擷取特徵方法比較簡易，不需要正規化等動作，具有穩定的不變特性，. n. al. er. io. 但對於 3D 模型的描述不夠精確，導致檢索時相對會不穩定。大多時候統計特徵會使用在模型進行分類的場合。. Ch. engchi. i n U. v. 2.3.2 基於延伸擴展的特徵 Mesh 模型中的三角形的法向量分布可以用來描述其模型的整體的形狀。像是 Horn 提出的 Extended Gaussian Image (EGI)[17]，使用了 mesh 模型的法向量資訊作為 3D 模型的特徵描述子。基本上，每個 3D 模型都會有一個 EGI 與其相對應，EGI 紀錄三維空間中每個三角形之法向量方向的多邊形面積和。一般用一組向量來表示某個模型其對應的 EGI 特徵：每個向量的長度跟每個三角形面積成正比，方向會跟三角形的法向量方向平行，將其向量平移到坐標系的原點，形 15.

(27) 成一種球坐標系的向量分布，就是 3D 模型 EGI 的表示法，其特徵計算如圖 2.11。 EGI 擁有尺度和平移不變性，但需要使用 PCA 正規化確保旋轉不變性，也可以使用球面調和函數來保證旋轉不變性。. 立. 政治大. 圖 2.11 EGI 法向量分布. ‧ 國. 學. 此方法適用於剛體(rigid)模型，獲得的特徵比較直觀，並且對於剛體模型有較好的精確度，缺點為計算量大、時間複雜度高，且特徵維度延伸會增加計算量。. ‧ sit. y. Nat. 2.3.3 基於射線的特徵. n. al. er. io. 射線會從模型的重心位置射出，如圖 2.12 所示，而記錄每條所射出的射線. i n U. v. 與 3D 模型表面的最遠交點和模型重心之間的距離，即可離散地得到一個球面函. Ch. engchi. 數的定義，因此可以利用球面調和函數變換的方法得到一組旋轉不變量，如：Raybased spherical harmonic 1 (RH1)[18]。此方法以 3D 模型重心當作球的圓心，畫出一系列的同心球，如圖 2.13 所示，利用每個從球內部所發出的射線和模型表面的交會點定義出一個球面坐標系的方程式。對於每條射線而言，與模型表面的多個交會點落在同個球裡的機率明顯降低，這樣會減少資料遺失的機率。如果(ϑ, φ)方向的射線與模型表面無任何交會點，即為 f (ϑ, φ) = 0，反之，則 f (ϑ, φ)的值為 3D 模型表面的最遠交點和模型重心之間的距離。 16.

(28) 政治大. 立圖 2.12 光線投射之示意圖. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 2.13 RH1 投射. 2.3.4 基於投影的特徵為使用 3D 模型的三個主軸方向上的投影圖，作為形狀特徵：首先，使用 PCA 和縮放變換將 3D 模型正規化，再將正規化後的模型平行投影到三個主平面，從而得到多個形狀特徵。對於每個影像進行取樣，計算從影像的中心到影像角落的距離作為取樣值，接著進行傅立葉轉換。由於使用 PCA，所以具有平移、旋轉和 17.

(29) 尺度等不變性。. 圖 2.14 模型投影到平面之取樣過程[19]. 此特徵主要是在 3D 模型的二維投影平面中擷取到的。此方法降低了模型之間比對的複雜度，擁有較好的比對效率，且得到的特徵相對來說比較簡單，實用. 政治大. 性也比較高，但是投影的過程可能會遺失一些模型結構的重要資訊。. 立. ‧ 國. 學. 2.3.5 基於圖(graph)的特徵. ‧. 此類別與其他方法有所不同，在於其他方法所考慮的是形狀輪廓資訊，而此. y. Nat. 方法則是從三維空間形狀去抽取具有拓樸結構等資料，並且經由 graph 結構表示. er. io. sit. 其模型關係，以下以骨架(skeleton)方法[13]為例：首先計算出模型的骨架節點，然後再以各節點連接形成與其相對應的骨架圖。此方法適用於 global matching，. al. n. v i n 也適用於 local matching。可是，對於雜訊的過濾非常低，所以只要有雜訊就可能 Ch engchi U. 會導致擷取到錯誤的骨架資訊，而且對於每個 voxel 的距離需要進行計算和比對，計算量相對來說很大。依前述而言，骨架圖可以拿來描述 3D 模型的拓樸結構，能藉由中軸線更簡易地呈現三維的幾何形狀，到現在也已經發展了許多 3D 模型中軸線的擷取方法，如：細化的方法、基於距離變換等方法。此方法特別的地方在於，拓樸結構的特徵描述方式比較符合我們的感知習慣，對於模型的幾何變化也是能夠處理的，且能全域或是區域比對，但是骨架提取對於模型的要求相對來說比較高，對結構鬆散的模型可能會取到錯誤的特徵，而且資訊處理量較大，對於抗雜訊干擾能力也比較低，因此這類的方法比較適合用來 18.

(30) 描述具有關聯性層級關係的模型。. 2.3.6 基於立體像素(voxel)的特徵擷取 Voxel 本身並不含有空間中位置的資料，然而卻可以從它們相對於其他 voxel 的位置來推敲，即它們在三維空間的數據結構中之位置。此章節將介紹三個特徵描述方式，藉由其方式取得其特徵描述子，而獲得二元特徵向量。 Kazhdan[18]介紹了一種基於球面調和函數變換的 voxel 比對方法。首先，輸入一個 3D 模型，計算出 3D 模型重心為球心的最小圓球，按照該圓半徑的 1/N. 政治大心位置相同，N 可以為任意整數。每個 voxel 中若有 3D 模型表面上的點，就將立為單位，將其模型投射到2N × 2N × 2N的 voxel 空間中，該空間中心跟其模型重. ‧ 國. 學. voxel 設為 1，反之亦然。這樣即為其 3D 模型的 voxel 表示法。接著是取樣點的選擇，從這些 voxel 中，依照密集程度隨機取得樣本特徵，但其值不能為零。然. ‧. 而，現在還沒有其代表的特徵出現，所以我們還需要判斷哪些樣本點才是獨一無. sit. y. Nat. 二，無法被取代的點，前提可能還需要做正規化的動作，避免因為位置、方向等. al. er. io. 不同因素，而導致擷取到錯誤的取樣點。最後再藉由分類方法，如：Bag-of-features. v. n. (BF)，把其類似的代表性取樣點放置在同一類，即可得到屬於其模型的一組特徵向量。. Ch. engchi. i n U. 圖 2.15 基於 voxel 的 3D 形狀特徵擷取過程[20] 19.

(31) 在二維影像中，特徵常常會在感興趣區域(Region of Interesting, ROI)中藉由像是 FAST 或 Difference of Gaussian (DoG) 等特徵檢測子找到其特徵，而在三維空間中密集取樣(dense sampling)常常會優於依據 ROI 取樣的特徵。下面將以圖示輔助介紹幾個依照密集取樣的特徵：第一個，3DLBP，全名為 3D Local Binary Pattern，其特徵由大小為N × N × N ≡ 𝑁 3 的三維 Volume of Interest (VOI)計算後得到，其做法為 VOI 由許多的 SLBPs(Sub-Local Binary Patterns)所組成，計算方式跟 LBP 相同，為中心的 voxel 跟其鄰近的 6 個 voxel 做比較，若是鄰近 voxel 的值大於中心 voxel 設為 1，反之. 政治大所有 SLBP 集結成一個特徵向量，如圖 2.16，最後把特徵向量以直方圖的形式表立. 設為 0，則會得到 6 位元的一串二元字串，再轉換成十進位值，再把 voxel 內的. 示。. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 2.16 3DLBP 計算流程[20]. 第二個，3DBRIEF，是基於二維影像所使用的 BRIEF 所演變而成二元編碼之三維特徵描述子，其方法簡易，且可以快速的擷取到特徵。從 voxel 中隨機選取樣本對，如果一對 voxels 同時在位置 a 和位置 b 被選取，其編碼值 vox(a)和 vox(b)，透過式( 2.2)計算所得到。其特徵描述方法對於位移擁有不變性的性質，但是沒有旋轉和尺度的不變性。3DBRIEF 是個計算快速的方法，因為其是一個二元特徵向量，計算上則使用 Hamming distance，在計算二元字串上非常有效率。 20.

(32) τ(𝑎, 𝑏) = {. 1, 0,. 𝑖𝑓 𝑣𝑜𝑥(𝑎) < 𝑣𝑜𝑥(𝑏) 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒. ( 2.2). 第三個，3DORB，則是在 3DBRIEF 加入旋轉不變性，但是其旋轉正規化的動作只針對每個 local VOI 去做，而不是對全部的 voxel。此類別有幾種變型，如圖 2.17 所示。一種變型為 3DORBL，L 則為設定一個門檻值做為平滑化的基準值，其值會在 VOS (Volume of Smoothing)中取得，其精準度會比原本的 3DORB 高，但是缺點為計算成本較為高昂。為了改善運算成本，而衍生出另一種變型. 政治大. 3DORBL-R-CG，故其在做旋轉正規化的步驟，所需付出的成本比 3DORBL-CG. 立. 來的低。. ‧ 國. 學. 此外，根據正規化的方式，又可以分為 3DORB-CG、3DORB-PCA，前者採用重心到 VOI(幾何)中心的方法進行旋轉正規化，如圖 2.18 所示，而另一個則. ‧. 是為 PCA，一種主軸分析且減低維度的方法。. y. Nat. sit. 對於旋轉正規化的部分，跟二維影像中的 ORB 採用相同的做法。首先，在. n. al. er. io. VOI 中計算 voxels 的 0th and 1st order moment，為 𝑚𝑝𝑞𝑟 ，如式( 2.3)所示，其邊. i n U. v. 長為 voxel 的數量，以 Moment 𝑚000 為 0th order，其值為 VOI 內全部 voxel 的總. Ch. engchi. 和值；質心位置從𝑚100、𝑚010、𝑚001 計算得知，𝑚100、𝑚010、𝑚001 分別對應 x、 y、z 軸，如式( 2.4)所示。 𝑚𝑝𝑞𝑟 = ∑ 𝑥 𝑝 𝑦 𝑞 𝑧 𝑟 𝑣𝑜𝑥(𝑥, 𝑦, 𝑧). ( 2.3). 𝑥,𝑦,𝑧. ( 𝑥̅ , 𝑦̅, 𝑧̅ ) = (. 𝑚100 𝑚010 𝑚001 , , ) 𝑚000 𝑚000 𝑚000. 21. ( 2.4).

(33) 政治大. 立圖 2.17 3DORB 的三種型態[20] ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 2.18 3DORB-CG 之旋轉正規化動作[20]. 第四個，3DORB-PCA，顧名思義，在 VOI 內對 voxel 值使用 PCA 尋找模型方向，雖然主軸分佈可以依照 PCA 得知，但是向量方向卻無法得知。旋轉方向是透過比較物體重心和 VOI 的中心進行校正，而正規化後特徵向量擷取的方式類似於 3DORB-CG 或是 3DBRIEF。. 22.

(34) 2.4 小結基於統計的特徵，步驟相對來說簡易，不需要進行三維空間的正規化動作，所以計算簡單，具有不錯的方向不變性。但是這些特徵描述出的三維模型相似度卻還達不到好辨認的程度，對於模型的內容描述也不夠完整，其相對會造成比對的不穩定。大多此類特徵描述適用於對三維模型進行分類，建立分類的資料庫等動作。基於延伸的特徵，可以獲得相對於比較直覺性的幾何特徵，且擁有比較好的比對效果，但是對於模型的預先處理要求較高、計算量大，時間複雜度也相對高，. 政治大. 與邊緣的交會點的計算增加了此方法的計算量，而特徵維度增加也會增加其計算. 立. 時間。. ‧ 國. 學. 基於射線的特徵，不適用於複雜的三維模型，因為每條射線皆有可能會與模型表面有所交會，因此，只考慮最遠交會點與模型重心之間的距離將會遺失很多. ‧. 資訊。改善的光線投射法(RH1)雖然減少了模稜兩可的機率，但是也帶來了新的. Nat. sit. y. 不穩定性，當同心圓球的層數增加時，模型表面可能會依雜訊影響，而無法確保. n. al. er. io. 取樣到哪層的同心球上。. i n U. v. 基於投影的特徵，此類方法主要是模型從三維空間投影到二維平面的特徵。. Ch. engchi. 這種方式降低了模型之間比對的複雜度，能夠較容易獲得較高的比對效率，且得到的特徵相對於其他三維特徵描述子簡單，也易於計算，具有不錯的實用性質，但是缺點為容易在三維投影到二維的過程中丟失一些重要的三維結構資訊。基於 graph 的特徵，三維模型的拓樸結構對於我們人來說是直覺性的，其對模型的幾何變換也是可以實行的，且無論是全域還是區域皆能夠進行比對等動作。但是對於其模型進行骨架擷取時，需求較高，如果是對結構鬆散的模型進行骨架擷取，可能會導致錯誤的結果，而且此方法的計算量大，對於抗雜訊干擾的能力也相對低。. 23.

(35) 基於 voxel 的特徵，voxel 方法不能精準描述出三維模型的形狀特徵，且不同半徑的二元化球座標系之間的相對位置並沒有加以限制，使其可以自由旋轉。這些都可能會影響 voxel 特徵比對的效果。而改進的 voxel 方法則利用了模型的體積特徵，提升了比對效率。本論文將透過樣本對關係的三元編碼方式以及基於立體像素(voxel)特徵的架構建立出能在積木風格模型中所使用的三維空間特徵描述子，同時以前面所述的特徵比對流程的概念，確認該特徵子保留三維特徵的三個性質。期望以基於 voxel 特徵和樣本對關係的架構，及三元特徵編碼方式，完整的呈現出積木風格模型之樣貌。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 24. i n U. v.

(36) 第三章研究方法本研究目的，是針對 Qmodel Creator 所製作的模型，提出一個可適用的三維特徵描述子，以便進行後續的搜尋比對作業。我們預想的處理架構，如圖 3.1 所描述。由於模型類型為 voxel-based，同時採用區域特徵子的方式，如圖 3.2 之示意圖，區域特徵相對於全域特徵，節省每次比對的成本，提高比對效率。此外，使用三元化編碼，提升描述力和抗噪力，更能完整地描述模型。本章節將先介紹本研究的三維特徵描述子之建構方式，以及描述子建構流程，最後，再介紹比對流程，bipartite weighted martching 和 nearest neighbor distance ratio (NNDR)。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. 圖 3.1 模型搜尋系統架構圖. 25. v.

(37) 圖 3.2 模型區域比對示意圖. 立. 政治大. ‧ 國. 學. 3.1 三維特徵描述子之建構. 本研究基於 voxel 的特徵描述子進行探討。從前面敘述中可以發現到，三維. ‧. 空間中所採用的特徵描述子皆有二元特徵描述子的影子。大多採用跟二元特徵相. sit. y. Nat. 同的做法，以 2DLBP 和 3DLBP 為例，首先，說明 2DLBP 以區域某個像素點為. n. al. er. io. 中心點，在其周圍找個 3*3 的區塊，然後以中間值為基準去比對周圍的每個鄰近. i n U. v. 像素點，再用順時鐘或逆時鐘的方式依序轉換成二進位字串，將其數值轉換成十. Ch. engchi. 進位值，最後區塊影像數值以直方圖表示；3DLBP 則是相同作法，在 2.3.6 章節中所提過，三維的 VOI 裡，可以取得許多個 SLBP，一樣以 SLBP 中間區塊當作其基準值，比較其周圍 6 個方向的區塊值後，可以得到一串 6 位元的二元字串，再將其轉換成十進位值，最後把 VOI 裡面全部的 SLBP 的值以直方圖表示。本研究將會把區域三元編碼的概念延伸於三維空間。在三維特徵比對部分，如同前面所述，有許多的特徵描述子皆可以拿來進行特徵比對，但其方法在運行速度、辨識率方面沒那麼好的效果。相對於其他特徵描述方法，區域二元特徵描述子，因為是二元化編碼，距離計算使用 Hamming distance 方式，所以計算相對簡單快速；區域三元特徵描述子採用了三元編碼，相對於二元化編碼，優點為增 26.

(38) 強了抗噪能力和描述能力，例如：ELTP[24]，其全名為 extended local ternary patterns，前提需要先了解 LTP[25]，主要做法為是將目前像素值與中心點像素值的關係，如圖 3.3，分為大於(為 1)、小於(為-1)和接近(為 0)等三種狀況，其中 P(i) 為目前像素值，P(0)為中心點像素值，則為選定的門檻值，所形成的樣式由於涵蓋(-1,0,1)三種符號，所以被命名為區域三元化圖型，其處理了 LBP 易受雜訊干擾的問題，但是 LTP 雖然加強的抗雜訊干擾的能力，但也產生了不少問題，如：門檻值，但是固定門檻值不是個好方法，會因不同情況，需要不同的門檻值。前述 LBP 直方圖稀疏的問題，在 LTP 下只會更為嚴重，所以 LTP 在編碼完後會分. 政治大法解決。而 ELTP 與 LTP 差異為根據區域統計值來設定門檻，可避免像素受到雜立成兩組 LBP 去做比對，最後再以平均值為代表，但是直方圖的稀疏問題還是無. 訊干擾而影響編碼的結果。如要延伸原始 LBP 的功能，定義新的特徵描述方式，. ‧ 國. 學. 也要同時評估其計算的複雜程度，以免得不償失。. ‧. n. er. io. sit. y. Nat. al. C圖h3.3 LTP 編碼方式U n i engchi. v. 圖 3.4 (左)為 ELTP 編碼方式，(右)為其門檻值設定，在每一個處理的區塊內先計算出區塊中心點與四周的參考點的標準差，再對標準差取一定的比例即為門檻值. 27.

(39) 3.1.1 Pixel 值與 Voxel 值關係由於三維空間沒有影像中的 intensity 的概念，我們的應對方式為採用空間. 結構的概念當作是三維空間中的 intensity。所使用的方法為切格子，我們依據 Bounding Box 的範圍去做切割等動作，不管是哪種模型都會有自己的 Bounding Box 範圍，因此以其切割格子，就可以切出同等大小的區塊，稱為 cube。我們把格子再細分的區塊稱為 voxel，如圖 3.5 所示，其目的為增加比對的精細度，而 voxel 的值為該區域內有多少模型點數決定，如圖 3.6 所示。影像中的 patch 和 pixel 關係，則對應於三維空間中的 cube 與 voxel 關係。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 3.5 切格子，上圖為大格子(Cube)，下圖為小格子(Voxel) 28.

(40) 圖 3.6 voxel 值之示意圖. 學. ‧ 國. 3.1.2. 政治大描述子建構 – 3DLTD 立. 綜合先前所探討的區域二元、三元特徵描述法，各有其不適用以及可取之處。接著說明本研究之流程以及討論如何挑選此次實驗所採用的特徵描述方法。本研. ‧. 究目的，即是把二維平面中的三元區域特徵子概念拿到三維空間中使用，測試其. y. Nat. sit. 特徵子是否能用於三維空間及成效如何，我們將其方法稱為 3D Local Ternary. n. al. er. io. Descriptor (3DLTD)。. Ch. i n U. v. e n g c h i Obtain feature. vector (length P) {210…,111…} by ternary encoding. Load Model. Divide bounding box into M cubes (First level). Get P pairs of voxels randomly in cube. Divide cube into N voxels (Second level). Calculate the value of the voxels. 圖 3.7 3DLTD 描述子建構流程 29.

(41) 對於如何比對三維模型之問題，把問題拆解成幾個部分： . 方向性問題. . 尺寸問題. . 比對順序. . 資料間的關係. 針對模型方向性問題，因為每個人設計出來的模型皆不同，要比較的話，就要有個一致的依據。因此我們採用 PCA 去實作主成份分析，先去計算出. 政治大判斷相似性質，根據 eigenvalue 選擇投影量最大的值(major value)和投影量第二立 eigenMatrix，藉由這個 Matrix 去得知 eigenvector 和 eigenvalue，以 eigenvalue 來. 大的值(middle value)當作篩選依據；模型尺寸問題，所採用的方法為切格子的方. ‧ 國. 學. 式，因應每個模型尺寸不相同的問題，不管是哪種模型都會有自己的 Bounding. ‧. Box 範圍，因此以其切割格子，就可以切出同等的 cube 區塊。. y. Nat. 接著是比對順序的問題，這點其實跟模型的方向性有些許的相關性，若是比. er. io. sit. 較的模型方向已固定，則比對順序也就可以自然地得知。但是，其方向性無法統一，比對順序就是關鍵的因素之一，舉例來說，若是順序不對的話，兩個模型可. al. n. v i n 能會出現一個拿腳跟另一個拿頭部做比較，為了避免此狀況發生，就要探討到特 Ch engchi U. 徵選取的方法，此方法跟第二點切格子又有密切的關係，我們把格子再細分成 voxel 區塊，而 voxel 的值為該區域內有多少模型點數決定。接著進入選取特徵的重要步驟，此處我們在每一個 cube 內隨機取樣本對，對於每個 cube 取 64 個樣本對，接著，把這些樣本對用三元特徵進行編碼，如式 ( 3.1)、圖 3.8 所示，v(a)和 v(b)為 voxel a 和 b 的值，我們在這會設一個 theta 值當作一個門檻值，即可得到一個 64 個位元的三元字串，當作此 cube 的 3DLTD 特徵。每個 cube 皆有自己的一組獨一無二的 3DLTD 特徵描述子，綜合所有的 cubes 變成一個模型的代表特徵。 30.

(42) 2, Cube(a, b) = { 1, 0,. 立. 𝑣(𝑎) − 𝑣(b) > 𝜃 −𝜃 ≤ 𝑣(a) − 𝑣(b) ≤ 𝜃 𝑣(a) − 𝑣(b) < −𝜃. ( 3.1). 政治大. ‧ 國. 學 ‧. 圖 3.8 二元編碼與三元編碼之門檻值設置示意圖，座標上方為編碼，座標下方為需要的門檻值，上方圖示的第一張圖示為二元編碼，可以看做將 θ 門檻值設為 0，當樣本對. Nat. al. er. io. sit. y. 的距離差異值大於 0，則編碼為 1; 差異值小於 0，則編碼為 0；第二張圖示為三元編碼. v. n. 以 3DLTD 使用三元特徵編碼方式為例：把一個模型分割成 3×3×3 的 cubes. Ch. engchi. i n U. 以及 3×3×3 的 voxels，也就說總共我們可以得到 729 個 voxels。因為參考的積木風格模型樣本點雲數量普遍為 1000 點雲數量上下，因此門檻值𝜃設為:. 𝜃 = 𝑙𝑜𝑔10 (𝑃𝑜𝑖𝑛𝑡𝑠 𝑜𝑓 𝑚𝑜𝑑𝑒𝑙). ( 3.2). 再從當前選取到的 cube 內隨機挑選 64 組樣本對，如圖 3.9。假設第一組 voxel 的值為 10 和 3，第二組樣本對為 2 和 1，第二組樣本對為 5 和 13…等等，假設模型點數為 1000，即𝜃為 3，第一組樣本對 10 – 3 = 7，大於 3，編碼為 2；第二組樣本對 2 – 1 = 1，小於等於 3 且大於等於-3，編碼為 1，第三組樣本對 5 – 13 = 31.

(43) -8，小於-3，編碼為 0，以此類推，直到編碼到 64 個位元，即為此 voxel 的描述子(210….)。假設模型經過些微的改變，可以發現第二組樣本對在二元編碼的情況下，關係會發生變化，為原本樣本對 2 和 1(2 – 1 得到編碼 1)，變成樣本對 2 和 4(2 – 4 得到編碼 0)，使得整體編碼由(110…)變成(100…)；但在三元編碼下，關係仍然不會改變，原本 2 – 1 編碼為 1，改變後 2 – 4 仍然編碼為 1，整體編碼(210…)不會因為受到輕微改變的影響，由此可觀察到三元編碼利用緩衝區的機制，防止因些微改變造成數值不同而導致於編碼關係改變的問題，也因為二元變成三元，使得特徵子的描述能力增加。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 3.9 三元特徵編碼示意圖. 此外，每個 model 所得到的特徵，都能夠以 L1-norm 或是 L2-norm 計算其特徵描述子字串之間的距離，來選擇最相似的描述子，L1-norm 以式( 3.3)、L2norm 以式( 2.1)計算： 𝑛−1. 𝐷(𝑥, 𝑦) = ∑. |𝑥𝑖 − 𝑦𝑖 |. ( 3.3). 𝑖=0. 其中 n 為描述子的長度，x 和 y 則分別為兩個 model 的描述子字串，由此可以得 32.

(44) 知，三元編碼並不影響匹配方法的使用。. 接下來，討論 voxel 資料間的關係。我們採取了 Bipartite weighted matching 的方式，可以避免順序不對的問題產生。Voxel 彼此之間所對應的資料，可當作是模型內部之間所對應的資訊，假設有兩個模型，一為方形模型，另一為球型模型，則內部 voxel 彼此之前所對應到的資訊應該會大不相同，也就表示我們所得到 3DLTD 特徵描述子的分佈是差異很大的。. 3.1.3 權重設定. 政治大依照 voxel 的位置分佈去給予權重。每個模型都有自己 bounding box 範圍，立. ‧ 國. 學. 分割成 voxels 之後，對於每個 voxel 賦予一個 weight。其方法為根據距離模型的 bounding 遠近做權重的判斷，越靠近 bounding，權重越大。此 weight 設定方式. ‧. 為在 bounding 附近的 voxels，權重設為 3；在 bounding box 中間的 voxels，權重. n. al. er. io. sit. y. Nat. 設為 1；介於兩者之間的，權重設為 2，透過式( 3.4)取得，如圖 3.10 所示。. 3, 𝑊(vox) = {2, 1,. i n U. v. if location(vox) 𝑎𝑡 𝑏𝑜𝑢𝑛𝑑𝑖𝑛𝑔𝑏𝑜𝑥 − 𝑙𝑒𝑛𝑔𝑡ℎ(𝑣𝑜𝑥) others if location(vox) 𝑎𝑡 𝑐𝑢𝑏𝑒(𝑐𝑒𝑛𝑡𝑒𝑟). Ch. engchi. 圖 3.10 voxel 權重設定之示意圖. 33. ( 3.4).

(45) 我們在特徵子比較時，加入權重設定，此方式僅針對 voxel 分佈的位置，給予不同的權重，並沒有針對不同的 voxel 值給予不同的權重。由於不同的 voxel 值會對模型造成不同的穩定度，例如：積木風格模型是實心的，如果考慮對不同 voxel 值賦予不同的權重，而中間 voxel 值最大，會變成中間權重最大，這樣反而就無法區分模型。因此，我們希望將此因素列入考量，藉由不同位置、不同權重的設定方式，擴大模型之間的差異。. 3.2 比對方法建構經由前面步驟取得特徵子與 voxel 權重，接著進入比對的過程。透過 Bipartite. 政治大. Matching 將特徵子進行配對，找出最小的距離總和，也可藉由 voxel 權重計算出. 立. 邊權重，找到最小的距離權重總和，進行配對，得到相似的模型，如圖 3.11 所. Weight calculation. Bipartite weighted matching. Distance calculation. Nat. er. io. sit. 圖 3.11 3DLTD 比對流程. 3.2.1 快速篩選機制. n. al. Classification. y. ‧ 國. 3DLTD ={210…..,1 11…}. ‧. Principal component Analysis. 學. 示。. Ch. engchi. i n U. v. 這邊所使用的方法為 PCA，選擇投影量最大的部分作為基底，因此小部分將會被壓縮，以至於讓較大的部分被保存下來。會先得到一個基底函式，透過此函式可以得到一個 eigenMatrix，因此藉由這個 matrix 就可以獲得 eigenVector 和 eigenValue，這邊根據 eigenValue 選擇投影量最大的值(major value)和投影量第二大的值(middle value)當作篩選依據，以兩兩模型間的 major value 絕對值差異和 middle value 絕對值差異相加的值，做為差異度 diff，如式( 3.5)所示。 𝑑𝑖𝑓𝑓(𝐴, 𝐵) = |𝑚𝑎𝑗𝑜𝑟(𝐴) − 𝑚𝑎𝑗𝑜𝑟(𝐵)| + |𝑚𝑖𝑑𝑑𝑙𝑒(𝐴) ( 3.5) − 𝑚𝑖𝑑𝑑𝑙𝑒(𝐵)| 34.

(46) 此 Threshold 設定為 0.3，其值經由實驗取得。diff(A,B)小於 0.3 會保留繼續做後續的動作，反之，則忽略。舉例而言，假設目標模型 A 的 eigenvalue 為(0.8, 0.5, 0.1)，模型 B 的 eigenvalue 為(0.3, 0.4, 0.1)，| 0.8 - 0.3 | + | 0.5 – 0.4 | = 0.5 + 0.1 = 0.6 > Threshold，則模型 B 就會被過濾掉。以此篩選方式，先快速淘汰最不相似的模型，再進行後續比對等動作。. 3.2.2 比對方法. 政治大和 nearest neighbor distance 立ratio (NNDR)。相似度計算是基於特徵子之間的距離. 本研究採用的比對方法為相似度計算搭配 weighted bipartite matching (WBM). ‧ 國. 學. 判斷，如式( 3.6)，我們經由實驗得知𝜎設為 27 時，效果較好。WBM 意味一個點最多只能與一個點配成一對，雙雙對對之間的邊，整體成為一個匹配；NNDR 不. ‧. 直接使用目標點和最近鄰近點的距離，與 threshold 相比以決定是否相似，而是. sit. y. Nat. 以最近點與第二鄰近點的距離比值來判定，其比值小於 threshold 才算是成功配. n. al. er. io. 對，如式( 3.7)，在此我們設定 Threshold 值為 0.5。. Ch. similarity(𝐴, 𝐵) = 𝑒. 𝐷(𝐴,𝐵) −( ) 𝜎2. engchi. i n U. v. 𝑡ℎ𝑒 𝑛𝑒𝑎𝑟𝑒𝑠𝑡 𝑑𝑖𝑠𝑡𝑎𝑛𝑐𝑒 𝑜𝑓 𝑝𝑜𝑖𝑛𝑡𝑠 < Threshold 𝑆𝑒𝑐𝑜𝑛𝑑 𝑐𝑙𝑜𝑠𝑒𝑡 𝑑𝑖𝑠𝑡𝑎𝑛𝑐𝑒 𝑜𝑓 𝑝𝑜𝑖𝑛𝑡𝑠. ( 3.6). ( 3.7). 由於 3DLTD 特徵子是使用三元特徵編碼，可以藉由 Hamming distance 快速計算模型之間的相似度差異，接著使用 WBM 或是以 NNDR 去找出最相似的組合。. 35.

(47) 3.2.3 Weighted bipartite matching bipartite matching 做法為在所有點都配對下，最小距離總和的匹配。經由前面步驟，得知每個 voxel 的權重和 3DLTD 特徵子，透過 voxel 權重和式( 3.8)計算出配對時所採用的邊權重，最後計算出最小距離權重匹配。舉例而言，假設每個模型有兩個 cubes，模型 A 特徵子為{{0,1,2},{1,1,1}}，模型 B 特徵子為 {{1,2,2},{1,0,1}}，計算每個 cube 的距離 |0-1|+|1-2|+|2-2|=2，以此類推，得到模型 A 第一個 cube 所對應的距離 2、3，和第二個 cube 對應到的距離 2、1，再從中取出最小的距離組合 2+1=3，因此模型 A 與模型 B 的最小距離值為 3，如圖 3.12 所示。. 立. 政治大. ‧. ‧ 國. 學 er. io. sit. y. Nat. n. al. v i n 圖C 3.12 matching 示意圖 h eBipartite ngchi U. 接著，討論 weighted bipartite matching 狀況，假設模型 A 權重為，模型 A {3,1,2},{2,3,2}，模型 B 為{2,2,2},{1,1,1}，邊權重為(兩個模型權重的 1/2)×原本的 cubes 間的距離，以例子說明，{(3+2)/2,(1+2)/2,(2+2)/2}={2.5, 1.5, 2}，再把計算的結果乘上原本 cubes 間的距離，|1×2.5|+|1×1.5|+|0×2|=4，以此類推，得到模型 A 第一個 cube 所對應的距離 4、4.5，和第二個 cube 對應到的距離 4.5、2，再從中取出最小的距離權重組合 4+2=6，因此模型 A 與模型 B 的最小距離值為 6，如圖 3.13 所示。 36.

(48) 𝑊𝑖𝑗 =. 立. 1 × (𝑣𝑖 + 𝑣𝑗 ) 2. ( 3.8). 政治大. 圖 3.13 Weighted bipartite matching 示意圖. ‧ 國. 學. 另外，加入權重後，兩兩模型間的距離通常都會變大。透過圖 3.12 和圖. ‧. 3.13 得知，原模型距離為 3，考慮權重後，距離變為 6。因此，轉換相似度. sit. y. Nat. 時，需要採用相對應的標準差值，其值為模型兩兩距離統計之樣本標準差的. io. er. 1/10，如式( 3.9)所示。以例子說明，假設原模型標準差為 100，取得的值為 10，權重模型的標準差為 200，取得的值為 20，而這兩個取得的值則是距離 3 和 6 的. n. al. σ 值。 σ=. Ch. engchi. i n U. v. 模型兩兩距離統計之標準差 ( 3.9). 10. 37.

(49) 第四章實驗結果與分析此章節介紹本研究所使用的實驗樣本以及評估方法。並且從實驗中驗證 3DLTD 在三維空間中的效果，最後，對實驗結果進行研究與探討。由於我們所提出的方法是基於物體結構之建構，因此用來對比的三維特徵方法將會採用同類型的特徵描述子(基於 voxel 的特徵)。3.1.1 節已說明取得 voxel 的方法，然而 bounding box 切太小會使得 voxel 點數太少，所以我們將 bounding box 分割成 3×3×3 的 cubes 以及 voxels，總共有 729 個 voxels 進行測試。相比於 NTU[23]等一般常用的三維模型資料庫，現有的積木風格模型資料庫. 政治大. 不論是模型數量或類別都不全面，因此我們為了控制模型間的變異程度，以評估. 立. 3DLTD 的效能，所以進行以下的穩定度測試：為同種模型生成類似模型，方法. ‧ 國. 學. 為隨機加減 N%，共生成 5 個模型，而實驗之穩定度%數為 5、10、20、30%，其在 TOP 數據結果以顏色區分，分別為藍色、綠色、橘色、黃色，其餘灰色表示。. ‧. 本章節將先介紹幾種實驗，並對其結果進行穩定度探討，分別如下：. 實驗二：權重機制實驗. . 實驗三：不同隨機樣本對組實驗. . 實驗四：挑選樣本對組實驗. . 實驗五： 3DLTD 與 3DBRIEF 實驗. n. al. Ch. engchi. er. . io. 實驗一： Bipartite Matching 實驗. sit. y. Nat. . i n U. v. 接著，介紹實驗所用的資料樣本與評估方法，最後則會呈現各個實驗的結果。. 4.1 實驗樣本本研究採用的資料樣本為 Qmodel Creator 所製作的積木風格模型，目前使用 38.

(50) 616 個積木風格模型當作樣本集，衍生的樣本數量為 12320 個模型。模型分別根據隨機加減 N%生成 5 筆資料，進行穩定度實驗。原因為模型製作會因為製作者的不同而出現跟原型差異度大的成品，如圖 4.1 之示意圖。. 立. 政治大. ‧. ‧ 國. 學 er. io. sit. y. Nat. n. al. i n C 圖 4.1 不同積木風格模型示意圖 hengchi U. v. 4.2 樣本標準差設定此節說明之後所用的方法，計算各自在 12320 個衍生模型兩兩距離統計之樣本標準差，如式( 3.9)所示，並基於此樣本標準差，為每個方法衍生可轉換成相似度的𝜎，這樣才可以在方法間相互比較相似度。. 39.

(51) 4.3 實驗一此小節為 BM 實驗，其方法為各點僅連接著一條邊，這些邊所構成的集合稱作一個匹配。在此考量的是模型之間的距離，越相似，距離越近，而 BM 的總和應該要最小。無使用 BM 的話，有可能重複配對，導致錯誤的結果。另外，此節之前會先討論隨機加減 N%的穩定性。我們採用模擬生成模型的方式，平均隨機加減 N%於模型上，如表 4.1 所示，實際得到的結果也顯示兩者由於隨機生成的關係，而得到類似的結果分佈，如圖 4.2，使得我們可以進行後續的實驗。. ‧ 國. Model Index. 2~6. 7~11. 17~21. 12~16. y. ‧. similarity. 30%. er. al. sit. Stability. n. 0.8. 20%. 表 4.1 N%之 Model Index 分佈. io. 0.9. 10%. Nat. 1. 5%. 學. 立. N%. 政治大. Ch. engchi. i n U. v. BM -Addtion. 0.7. BM -Reduction 0.6 0.5 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21. Model Index. 圖 4.2 隨機加減 N%之單一模型平均穩定性. 40.

(52) 方法. 𝜎. BM. 21. Non-BM. 27 表 4.2 有無 BM 之標準差設定. Stability. Similarity. 1. 0.9. 0.8. 立. 0.7. BM. 政治大. Non-BM. ‧ 國. Model Index. ‧. 圖 4.3 有無 BM 之單一模型平均穩定性. Nat. similarity. n. al. sit. io 0.9. y. Stability. er. 1. 學. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21. Ch. engchi. i n U. v. BM. 0.8. Non-BM. 0.7 1. 11. 21. 31. 41. 51. Top @k. 圖 4.4 有無 BM 之整體穩定性. 41. 61.

(53) Stability 1.2. similarity. 1 0.8 0.6. BM. 0.4. NonBM. 0.2 0 1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58. Top @k. 圖 4.5 有無 BM 之衍生整體穩定性. 立. Index. 政治大. 1.000. 17. 1.000. ‧ 國. 131. 1.000. BM 0.889. 0.889. 0.883. 0.877. 0.926. 0.926. 0.898. 0.896. 0.895. 0.892. 0.917. 0.896. 0.864. 0.864. 0.858. 0.827. 0.870. 0.864. 0.883. 0.877. 0.877. 0.809. 0.769. 0.736. sit. Non-BM. 0.870. y. 0.898. Nat. 0.926. ‧. 1. 學. TOP 1 TOP 2 TOP 3 TOP 4 TOP 5 TOP 6 TOP 7 TOP 8 TOP 9 TOP 10. 0.963. 0.926. 0.926. 0.889. 0.889. 0.852. 0.852. 0.815. 0.815. 17. 1.000. 0.926. 0.889. 0.889. 0.889. 0.889. 0.852. 0.815. 0.741. 0.741. iv n0.593. 0.852. 1.000. al. n. er. 1.000. io. 1. C0.704 0.630 0.370 0.296 0.259 U h e n0.667 i h gc 表 4.3 有無 BM 之 Top10 比對結果(5、10、20、30%分別為藍色、綠色、橘色、. 131. 0.704. 黃色，其餘灰色)，黃色、灰色會以圖片輔助呈現. 42.

(54) 立. 政治大. ‧ 國. 學 ‧. 圖 4.6 有無 BM 之 Top@k 圖片呈現(5、10、20、30%分別為藍色、綠色、橘色、黃色，其餘灰色)，黃色、灰色會以圖片輔助呈現. sit. y. Nat. al. er. io. 本實驗要探討的是有無使用 BM 所造成的結果。由 bipartite matching 的性質. v. n. 知道所有點都配對的前提下，可以得到最小距離總和匹配。圖 4.3 結果證明兩者. Ch. engchi. i n U. 差異性不大，而圖 4.4、圖 4.5 證實使用 BM 可以得到較佳的結果。圖 4.6 的搜尋結果表示在差異變化比較大時，可以找到其他類似的模型。. 4.4 實驗二此小節為權重機制實驗。目的是擴大模型之間的差異程度，希望藉此提高比對搜尋結果的準確性。而此方式僅針對 voxel 分佈的位置，給予不同的權重，並沒有針對不同的 voxel 值給予不同的權重。本研究採用的 weight 方式為在 bounding 附近的 voxels，權重設為 3；在 43.

(55) bounding box 中間的 voxels，權重設為 1；介於兩者之間的，權重設為 2。如果在邊界的 voxel 進行距離比較，則會受 weight 的影響，讓 voxel 間距離更近。. 方法. 𝜎. with weight. 41. without weight. 21 表 4.4 加上權重之標準差設定. Stability 1. 立. 0.8. 政治大. ‧ 國. 學. similarity. 0.9. 0.7. with weight Without weight. 0.6. 圖 4.7 加上權重之單一模型平均穩定性. io. al. n 1. y. sit. Model Index. er. Nat. 1 2 3 4 5 6 7 8 9 101112131415161718192021. ‧. 0.5. Ch. e nStability gchi. i n U. v. similarity. 0.9 0.8 with weight. 0.7. Without weight 0.6 0.5 1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61. Top @k. 圖 4.8 加上權重之整體穩定性 44.

(56) Stability 1. similarity. 0.9 0.8 with weight. 0.7. without weight 0.6 0.5 1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58. Top @k. 圖 4.9 加上權重之衍生整體穩定性. 立. Index. 政治大. ‧ 國. 學. TOP 1 TOP 2 TOP 3 TOP 4 TOP 5 TOP 6 TOP 7 TOP 8 TOP 9 TOP 10 without weight. ‧. 1.000 0.926 0.898 0.889 0.889 0.883 0.877 0.870 0.870 0.864. 17. 1.000 0.926 0.926 0.898 0.896 0.895 0.892 0.883 0.877 0.877. 131. 1.000 0.917 0.896 0.864 0.864 0.858 0.827 0.809 0.769 0.736. n. al. er. io. sit. y. Nat. 1. Ch. with weight. engchi. i n U. v. 1. 1.000 0.957 0.957 0.926 0.909 0.907 0.889 0.884 0.883 0.864. 17. 1.000 0.963 0.917 0.907 0.907 0.907 0.892 0.892 0.889 0.883. 131. 1.000 0.957 0.932 0.914 0.914 0.901 0.895 0.883 0.883 0.877. 表 4.5 有無權重之 Top 10 比對結果(5、10、20、30%分別為藍色、綠色、橘色、黃色，其餘灰色)，黃色、灰色會以圖片輔助呈現. 45.

(57) 立. 政治大. ‧. ‧ 國. 學 sit. y. Nat. al. er. io. 圖 4.10 有無權重之 Top@k 圖片呈現(5、10、20、30%分別為藍色、綠色、橘色、黃. n. 色，其餘灰色)，黃色、灰色會以圖片輔助呈現. Ch. engchi. i n U. v. 本實驗要探討的是加入權重是否會影響結果，而目的在於加強 voxel 在模型邊界的比重，擴大模型的差異。由圖 4.8 證實穩定度會受到一定的影響，從圖 4.10 的搜尋結果也可以觀察到，圖 4.7 則證實同個模型衍生出來的模型在差異 20%變化後有明顯的改變，表 4.5 的比對搜尋結果顯示在 TOP 5 以內的模型皆可找到衍生出來的模型。. 46.