中 華 大 學

中 華 大 學 碩 士 論 文

應用動態多重特徵整合演算法於 3D 模型檢索 3D Model Retrieval Based on a Dynamic

Multi-Descriptor Fusion Algorithm

系 所 別：資訊工程學系碩士班 學號姓名：M09702055 侯堯文 指導教授：石昭玲 博士

中 華 民 國 一百 年 一 月

摘 摘 摘 摘要 要 要 要

為了提高在多媒體檢索的準確性，我們提出了一個動態多重特徵整合方法。首先 利用單一特徵產生各別檢索結果，接下來利用不需使用者介入的自動相關不相關模型 選擇方法，選出相關與不相關的 3D 模型。然後利用加權距離來測量 3D 模型的相似 度，其中各特徵的權重值，是由自動選出的相關不相關模型學習而來。此外根據改良 式查詢特徵調整方法，更新每一個特徵向量，這組新的特徵向量將被用於下一次檢索。

我們使用四個 3D 模型資料庫，比較動態多重特徵向量與其他特徵的檢索效能。實驗 結果顯示我們提出的動態多重特徵整合方法是有效的，總是能有最好的檢索結果。

關鍵字：3D 模型檢索，自動相關/不相關模型選擇，查詢特徵調整，加權特徵整合。

Abstract

In this paper, we will propose a dynamic multi-descriptor fusion (DMDF) approach to improving the retrieval accuracy of content-based multimedia retrieval systems. First, an independent retrieval list is generated for each individual descriptor. Second, the automatic relevant/irrelevant models selection (ARMS) approach is proposed to automatically select the relevant and irrelevant models in a 3D model retrieval system without any user interaction. A weighted distance measure, in which the weight associated with each individual descriptor is learnt automatically according to the selected relevant and irrelevant models, is used to measure the distance between two 3D models. Furthermore, a descriptor-dependent adaptive query point movement approach is employed to update every feature vector. This set of new feature vectors will be used to index 3D models in the next search process. Four 3D model databases were used to compare the retrieval performance of the proposed DMDF approach with many state-of-the-art approaches.

Experiment results have shown that our proposed DMDF approach provides a promising retrieval result and always yields the best retrieval accuracy.

Keywords: 3D model retrieval, Automatic relevant/irrelevant models selection (ARMS), Query point movement (QPM), Feature re-weighting (FRW)

致謝 致謝 致謝 致謝

兩年多的研究生日子總算告一段落了，心中有很多話想要說，可是卻不知怎麼 說出口，兩年的日子又一幕幕浮現眼前，有歡笑、有感動、有辛苦，但是最多的還是 那無法言喻的感激之情。

首先要感謝的是我的指導教授石昭玲老師，在這兩年來對我的諄諄教誨、關心 與指導，還要感謝李建興老師、韓欽銓老師、連振昌老師和周智勳老師，使我如沐春 風與受益良多，在此獻上我最誠摯的感謝與敬意。此外，也感謝石昭玲教授、李建興 教授、謝朝和教授、韓欽銓教授、李遠坤教授，在我的碩士論文口試中，能夠給予許 多寶貴的意見。

感謝家人及朋友們，在我最累時能讓我心情放鬆並且使我擁有信心完成學業，

同時要感謝的是實驗室的學長姐揚凱、清乾、正達、昭偉、建程、長鴻、懷三、雅麟、

宇晨、庭彥、宥霖、正園、祐維、勝斌、昭弘、育誠、正崙、偉欣及明修等，同學信 吉、雅婷、琮瑋、仁政、佩蓉及翔淵等，以及學弟妹柏廷、耀德、珮筠、文楷、子豪、

裕邦、昀蔚及永成等，感謝你們在這段期間內對我的幫助與鼓勵。當然，也要感謝其 他實驗室的許多其他人，在我需要幫助的時候，伸出溫暖的手。

謝謝你們！

目錄 目錄 目錄 目錄

摘要 ... i

Abstract ... ii

致謝 ... iii

目錄 ... iv

圖目錄 ... vi

表目錄 ... viii

第一章、簡介 ...1

第二章、相關研究...3

第三章、動態多重特徵整合(Dynamic Multi-Descriptor Fusion，DMDF) ... 13

1)以單一特徵產生獨立的檢索結果 ... 14

2)自動相關/不相關模型選擇(Automatic Relevant/Irrelevant Models Selection， ARMS) ... 15

3)加權特徵整合(Feature Re-weighting，FRW) ... 17

4)改良式查詢特徵調整(Adaptive Query Point Movement，AQPM) ... 18

5)整合 FRW 和 AQPM ... 19

第四章、實驗結果... 20

1)第一個實驗資料庫，PSB 資料庫 ... 21

2)第二個實驗資料庫，ESB 資料庫... 25

3)第三個實驗資料庫，SHREC-W 資料庫 ... 26

4)第四個實驗資料庫，NIST 資料庫 ... 27

5)實驗總結 ... 27

第五章、結論 ... 31

附錄 ... 32

1)完整檢索數據 ... 32

2)加權特徵整合(Feature Re-weighting，FRW) ... 36 3)錯誤率 ... 38 參考文獻 ... 40

圖目錄 圖目錄 圖目錄 圖目錄

圖一、Rocchio 所提之特徵向量移動示意圖。 ...3 圖二、Yu Wang 的 Basestar 系統中的流程圖[4]。 ...4 圖三、Yu Wang 提出的重新產生查詢圖片的特徵向量[4]。 ...5 圖四、使用 P-Y Yin 所提出的 ASQVM 和 ESQVM 搜尋範例 (a)使用 ASQVM 搜尋的

第一次結果； (b)經過 ASQVM 十次相關性回饋後所得到之結果；(c)使用 ESQVM 搜尋的第一次結果；(d) 經過 ESQVM 二十三次相關性回饋後所得到 之結果[5]。 ...6 圖五、Wu 和 Zhang 所提出的相關與不相關影像的特徵值分佈圖[6]。 ...7 圖六、(a)dR(I)值小，影像 I 接近相關影像分佈區域，遠離不相關影像分佈區域。(b)

) (I

dN 值小，影像 I 接近不相關影像分佈區域，遠離相關影像分佈區域[7]。 .8 圖七、Escalante 之系統融合流程圖[14]。 ... 11 圖八、Monwar 等人提出 Rank Level Fusion 範例[16]。 ... 12 圖九、在普林斯頓資料庫中各類別的 DCG 值比較。 ... 13 圖十、動態多重特徵整合(dynamic multi-descriptor fusion, DMDF)系統，自動選出相關

/不相關模型，再利用加權特徵整合和改良型查詢特徵調整的方法來得到更好 的結果。 ... 14 圖十一、運用自動選擇相關/不相關模型方法時，總得分計算方式示意圖。 ... 17 圖十二、在 PSB 資料庫上動態多重特徵調整的檢索效能圖，重複檢索 10 次的 Recall (%)Re 和 DCG(%)。 ... 22 圖十三、顯示各別特徵、FCBaseline和我們提出的動態多重特徵整合檢索結果的範例。

(a) 在賽車這個類別有 14 個 3D 模型，有邊框的 3D 模型為查詢模型。(b) 使 用各別特徵的檢索結果(加上邊框的是檢索正確的 3D 模型)。(c) 使用自動相 關/不相關模型選擇方法選出的相關模型。 (d) 使用 FCBaseline方法的檢索結 果。 (e) 使用我們提出的動態多重特徵整合方法的檢索結果。 ... 24

圖十四、在 PSB 資料庫的 Precision-Recall 比較圖。 ... 29

圖十五、在 ESB 資料庫的 Precision-Recall 比較圖。 ... 29

圖十六、在 SHREC-W 資料庫的 Precision-Recall 比較圖。 ... 30

圖十七、在 NIST 資料庫的 Precision-Recall 比較圖。... 30

表目錄 表目錄 表目錄 表目錄

表一、此矩陣表示 i 對 j 的投票數。 ...9 表二、Gita Das 和 Sid Ray 使用的四個資料庫內容。 ... 10 表三、在 PSB 資料庫上動態多重特徵調整的檢索效能表，Recall (%)Re、DCG(%)和

Query Time(s)，括號中的數字表示重複執行的次數，最佳的檢索結果再重複執 行 10 次。 ... 22 表四、在 PSB 資料庫中，將我們提出的動態多重特徵方法與其他特徵的 DCG(%)做

比較。其中有標記*的是引用自 Akgule 等[27]。... 23 表五、在 ESB 資料庫上動態多重特徵調整的檢索效能表，Recall(%)Re、DCG(%)和

Query Time(s)，括號中的數字表示重複執行的次數，最佳的檢索結果再重複執 行 10 次。 ... 25 表六、在 ESB 資料庫中，將我們提出的動態多重特徵方法與其他特徵的 DCG(%)做

比較。其中有標記*的是引用自 Akgule 等[27]。... 25 表七、在 SHREC-W 資料庫上動態多重特徵調整的檢索效能表，Recall (%)Re、DCG(%)

和 Query Time(s)，括號中的數字表示重複執行的次數，最佳的檢索結果再重 複執行 10 次。 ... 26 表八、在 SHREC-W 資料庫中，將我們提出的動態多重特徵方法與其他特徵的 DCG(%)

做比較。其中有標記*的是引用自 Akgule 等[27]。 ... 26 表九、在 NIST 資料庫上動態多重特徵調整的檢索效能表，Recall (%)Re、DCG(%)和

Query Time(s)，括號中的數字表示重複執行的次數，最佳的檢索結果再重複執 行 10 次。 ... 27 表十、在四個資料庫上動態多重特徵調整的檢索效能表，Recall (%)Re、DCG(%)和

Query Time(s)，括號中的數字表示重複執行的次數。 ... 28 表十一、在 PSB 資料庫中完整的檢索效能表，Recall (%)Re、DCG(%)和 Query Time(s)。

... 32

表十二、在 ESB 資料庫中完整的檢索效能表，Recall (%)Re、DCG(%)和 Query Time(s)。

... 33 表十三、在 SHREC-W 資料庫中完整的檢索效能表，Recall (%)Re、DCG(%)和 Query Time(s)。 ... 34 表十四、在 NIST 資料庫中完整的檢索效能表，Recall (%)Re、DCG(%)和 Query Time(s)。

... 35 表十五、在 PSB 資料庫中 FRW(-)與動態多重特徵調整的檢索效能表，Recall (%)Re、

DCG(%)和 Query Time(s)。 ... 36 表十六、在 ESB 資料庫中 FRW(-)與動態多重特徵調整的檢索效能表，Recall (%)Re、

DCG(%)和 Query Time(s)。 ... 37 表十七、在 SHREC-W 資料庫中 FRW(-)與動態多重特徵調整的檢索效能表，Recall (%)Re、DCG(%)和 Query Time(s)。 ... 37 表十八、在 NIST 資料庫中 FRW(-)與動態多重特徵調整的檢索效能表，Recall (%)Re、

DCG(%)和 Query Time(s)。 ... 37 表十九、在四個資料庫中，相關與非相關模型的平均錯誤率。 ... 39

第一章 第一章 第一章

第一章、 、 、 簡介 、 簡介 簡介 簡介

隨著電腦技術的快速發展，以及現今網際網路的普遍化，使得數以萬計的數位多 媒體資訊如音訊、視訊、影像以及 3D 模型等，能夠在網路上供使用者存取。現今大 部份的多媒體資訊搜尋系統主要都是以關鍵字為搜尋的依據，但一般來說，這些索引 或是關鍵字通常是人為手動標記上去的，因此不同的標記者可能會對同一筆多媒體資 訊有不同的關鍵字註解。為了要克服關鍵字或註解與資訊本身內容的差異，必須開發 出一套以資訊本身內容為搜尋依據的搜尋系統，讓使用者能夠更正確的找到真正需要 的資料。

最近幾年來，國內外已有許多專家學者們投入以多媒體資訊內容為基礎之檢索系 統(Content-Based Multimedia Retrieval System, CBMR)的研究，是以資訊內容本身為搜 尋的依據。其中最大的困難點在於要如何擷取出有效的特徵。在先前的研究中，多媒 體資訊搜尋顯示，沒有辦法僅靠單一特徵就能達到滿意的檢索結果。因此如果將不同 特徵，使用資訊整合方法，預計將可以提高檢索的精確度。

我們可以使用下列四個階段的方法，來對資訊做分類：(1)特徵(feature)；(2)比對 分數/距離(matching score/distance)；(3)排名(rank)；(4)決策(decision)。對於特徵整合 方法來說，新的特徵向量是用其他的特徵方法，來增強舊有的特徵向量所得到。對於 比對距離整合方法來說，將多個特徵的比對距離進行整合，產生單一的比對距離，用 來決定最後的比對結果。對於排名整合方法來說，許多分類法在資料庫中都會產生一 個排名，將各個特徵的排名整合產生一個新的排名，進而決定最後的排名。對於決策 整合方法來說，每一個分類法將根據分類結果產生一個類別標籤，整合一組分類法的 標籤，將決定最後一個類別標籤。在本論文中，我們專注在第二種方法，加權比對距 離方法，即計算出各特徵的權重，再與其距離結合。

在有些多媒體搜尋系統中會提供一個介面讓使用者可以在系統第一次搜尋的結 果中挑選出相關或不相關的資訊來做為特徵調整的依據，使下次搜尋能夠更加符合使

用者的要求，也就是所謂的相關性回饋(Relevance Feedback，RF)來提升檢索的效能。

加權特徵(Feature Re-Weighting，FRW)方法，則是為了提高檢索的正確性，去調整各 個特徵向量的權重值，計算各特徵距離的加權總和，以此測量兩個 3D 模型的距離。

此外查詢特徵調整(Query Point Movement，QPM)方法，將把查詢模型的特徵向量往 相關模型移動，遠離不相關模型，這個過程可以反覆進行，直到使用者滿意的檢索結 果。

針對解決相關性回饋方法，需要使用者去介入決定相關與不相關模型的缺點。在 本論文，我們將開發一個動態多重特徵整合(Dynamic Multi-Descriptor Fusion，DMDF) 方法，其中包含自動選擇相關/不相關模型方法(Automatic relevant / irrelevant selection method, ARSM)，自動選出相關模型，以及結合改良型查詢特徵調整(Adaptive Query Point Movement, AQPM)與加權特徵整合(Feature Re-Weighting，FRW)試圖改善傳統相 關性回饋(Relevant Feedback)必須由使用者介入去選取相關模型的不方便並能達到最 佳的搜尋結果。我們主要的貢獻總結如下：

• 提出自動相關/不相關模型選擇，自動選出相關與不相關模型。

• 根據自動相關/不相關模型選擇方法選出的相關和不相關模型，發展出動態 多重特徵整合方法，進而提升檢索準確性。

• 提出相關特徵的改良式查詢特徵調整，根據自動相關/不相關模型選擇方法 選出的相關和不相關模型，更新查詢模型的特徵向量。

本篇論文組織如下。第二章是相關研究，第三章是我們提出的自動相關/不相關 模型選擇方法和動態多重特徵整合方法，第四章是在四個資料庫中，將我們的動態多 重特徵整合方法和其他方法做比較，顯示動態多重特徵整合方法是有效的，最後第五 張是總結。

第二章 第二章 第二章

第二章、 、 、 、 相關研究 相關研究 相關研究 相關研究

對相關性回饋(Relevance feedback, RF)以及查詢影像特徵向量之調整(Query point movement, QPM)的相關文獻做介紹：

查詢影像特徵向量之調整原本是運用在文字(text-based)檢索系統，後來 Rocchio[1]

將查詢影像特徵向量之調整運用於影像檢索系統上，用以做查詢影像特徵向量之調整。

調整後的特徵向量可由 Rocchio 公式得知，公式如下：







 ∑

−







 ∑ +

=

∈

∈ D U i

R U

D i

R ^{i i}

N D N D

Q

Q 1 1

' α β γ

(1) 其中 'Q 是經過調整後的特徵向量， Q 是未經過調整的特徵向量； R 是代表相關的影 像，U是代表不相關的影像；D_i是第i個影像的特徵向量；α、β、γ^{則是相對應的} 權重，用以做適當的調整，三者總和為 1。利用此一公式查詢影像的特徵向量可被移 動到相關影像所分布的區域並且遠離不相關影像所分布的區域如圖一所示。

圖一、Rocchio 所提之特徵向量移動示意圖。

Huang[2]在以內容為基礎的圖像檢索(Content-based image retrieval，CBIR)系統上 實作了相關性回饋，將之命名為 MARS。此系統藉由前次檢索影像結果做回饋(挑相 關與不相關影像)用以自動調整查詢影像的特徵向量。假如相關影像集合D_R與不相關 影像集合D 事先知道的話，那麼最佳的查詢影像特徵向量可定義為： _N

∑

∑

∈

∈ − −

=

N

R iD

i R D T

i i R

opt D

N D N

Q N1 1

(2) 其中N_R是相關影像集合D_R的數目，N_T則是所有影像集合的數目。實際上D_R與D 無_N 法事先知道的，然而相關性回饋可由使用者提供相關(D )_R' 與不相關(D_N')影像集合，

此集合接近前面所提到的相關影像集合(D )_R 與不相關影像集合(D_N) 。MARS 利用

了Rocchio's提出的公式去改變查詢特徵向量(查詢影像的特徵向量可被移動到相關

初始查詢 新查詢

查詢模型 相關模型 非相關模型

影像所分布的區域並且遠離不相關影像所分布的區域)。這個整合的概念結合查詢模 型特徵向量之調整與以內容為基礎的圖像檢索，藉由使用者回饋用以改善檢索結果。

Porkaew 和 Charkrabarti[3]在 以 內 容 為 基 礎 的 圖 像 檢 索(Content-based image retrieval，CBIR)系統上實作了多查詢影像(Multiple query image)，將之命名為延伸查

詢(Query expansion)。由使用者先挑選相關的影像，再利用分群演算法去選擇相關影

像的代表(Representatives) ，且利用這些代表影像將各個查詢點的特徵向量移動到相

關影像代表所分布的區域，建構出多重新的查詢點(Multipoint query)。

在Yu Wang所提出的Basestar系統中[4]提出重新計算查詢圖片(Query image)特徵 向量的方法(如圖二)，使用者查詢了一張圖片，根據系統所回傳的M張圖片中，挑選 出了n張相關的圖片、m張不相關的圖片(M = n + m)，再從使用者的回饋之中，按照 相關的圖片以及不相關的圖片，根據比例來重新計算給查詢圖片的特徵向量(如圖三)











− 









 + 

′= ∑ ∑

∈

∈ R i DN

i D N

i i R

N D N D

Q

Q 1 1

γ β

α (3)

其中 Q 為初始查詢的特徵向量， Q′ 為新的查詢圖片特徵向量，D_R感興趣圖片的特徵 集合，D 不感興趣的圖片的特徵集合，_N N_R為感興趣圖片集合的個數，N 為不感興_N 趣圖片的集合個數。如此計算出新的特徵向量 Q′ ，可以根據新的特徵向量 Q′ 來重新 對資料庫進行比對搜尋，獲得較好的搜尋結果。

圖二、Yu Wang 的 Basestar 系統中的流程圖[4]。

Reduct set Query

Upper/Lower approximation

Final result

Rank result Classification

rules

Training set

New query

Compare query with images

Retrieval result

Iteration?

Database

Network

User

Y

N

圖三、Yu Wang 提出的重新產生查詢圖片的特徵向量[4]。

許多系統在做相關性回饋時，大多都是使用硬性的相關回饋(hard feedback)，也 就是對使用者而言只有相關以及不相關的選擇；根據這樣的情況，P-Y Yin[5]提出了 Soft Feedback 的機制，針對相關性的部分增加了更多彈性化的選擇，來使得相關性的 權重有更多的選擇如圖四所示。假設在系統回傳 t 張圖片之中，使用者對查詢圖片 I 做 出了該圖的相關性選擇r_I，其定義如下。











−

=

不相似 不相關 普通相似 高度相似

1 . 0 0

1 . 0

5 . 0

rI (4)

訂出r_I之後，作者提出了 1.彈性化查詢物件特徵向量修正 Soft QVM (Query Vector Modification)、2.彈性化特徵相關性估測 Soft FRE (Feature relevance estimation)、 3.

貝氏分析 Soft BI (Bayesian inference)，三種方法來進行相關性回饋的機制。

彈性化查詢物件特徵向量修正 (Soft QVM ,Query Vector Modification)的部份加 上了彈性化的相關性r_I，使得特徵向量有了權重的依據。假設查詢圖片根據第 i 種特 徵產生的特徵向量在第 j次的相關性回饋之中，產生的特徵向量為X_i^{( )j} ，則

( ) ( ) ∑

∑ ∑

∑ ^∈ _∈

∈

∈

+ = + +

N Y

N

Y Y

k Y R

Y

R

Y Y

k j Y

i j

i k

k k

k

k

k k

k

r Y r r

Y X r

X ¹ α β γ

(5)

其中 R 為使用者標記為高度相似和普通相似的圖片張數，N為標記為不相似的圖片 張數。也就是說根據使用者的回饋，來改變查詢圖片的特徵值，使得搜尋結果更為完 善。

圖四、使用 P-Y Yin 所提出的 ASQVM 和 ESQVM 搜尋範例 (a)使用 ASQVM 搜尋的 第一次結果；(b)經過 ASQVM 十次相關性回饋後所得到之結果；(c)使用 ESQVM 搜 尋的第一次結果；(d) 經過 ESQVM 二十三次相關性回饋後所得到之結果[5]。

彈性化特徵相關性估測(Soft FRE ，Feature relevance estimation)根據使用者的回 饋，來估測每種特徵所對應的權重值。假設使用第 i 種特徵來進行查詢比對，在系統 回 傳 了 t 張 圖 片 之 中 ， 根 據 使 用 者 的 回 饋 ， 利 用 計 算 權 重 的 公 式

{

}

max r t w

j i j

i ⁼

∑

( )

(

)

i wi xi yi w

Y

X 1 1

, 2

Dist (6)

Dist值越小，表示兩張圖片越相似，因此根據這樣的做法，就可以得到更為相似的回 傳圖片。

Wu和Zhang[6]在以內容為基礎的圖像檢索系統上提出了一個方法，去調整特徵向

量中每個特徵值的權重。以圖五為例，針對特徵向量中之某一個特徵值，若相關影像 集中，且與不相關影像重疊度低，則此特徵值應給予較高的權重值(如圖五之例1)，

反之若相關影像集中，但與不相關影像重疊度高，則此特徵值應給予較低的權重值(如 圖五之例2)，最後若相關影像不集中，與不相關影像重疊度也高，則此特徵值也應給 予較低的權重值(如圖五之例3)。

圖五、Wu 和 Zhang 所提出的相關與不相關影像的特徵值分佈圖[6]。

關聯分數方法(Relevance score method，RSM)是由 Giacinto 和 Roli[7]提出。首先 給定查詢影像利用歐幾里得距離找到 K 個相近的影像，基於第一次查詢的結果可由 使用者從 K 個相近的影像中去選定相關與不相關影像。資料庫每一張影像 I 與相關影 像集合計算非相似度(dissimilarity)所得到dR(I)；資料庫每一張影像 I 與不相關影像 集合計算非相似度得到dN(I)，最後可利用dR(I)和dN(I)得到影像 I 的相關分數，分 數由以下公式給定：

) (

) 1 (

) 1 (

I dN

I I dR

RS

+

= (7)

) (I

dR 值小，表示影像I接近於相關影像分佈區域如圖六(a)所示，而dN(I)值小指影像 I接近不相關影像分佈區域如圖六(b)所示。這個分數RS(I)的值會坐落於0到1之間。

例 1：

例 3：

例 2：

u u uu u r r r r r u u u u u

u u r u u r u

u ru u u u r u u u r uu r u

權重 大

小

小

r：相關影像 u：非相關影像

(a) (b)

圖六、(a)dR(I)值小，影像 I 接近相關影像分佈區域，遠離不相關影像分佈區域。(b) )

(I

dN 值小，影像 I 接近不相關影像分佈區域，遠離相關影像分佈區域[7]。

Nuray 等人以及 Jovic 等人所提出的 Inverse Rank Position[8，9]是依排序給每個 物件分數再依照分數來合併，但是分數不是使用遞減方式給予，物件分數為物件名次 的倒數，物件總得分為物件分數總合的倒數，下列的公式顯示如何在各系統(j=1…n)，

計算物件 i 的排名分數。

= ∑

j ij

i position d d

r 1/ ( )

) 1 (

(8)

例如有四個不同的檢索系統A、B、C、D，都是由a、b、c、d、e、f、g所組成，給予 一個查詢物件後各系統前四名的排序結果如下：

A = (a, b, c, d) B = (a, d, b, e) C = (c, a, f, e) D = (b, g, e, f)

每個物件的排序分數計算方式如下：

r(a) = 1/(1+1+1/2) = 0.4 r(b) = 1/(1/2+1/3+1) = 0.52

物件最後的排序是a > b > c > d > e > f > g，a是排名最高的物件。

Borda 提出的 Borda count(BC)[8，9]是第一個使用投票方式合併資訊的方法，排 名最高的物件(在有 n 個物件參與排序)得到 n 分，每減少一名就減少一分(第二名得到 n-1 分，第三名得到 n-2 分，以此類推)。例如一個查詢在 A、B、C 三個系統的排序 如下：

A = (a, c, b, d) B = (b, c, a, e) C = (c, a, b, e)

資料庫內的影像 I 相關影像

非相關影像

計算各個物件分別在系統中 BC 值(BCA在系統 A)的總和方法如下：

BC(a) = BCA(a) + BCB(a) + BCC(a) = 5 + 3 + 4 = 12 BC(b) = BCA(b) + BCB(b) + BCC(b) = 3 + 5 + 3 = 11 BC(c) = BCA(c) + BCB(c) + BCC(c) = 5 + 3 + 4 = 12 使用 BC 後的排序是 c > a > b > e > d。

Nuray 等人所提出的 Condorcet methods[8]是一個多數決的方法，選取一個優勝 後補，再將優勝後補成對比較。例如在五個系統 A、B、C、D、E 中，有三個物件 a、

b、c(在系統 C 中 b、c 有相同的排名)。

A：a > b > c B：a > c > b C：a > b = c D：b > a E：c > a

在第一階段使用 N×N 矩陣成對比較，N 是物件數目，在表一顯示矩陣的每一個非對 角項目(i,j)，i 對 j 的投票數(也就是說 元件[a,b]顯示的數字分別為勝利、失敗、a 和 b 平手)。在這個投票系統，如果物件沒有被檢索到，代表此物件輸給其他所有物件，

在這個範例最後的排序為 a > b = c。

表一、此矩陣表示 i 對 j 的投票數。

a b c

a − 4, 1, 0 4, 1, 0

b 1, 4, 0 − 2, 2, 1

c 1, 4, 0 2, 2, 1 −

Jovic 等人所提出的 Leave Out [9]，將不同的特徵擷取方法的相似度排序，照排 名順序以不重複的方式依序插入，作為最後的相似度排序結果。例如一個查詢在 A、

B、C 三個系統的排序如下：

A = (a, b, c, e, d) B = (d, a, c, e, b) C = (b, a, c, e, d)

排序結果：final = (a, b, c, d, e)

Das 和 Ray[10]利 用 四個 資 料庫 如 表二 所 示， 來 比較 加 權 特 徵 整 合(feature re-weighting method，FRM)[11]和關聯分數方法(Relevance score method，RSM)[7]兩

個相關回饋的方法。最後由實驗結果可以得知加權特徵整合方法比關聯分數方法好。

表二、Gita Das 和 Sid Ray 使用的四個資料庫內容。

DB1 This consists of 1000 images from 10 semantic categories (Flower, Leaf, Face, Fish, Dam, Car, Aeroplane, Leopard, Ship and Wristwatch).

DB2 This consists of 1000 images from 10 semantic categories (Africa, Beach, Dinosaurs, Elephants, Roses, Horses, Mountains, Food and Historical buildings).

DB3 From http://www.vision.caltech.edu website, we obtained the Caltech-101 image database.

DB4 This data set is a subset of Corel collection available at KDD-UCI repository (http://kdd.ics.uci.edu/databases/ CorelFeatures/CorelFeatures.data.html).

在 Saha[12]所提出的系統中，其相關性回饋的方法主要是依據 Mann-Whitney 演 算法。假設查詢的圖片為 Q，使用第j個特徵擷取的方法，得到的特徵向量為Q ，再_j 根據使用者的回饋，獲得相關的圖片集合f_ij，以及不相關的圖片集合 f ′_ij，(i表示 f_ij及 f ′ 裡面，第 i 張相關或不相關的圖片)，於是就可以計算ij Q 與_j f 裡第 i 張圖片的距離_ij

(

)

i Q f

X =dist , ，和Q 與_j f ′ 裡第 i 張的距離_ij Yi =dist

(

)

合併完成之後將合併的序列重新排序，在將排序後的合併序列由小至大，分別分配等 級層別(rank)由 1 至N。根據 Mann-Whitney 演算法，計算出T:

( )

( )

( )

( )

∑

∑

=

=

−

− +

−

× +

−

=

N

i i

n

i i

N N R nm

N N

nm

n N X R T

1

2 2

1

1 4

1 1

2 1

(9)

其中R

( )

若T <α/2或T > (1-α/2)，其中 α= 0.1，也就是T < 0.05或T > 0.95，則表示對第 j個特 徵對查詢圖片 Q 而言其搜尋結果不佳，在往後的查詢就不會被採用。

Cheng[13]提 出 一 個 兩 階 段 相 關 回 饋 的 方 法(two-level relevance feedback

mechanism)應用在醫學影像檢索系統上。由使用者選擇感興趣的影像並給于相關的層

級，經由查詢之後使用者重新給定感興趣影像的層級，系統依照影像的層級可以預測 使用者所感興趣的影像並且自動調整這些感興趣影像的權重進而改善檢索結果。

Escalante 等人[14]研究了多種不同性質方法的合併，所考慮到的性質有以下三點

1) 以何種方法所產生出來的結果，2) 查詢物件(Query)所提供的資訊，3) 不同方法 其個別的效能。再利用權重(weighted)、全域(global)、各別的狀態(per-modality)以及 階層(hierarchical)來合併這些不同性質的方法。其流程如圖七所示：

圖七、Escalante 之系統融合流程圖[14]。

Ohbuchi[15]主要利用Alpha Shape的方式將3D模型降成六種不同的解析度，並利 用四種不同的特徵擷取方法(D2，AAD，SPRH及LFD)，來對六種不同解析度的模型 進行特徵擷取，因此可得到24組的特徵向量。並且使用Purity的方法，來計算24種解 析度下的特徵權重值為多少。Purity的計算方式，是自動將許多特徵，各自分配所對 應的權重值。假如3D模型的資料庫中分成了M個類別。那麼我們假設S 為在利用特_i^k 徵Di之Ck類別(1≤ k≤M)中所搜尋出的數量。對於一個查詢的模型q，對於特徵Di之 purity的計算如下：

( )

max ) , , D (

M 1

k k i

i q R S

purity

≤

= ≤

(10)

其中 R 表示所有搜尋到的模型。因此purity(D_i,q,R)/R就是特徵 Di的權重值。

Monwar 等人[16] 提出 Rank Level Fusion 方法，以 Borda Count 為主體進行改良，

改良的方式是將改良前總得分除以出現次數，以得到改良後最終的得分。以這個想法 為基礎，再加入權重調整，將每種特徵的原始得分乘上特徵權重。以圖八為例：

圖八、Monwar 等人提出Rank Level Fusion範例[16]。

未使用權重情況下Person 1的分數為3+2+1=6，三種特徵皆有出現，最終分數是6/3=2；

Person 4的分數為2+4=6，只出現在兩種特徵，最終分數是6/2=3。有使用權重情況

下Person 1的分數為0.3*3+0.4*2+0.3*1=2，三種特徵皆有出現，最終得分為2/3=0.67； Person 4的分數為 2*0.3+4*0.3=1.8，只出現在兩種特徵，最終分數是1.8/2=0.9。

Face Macher Ear Macher Signature Macher

Identity Rank Person 1 3 Person 2 1 Person 3 4 Person 4 2

Identity Rank Person 1 2 Person 2 1 Person 3 4 Person 5 3

Identity Rank Person 1 1 Person 2 2 Person 3 3 Person 4 4

Rank Level Fusion

Identity

Borda Count Method Logistic Regression Method (Face=0.3, Ear=0.4, Sig=0.3) Fused Score Reordered

Rank Fused Score Reordered Rank

Person 1 6/3=2 2 2.0/3=0.67 2

Person 2 4/3=1.33 1 1.3/3=0.43 1

Person 3 11/3=3.67 4 3.7/3=1.23 4

Person 4 6/2 3 1.8/2=0.9 3

第三章 第三章 第三章

第三章、 、 、 、 動態多重特徵整合 動態多重特徵整合 動態多重特徵整合(Dynamic 動態多重特徵整合 Multi-Descriptor Fusion， ， ， ，DMDF)

以現今的 3D 特徵擷取技術來說，目前沒有任何一種特徵方法，可在各種不同的 模 型 中 都 能 保 有 最 佳 搜 尋 的 效 果 。 如 圖 九 所 示 六 個 單 一 特 徵 (ART-ED[17] ， 3D-ART[18]，SGD[17]，GD2[19]，BD[20]和 PPD [21])，在普林斯頓資料庫（Princeton Shape Benchmark）[22]中以各個類別的 DCG(Discounted Cumulative Gain)值來看，沒 有一個 3D 特徵在所有類別都有最好的表現。

圖九、在普林斯頓資料庫中各類別的 DCG 值比較。

因 此 在 這 篇 論 文 我 們提 出 一 個 動 態 多 重 特徵 整 合 (Dynamic Multi-Descriptor Fusion, DMDF)方法，來整合數個不同的 3D 特徵以期能提高檢索的準確性。目前最 為廣泛運用的資訊整合方法，是先計算查詢模型與比對模型在各特徵的距離，再乘上 相對的特徵權重後，利用其加權後的總和來做排序，越小表示兩個模型相似度越高。

在分類或識別系統，特徵權重通常都是事先訓練學習得到的。然而在多媒體檢索系統 (Content-based Multimedia Retrieval System)，各個特徵的權重，是無法事先學習的。

許多多媒體檢索系統都會使用相關性回饋(Relevance Feedback)機制來改進檢索結果，

這個機制必須擁有一個使用者介面，供使用者選取相關模型與不相關模型。根據這些 40

50 60 70 80 90

DCG(%)

ART-ED SGD PPD 3D-ART GD2 BD

相關與不相關模型，可以計算出各個特徵的權重值。這篇論文提出的動態多重特徵整 合方法，將先提出一個不需要任何使用者介入，自動選擇相關與不相關模型(Automatic Relevant/Irrelevant Models Selection, ARMS)的方法。再利用這些被選取到的相關與不 相關模型，使用加權特徵整合(Feature Re-weighting, FRW)和改良式查詢模型特徵向量 之調整(Adaptive Query Point Movement, AQPM)的方式檢索到更多相似的3D模型。我 們提出的動態多重特徵整合系統流程圖如圖十。

圖十、動態多重特徵整合(dynamic multi-descriptor fusion, DMDF)系統，自動選出相關 /不相關模型，再利用加權特徵整合和改良型查詢特徵調整的方法來得到更好的結 果。

1) 以單一特徵產生獨立的檢索結果

先分別以各個特徵來搜尋資料庫，去產生個別獨立的檢索結果。假定3D模型檢索 總共使用M個特徵合併。假設 xm = [xm(1), xm(2), …, xm(Nm)]^T ，1 ≤ m ≤ M，xm表示第m 個特徵的特徵向量，Nm代表第m個特徵的特徵長度。為了減少極端值對檢索結果的影 響，先將每一個特徵值正規化，正規化公式如下：













<

≤

− ≤

−

>

=

3 ,

97 , 3

, 3 , 97 ,

3 ,

97 ,

) ( 0

) ) (

(

) ( 1

) (

m m

m m

m m m

m m

m m

m

P i x

P i x P P

P P i x

P i x i

f (11)

其中Pm,97 (或 Pm,3)代表在第m個特徵的第97(或3)個百分比，其定義為在所有模型的

資料庫

查詢 模型

特徵 1

特徵 2

特徵 n 結果 n

最終 結果 結果 2

結果 1

改良式 查詢特徵

調整

‧

‧‧

‧

‧‧‧

‧

‧‧‧

‧

‧

‧

‧

‧

‧

‧

‧

‧

‧

‧

‧

‧ 特徵 擷取

檢索

‧‧‧

‧

‧

‧‧

‧

‧

‧‧

‧ 檢索

檢索

自動 相關/不相關

模型選擇

加權特徵 整合

特徵值中，百分之97(或3)的特徵值比其小。因此第m個特徵向量正規化後可以表示 成：

)]T

( , ), 2 ( ), 1 (

[ _{m m m m}

m = f f K f N

f (12)

對於每種特徵，查詢模型與第b個比對模型的比對距離Dism(b)定義如下：

∑

=

−

=

Nm

i

b m m

m b f i f i

Dis

1

) ( ) ( )

( (13)

其中f_m(i) 表示查詢模型在第m個特徵的第i個特徵值；f_m^b(i)表示第b個比對模型，

在第m個特徵的第i個特徵值。查詢模型和第b個比對模型之第m個特徵的相似性，

定義為比對距離的倒數：

ε

= +

) ( ) 1

(b Dis b Sim

m

m (14)

ε是一個非常小的值，用來避免當Dism(b) = 0時，相似值接近無窮大(在這論文中，ε = 10^-10)。相似值越大，代表比對模型與查詢模型越相似。因此與查詢模型相似的模型，

通常都擁有較大的相似值。根據相似值，每種特徵都將產生個別獨立的檢索結果。將 可利用這些檢索結果自動選出相關與不相關模型。

2) 自動相關

Relevant/Irrelevant Models Selection，

給定一個查詢模型，在每種特徵都產生一個前 Q 名的檢索結果。系統先分析這 組檢索結果，來決定相關與不相關模型。我們的想法是如果某個比對模型在許多特徵 的檢索結果都出現，而且往往名列前茅，這個比對模型很有可能就是相關模型。另一 方面，如果某個比對模型很少出現(特別是只出現一次)在檢索結果中，並敬陪末座，

這個模型很可能是不相關的模型。

令L_m = {idx_m(1), idx_m(2), …, idx_m(Q)}，表示以第m個特徵檢索得到之前Q名模型 的指標值集合，1 ≤ m ≤ M。所有的 Lm之聯集稱為”候選相關/不相關模型(candidate relevant/irrelevant models)”表示為CM，也就是：

LM

L L

CM = ₁ U ₂ U L U (15)

對應於第m個特徵，我們定義每一個比對模型的排序值：







∞

∈

= ^≤≤ =

otherwise ,

}, ) ( { ) arg

( ^{1i Q m m}

m

L b b i b idx

rank (16)

其中b是資料庫裡的比對模型，然後定義每個比對模型的相似度如下：



 >

=

−

−

−

−

otherwise ,

0

0001 . 0 ) ,

(

) 1 ) ( ( ) 1 ) (

(rank b rank b

m

m

m e

b e score

α α

(17) 其中 α 是一個參數，用於控制相似度(similarity score)的遞減速度，在這個論文 α = 0.2。 因此前數名的比對模型將有很高的相似程度。限制每個檢索結果只有 Q 個相似模型 有兩個好處。首先他可以避免在資料量很大時，選擇太多的相關與不相關模型造成的 系統效率降低。其次可以更有效的選擇不相關模型(在分類問題可以視為假警報)。由 於rankm(b) = 47是滿足的e^{−α(rankm(b)−1)} >0.0001最小整數，所以在每一個檢索結果我們 選擇Q為47。

在資料庫中第b個比對模型的相關值(relevance value)表示成Rev(b)，定義為在所 有特徵的相似度總和：

∑

=

=

M

m

m b

score b

Rev

1

) ( )

( (18)

擁有很大的相關值的比對模型，將被當作是相關模型。首先找出在候選模型中所有模 型的平均相關值，計算方式如下：

∑

∈

=

CM CM b

b N1 Rev( )

µRev (19)

NCM是在候選模型中之模型數量，然而相關值的標準差評定方式如下：

2 / 1 2 Rev

Rev 1 ( ( ) )







 −

= ∑

∈CM CM b

b

N Rev µ

σ (20)

在本論文中，假如在候選模型中比對模型b要成為相關模型，那麼比對模型b的相關 值，必須滿足下列不等式：

Rev Rev 2 )

(b ≥µ + σ

Rev (21)

假設 { , , , }

2 Rev 1

Rev r r rN

CM = K 為在候選模型中相關模型的集合，NRev是選擇的相關模型 數量。另一方面，如果在候選模型中的比對模型 b 是不相關模型，那麼比對模型 b 的相關值將小於平均相關值 µRev，。也就是說，不相關模型的相關值滿足下列不等式：

) Rev

(b <µ

Rev (22)

假設CM_IRev ={ir₁,ir₂ ,K,ir_NIRev}為在候選模型中不相關模型的集合，NIRev 是不相關模 型的數量。

以這些選出的相關與不相關模型為基礎，將可以使用加權特徵整合決定每個特徵 的權重值。此外也可利用改良式查詢特徵向量調整法(Adaptive Query Point Movement, AQPM)去調整查詢模型的特徵向量。然後根據新的特徵向量，去得到新的檢索結果。

整個過程可以重複執行，以得到更好的檢索結果與準確性。（如圖十一）

查 詢 模 型：

電吉他_1

圖十一、運用自動選擇相關/不相關模型方法時，總得分計算方式示意圖。

3) 加權特徵整合

為了提高檢索的正確性，我們調整了各個特徵向量的權重值，計算各特徵距離的 加權總和，以此測量兩個 3D 模型的距離。在本論文，每個特徵的權重是利用先前所 選出相關模型的相關值來計算。

特徵 前 15 名的結果

名次 1 2 9 14 15

1

電吉他_1 電吉他_2 鏟子_10 鏟子_3 斧頭_7

^{‧‧‧ ‧‧‧}

得分 1 0.82 ‧‧‧ 0.20 ‧‧‧ 0.07 0.06

2

電吉他_1 電吉他_2 鏟子_10 郵筒_2 直升機_5

^{‧‧‧ ‧‧‧}

得分 1 0.82 ‧‧‧ 0.20 ‧‧‧ 0.07 0.06

‧

‧

‧

M

電吉他_1 電吉他_5 熱氣球_4 刀_9 劍_11

^{‧‧‧ ‧‧‧}

得分 1 0.82 ‧‧‧ 0.20 ‧‧‧ 0.07 0.06 µRev = 0.197 σRew =0.631 µRev+2σRew = 1.459

電吉他_2

總得分： 0.82 + 0.82 + … = 3.2749

因 3.2749 ＞ 1.459 所以電吉他_2 會被當作相關模型

直升機_5

總得分： 0.06 + … = 0.06

因 0.06 ＜ 0.197 所以直升機_5 會被當作不相關模型。

根據選出相關模型的相關值，第m個特徵的權重定義如下：

∑

=

=

Rev

1

) ( ) (

N

i

i i m

m B r Rev r

ω (23)

Rev(ri)是第i個相關模型的相關值，Bm(ri)是判斷比對模型是否在Lm(在第m個特徵的檢 索結果裡，排名前Q名的模型)的布林函數設定如下：



 ∈

= 0, otherwise ,

) 1

( ^m

m

L r r

B (24)

因此，如果Lm包含許多的相關模型，而且在檢索結果中名列前茅，那麼第m個特徵將 會取得很大的權重值。然後將使用加權距離來找出最相似的模型。

假設共有M種特徵，f_m =[f_m(1), f_m(2),K, f_m(N_m)]^T和f_m^b =[f_m^b(1), f_m^b(2),..., f_m^b(N_m)]^T 分別表示查詢模型在第m個特徵和第b個比對模型在第m個特徵正規化後的特徵值，

查詢模型和第b個比對模型的加權距離Dis(b)，由下列式子給定：

∑

=

=

M

m

m

mDis b

b Dis

1

) ( )

( ω (25)

ωm是第 m個特徵的權重，由公式(23)定義，Dism(b)是在第 m個特徵的查詢模型 fm， 和第m個特徵的第b個查詢模型 fm(b)之間的距離。相似性的計算如下：

ε

= +

) ( ) 1

(b Dis b

Sim (26)

利用這些比對模型的相似值，可以排序出新的檢索結果。

4) 改良式查詢特徵調整

Movement，

在本論文中，改良式查詢特徵調整將把查詢模型的特徵向量往相關模型移動，遠 離不相關模型。每一個修改過的查詢特徵向量，將在下一次的檢索過程中，產生一組 新的檢索結果。在多媒體系統中常用的相關性回饋，為 Rocchio 公式[1]其修改查詢 模型的特徵向量的方法描述如下：

∑

∑

∑

∑

=

=

=

− +

=

′

IRev

IRev Rev

Rev 1

1 1

1

) ( ) ( )

( ) 1

( ) ( )

(

1 ^N

j

j m N j

j

j N

i

i m N i

i

i m

m Rev ir ir

ir Rev r

r Rev r

Rev

f f

f f

(27)

fm和f ′_m分別表示查詢模型之初始和修改過的第 m 個特徵向量。fm(ri)和 fm(irj)分別表 示在第i個相關模型和第 j個不相關模型之第m個特徵向量，R(ri)和R(irj)是對應的相 關值，NRev和 NIRev則是透過自動選擇相關與不相關模型法所選出的相關與不相關模 型的數量。依照Rocchio 公式，所有的特徵向量更新方法是相同的，不考慮相關與不 相關模型是否出現在該特徵的檢索結果。例如一個特徵向量 fm，即使沒有出現在該特 徵檢索結果的相關與不相關模型中，也會影響更新的特徵值。為了防止這種情況，本 計畫中將修改後的Rocchio 公式，稱為改良式查詢特徵調整，查詢模型的每一種特徵 向量，根據下列公式將獨立修改如下：

∑

∑

∑

∑

=

=

=

=

− +

′ =

IRev

IRev

Rev

Rev

1 1

1 1

) ( ) ( ) ( )

( ) ( 1

) ( ) ( ) ( ) ( ) (

1

N

j

j m j j

N m

j

j j

m

N

i

i m i i N m

i

i i m m

ir ir Rev ir B ir Rev ir B

r r Rev r B r Rev r B

f f f

f_m

(28)

由上列公式顯示，只有出現在第 m 個特徵檢索結果的相關與不相關模型，用來更新 第m個特徵的特徵向量。在下一次的3D模型檢索，將使用這些更新過的查詢特徵向 量f ′ (1 _m ≤ m ≤ M)。

5) 整合

其實檢索程序可以結合加權特徵整合和改良式查詢特徵調整。首先選出相關與不 相關模型，再接著使用加權特徵整合學習各個特徵的特徵權重，然後計算加權特徵，

產生新的相似度排名。同時，可以使用改良式查詢特徵調整得到新的查詢特徵向量，

這組新的查詢特徵向量將會使用在下一次的檢索中。

第四章 第四章 第四章

第四章、 、 、 、 實驗結果 實驗結果 實驗結果 實驗結果

為了改善檢索的效能，我們根據動態多重特徵整合方法，整合了ART-ED[17]， 3D-ART[18]，SGD[17]，GD2[19]，BD[20]和PPD [21]等6個不同的特徵。在這個實驗，

資料庫中的每一個3D模型都會被當成查詢模型，進而產生一個檢索結果。我們使用 Recall(recall value，Re)、Precision ( Pr )和DCG(Discounted Cumulative Gain)值來測量 檢索效能。由於在不同資料庫中，各類別的模型數量不盡相同，所以在第i個類別中 的第j個模型的Recall (Re_i^j)與Precision ( ^j

Pr )i 定義為：

ⁱ

j i j

i N N

Re = / (29)

以及

Pr^j N_i^j K

i = /

(30)

其中N 表示在_i^j j模型的檢索結果中有幾個屬於第i個類別，Ni表示第i個類別中模型 的數量，K表示檢索出3D模型的數量。平均Recall和precision的定義如下：

∑ ∑

= =

=

C

i N

j j i s

i

N Re Re

1 1

1 (31)

以及

∑ ∑

= =

=

C

i N

j j i s

i

N Pr Pr

1 1

1 (32)

其中Ns = N1 + N2 + … + NC而C表示資料庫中類別的個數。

第k名DCG的遞迴函數定義如下：







=

≥

− +

1 ,

2 ), ( DCG log

= DCG

1

2 1

k G

k k G_k

k

k (33)

其中當第k個檢索模型與查詢模型來自同一個類別，則Gk = 1，反之Gk = 0，而查詢 模型q整體的DCG定義為

DCG_kmax ，其中kmax = Ns是資料庫中模型的總數，從DCG 的定義來看，當跟查詢模型在相同類別的比對模型排名總是在前頭時，將會獲得一個 較大的DCG值。

1) 第一個實驗資料庫

為了證明我們提出的動態多重特徵整合方法是有效及可改善檢索結果的，所以我 們利用PSB(Princeton Shape Benchmark)資料庫[22]，針對我們提出的方法來做一些實 驗，首先先介紹一下 PSB 資料庫：包含測試及訓練模型兩個部分。測試模型部分有 92個類別，總共有907個模型，訓練模型部分有90個類別，總共907個模型。值得 注意的是每個類別的模型數目並不相同。為了與其他方法比較檢索結果，將在 907 個測試模型中進行實驗。在我們的實驗中，在 PSB 資料庫的907 個測試模型，每一 個模型都將成為查詢模型來檢索相似的3D模型。

圖十二顯示在PSB資料庫上重複檢索10次的檢索效能，表三顯示六個不同的3D 特徵和不同的整合方式重複執行10次後的檢索結果，在這個表中，DMDF表示我們所 提出的動態多重特徵整合方法，同時使用了改良式查詢特徵調整和加權特徵整合；

FCBaseline表示基本的特徵整合方法，根據公式(25)所有特徵都使用相同的權重；FCBC

和 FCIRP分別表示廣為人知的整合方法Borda count方法[23]和inverse rank position方

法[23]，Query Time為每個查詢模型檢索的平均時間。從表三我們可以看到我們提出

的DMDF方法，優於每一個單一特徵以及FCBaseline、FCBC和FCIRP。與最佳的單一特徵 (如表三的MART-ED)相比，FCBaseline在NL = Ti和NL = 4Ti的Recall可以提升2.72%和 3.49%， 而DCG可提升2.25%。另 外我 們提出 的DMDF方法 可以 更進 一步的提 高 FCBaseline的效能，在NL = Ti和NL = 4Ti的Recall分別可以提高5.01%和4.92%，至於DCG 則可以提高2.80%。

表四將我們提出的動態多重特徵方法與其他特徵的檢索效能做比較，其他特徵包 含了EGI [24]，CRSF [25]，DBI [26]，DBF [27]，CRSP [25]，SH-GEDT [28]，LFD [29]， DSR [26]，SWD [30]，RISH [31]，SHIST [32]，SIL [26]，3DHT [33]，CAH[34]，REXT[35]，

和AVC [36]，從這個表裡面可以看到，我們提出的動態多重特徵方法的DCG高於其

他特徵。圖十三提出一個例子說明FCBasline方法和我們的動態多重特徵方法的檢索結 果。

圖十二、在 PSB 資料庫上動態多重特徵調整的檢索效能圖，重複檢索 10 次的 Recall (%)Re 和 DCG(%)。

表三、在 PSB 資料庫上動態多重特徵調整的檢索效能表，Recall (%)Re、DCG(%)和 Query Time(s)，括號中的數字表示重複執行的次數，最佳的檢索結果再重複執行 10 次。

Method Re

(NL=Ti)

Re (NL=2Ti)

Re (NL=3Ti)

Re (NL=4Ti)

DCG (kmax=907)

Query Time(s) MART-ED[17] 42.32 52.29 58.15 62.13 71.83 0.1953 SGD[17] 26.39 34.10 40.06 44.41 58.65 0.0064 PPD[21] 34.04 43.92 49.89 54.43 65.62 0.0114 3D-ART[18] 35.89 45.11 49.78 53.10 66.68 0.0114 GD2[19] 28.66 38.03 43.72 48.21 61.34 0.0151 BD[20] 26.72 34.00 38.95 42.69 58.70 0.0163

FCBaseline 45.04 56.10 61.71 65.62 74.08 0.2353

FCBC 41.77 52.86 59.00 63.57 71.77 0.2871 FCIRP 43.12 55.43 61.95 66.23 73.72 0.2899 DMDF 50.05(9) 61.49(10) 66.98(10) 70.54(7) 76.88(7) 0.4795

40 50 60 70 80 90

Re(1Ti) Re(2Ti) Re(3Ti) Re(4Ti) DCG

Re/DCG (%)

1 2 3 4 5 6 7 8 9 10 Iteration Number

Re (NL=Ti) Re (NL=2Ti) Re (NL=3Ti) Re (NL=4Ti)