中 華 大 學

中 華 大 學 碩 士 論 文

題目：應用相關模型自動選擇演算法於 3D 模型 檢索系統

3D model retrieval based on the automatic relevant/irrelevant model selection algorithms

系 所 別：資訊工程學系碩士班 學號姓名：M09602057 張育誠 指導教授：石 昭 玲 副教授

中華民國 九十八 年 八 月

摘要 摘要摘要 摘要

近年來更進階的技術，將 3D 模型經過數位化與視覺化轉換成影像(image) 和視訊(vedio)，而基於 3D 模型的檢索系統(content-based 3D model retrieval system)

[1]變成熱門的研究。在這篇論文中，我們提出了一個新的特徵整合方法，藉由 7 個不同的特徵做初次的檢索，再依據檢索結果，自動相關及不相關模型之選擇

(Automatic Relevant/Irrelevant Models Selection, ARSM)會挑選出相關及不相關的 模型，接下來利用挑選出來的相關與不相關影像來計算出新的特徵向量與新的特 徵權重來做特徵整合用。實驗則是利用普林斯頓形狀基準 (Princeton Shape Benchmark，PSB)資料庫[2]來驗證我們提出的特徵整合方法。

Abstract

In recent years, advanced techniques on digitization and visualization of 3D models have made 3D models as plentiful as images and video. The rapid generation of 3D models has made the development of efficient 3D model retrieval systems become urgently. In this paper, we propose the Automatic Relevant/Irrelevant Models Selection (ARMS) toautomatically determine the relevant and irrelevant information for improving retrieval result.The ARSM is used to individually combine with query point movement (QPM), feature re-weighting method (FRM). Finally, our feature integration method is used to automatically determine feature weighting and modify query feature vector. Experiments conducted on the Princeton Shape Benchmark (PSB) database have shown that the proposed feature integration approach provides a promising retrieval result.

致謝 致謝 致謝 致謝

兩年多的研究生日子總算告一段落了，心中有很多話想要說，可是卻不知

怎麼說出口，兩年的日子又一幕幕浮現眼前，有歡笑、有感動、有辛苦，但是最

多的還是那無法言喻的感激之情。

首先要感謝的是我的指導教授石昭玲老師，在這兩年來對我的諄諄教誨、

關心與指導，還要感謝李建興老師、黃雅軒老師、韓欽銓老師、連振昌老師和周

智勳老師，使我如沐春風與受益良多，在此獻上我最誠摯的感謝與敬意。此外，

也感謝石昭玲教授、李建興教授、李建誠教授、韓欽銓教授、秦群立教授，在我

的碩士論文口試中，能夠給予許多寶貴的意見。

感謝家人及朋友們，在我最累時能讓我心情放鬆並且使我擁有信心完成學

業，同時要感謝的是實驗室的學長 宇晨、庭彥、宥霖、正園及祐維等，同學 勝

斌、昭弘等，以及學弟妹們，感謝你們在這段期間內對我的幫助與鼓勵。當然，

也要感謝其他實驗室的許多其他人，在我需要幫助的時候，伸出溫暖的手。

謝謝你們！

目錄 目錄目錄 目錄

第一章、 簡介...9

第二章、 相關研究...12

第三章、 特徵整合...21

3-1 自動相關及不相關模型之選擇 (Automatic Relevant/Irrelevant Models Selection, ARSM) ...21

3-2 查詢模型特徵向量之調整(Query Point Movement Method, QPM)...24

3-3 加權特徵整合(Feature Re-weighting Method, FRM) ...25

3-4 整合查詢模型特徵向量之調整(QPM)和加權特徵整合(FRM)...26

第四章、 實驗結果...28

第五章、 結論...45

圖目錄 圖目錄圖目錄 圖目錄

圖 1-1 3D 模型。(a)3D sedan, monster truck 模型(b) 3D wheel, gear 模型。...10

圖 1-2 系統流程圖 ... 11

圖 2-1 Rocchio 所提之特徵向量移動示意圖。...12

圖 2-2 Yu Wang 的 Basestar 系統中的流程圖。 ...14

圖 2-3 重新產生查詢圖片的特徵向量。 ...14

圖 2-4 多種相關性回饋的選擇。 ...15

圖 2-5 相關與不相關影像的特徵值分佈圖。 ...17

圖 2-6

dR

(I)值小，影像 I 接近相關影像分佈區域，遠離不相關影像分佈區域 ...18

圖 2-7

dN

(I)值小，影像 I 接近不相關影像分佈區域，遠離相關影像分佈區域 ...18

圖 3-1 3D race_car_3 模型。...23

圖 3-2 3D race_car_1 模型。...23

圖 3-3 利用查詢模型為 race_car_1，依據 IED 特徵描述檢索結果。 ...23

圖 3-4 查詢模型特徵向量移動示意圖。 ...24

圖 4-1 7 個特徵與整合查詢模型特徵向量之調整和 ...44

圖 4-2 整合查詢模型特徵向量之調整與整合查詢模型特徵 ...44

表目錄 表目錄表目錄 表目錄

表 2-1 Gita Das 和 Sid Ray 使用的四個資料庫內容 ...18

表 3-1 研究期間，曾經做過的方法。 ...26

表 4-1 普林斯頓形狀基準資料庫測試模型總列表，包含 92 個類別 907 個模型。 ...29

表 4-2 普林斯頓形狀基準資料庫訓練模型總列表，包含 90 個類別 907 個模型。 ...30

表 4-3 使用的 7 個特徵，針對普林斯頓形狀基準資料庫的召回值。 ...30

表 4-4 方法 1 的 FRM Recall 值。...31

表 4-5 方法 1 的 QPM Recall 值。 ...31

表 4-6 方法 1 的 QPM + RFC Recall 值。...31

表 4-7 方法 2 的 FRM Recall 值。...32

表 4-8 方法 2 的 QPM Recall 值。 ...32

表 4-9 方法 2 的 QPM + RFC Recall 值。...32

表 4-10 方法 3 的 FRM Recall 值。...33

表 4-11 方法 3 的 QPM Recall 值。...33

表 4-12 方法 3 的 QPM + RFC Recall 值。...33

表 4-13 方法 4 的 FRM Recall 值。...34

表 4-14 方法 4 的 QPM Recall 值。 ...34

表 4-15 方法 4 的 QPM + RFC Recall 值。...34

表 4-16 方法 5 的 FRM Recall 值。...35

表 4-17 方法 5 的 QPM Recall 值。 ...35

表 4-18 方法 5 的 QPM + RFC Recall 值。...35

表 4-19 方法 6 的 FRM Recall 值。...36

表 4-20 方法 6 的 QPM Recall 值。 ...36

表 4-21 方法 6 的 QPM + RFC Recall 值。...36

表 4-22 方法 7 的 FRM Recall 值。...37

表 4-23 方法 7 的 QPM Recall 值。 ...37

表 4-24 方法 7 的 QPM + RFC Recall 值。...37

表 4-25 方法 8 的 FRM Recall 值。...38

表 4-26 方法 8 的 QPM Recall 值。 ...38

表 4-27 方法 8 的 QPM + RFC Recall 值。...38

表 4-28 方法 9 的 FRM Recall 值。...39

表 4-29 方法 9 的 QPM Recall 值。 ...39

表 4-30 方法 9 的 QPM + RFC Recall 值。...39

表 4-31 方法 10 的 FRM Recall 值。...39

表 4-32 方法 10 的 QPM Recall 值。 ...39

表 4-33 方法 10 的 QPM + RFC Recall 值。...40

表 4-34 方法 11 的 FRM Recall 值。...40

表 4-35 方法 11 的 QPM Recall 值。...40

表 4-36 方法 11 的 QPM + RFC Recall 值。...40

表 4-37 方法 12 的 FRM Recall 值。...41

表 4-38 方法 12 的 QPM Recall 值。 ...41

表 4-39 方法 12 的 QPM + RFC Recall 值。...41

表 4-40 方法 13 的 QPM + RFC Recall 值。...41

表 4-41 方法 14 的 QPM + RFC Recall 值。...42

表 4-42 方法 15 的 QPM + RFC Recall 值。...42

表 4-43 方法 16 的 QPM + RFC Recall 值。...42

表 4-44 方法 17 的 QPM + RFC Recall 值。...42

表 4-45 方法 18 的 QPM + RFC Recall 值。...43

表 4-46 方法 19 的 QPM + RFC Recall 值。...43

第一章 第一章第一章

第一章、、、簡介、簡介簡介 簡介

多媒體發展的相當迅速，進而多媒體檢索成為熱門的研究，傳統的多媒 體檢索系統是使用關鍵字搜尋感興趣的多媒體，所以管理這些多媒體資料庫 的管理者必須將全數的多媒體給予特定的關鍵字，但是如果資料庫相當龐大 的話，勢必會是相當耗時耗成本的一件事，而且不同的管理者，可能對相同 的多媒體詮釋不同的關鍵字，因此基於以上的原因後來發展了基礎的多媒體 檢索。

近年來更進階的技術，將 3D 模型經過數位化與視覺化轉換成影像(image) 和視訊(vedio)，而基於 3D 模型的檢索系統(content-based 3D model retrieval

system) [1]變成熱門的研究，3D 模型的檢索系統最主要的挑戰是擷取適當的 特徵描述，因此各式各樣的特徵描述被提出。在我們的系統中，整合了 7 個 不同的特徵描述，各個特徵描述針對不同的 3D 模型類別，會有相對的優勢 與劣勢，我們舉兩個利用不同特徵描述針對不同 3D 模型類別的優勢與劣勢 的例子： 如圖 1-1(a)，圖中有兩個 3D 模型，Sedan 和 Monster_truck。如果 用內部特徵描述來看這兩個 3D 模型，很難區分出來他們兩個的差異，但是 如果我們利用這兩個模型的外部特徵描述的話，很顯然的可以很清出的區分 出兩個是不同種類的模型；如圖 1-1(b)，圖中有兩個 3D 模型，Wheel 和 Gear。

如果用外部特徵描述來看這兩個 3D 模型，很難區分出來他們兩個的差異，

但是如果我們利用這兩個模型的內部特徵描述的話，很顯然的可以很清出的 區分出兩個是不同種類的模型。由上述可發現，並沒有單一種特徵描述可以

在所有 3D 模型種類檢索結果中，勝過其他特徵方法，所以我們提出了一個 新的特徵整合方法，結合了(IED[3], AED[4], 3D-ART[5], SGD[6], GD2[7],

BD[8], PPD[3])等 7 個不同的特徵，給予每個特徵描述一個權重，讓在特定類 別有較好檢索結果表現的特徵描述有較高的權重，較差表現的特徵描述則給 予較低的權重，進而改善整體的檢索結果。

我們提出的特徵整合方法整個系統的架構如圖 1-2，首先給定一個查詢模 型，藉由 7 個不同的特徵做初次的檢索，再依據檢索結果，自動相關及不相關模 型之選擇 (Automatic Relevant/Irrelevant Models Selection, ARSM)會挑選出相關 及不相關的模型，接下來利用挑選出來的相關與不相關影像來計算出新的特徵向 量與新的特徵權重來做特徵整合用，在我們的系統是結合自動相關及不相關模型 之選擇跟特徵整合的方法，進而改善檢索結果的效能。

Sedan Monster_truck

(a)

Wheel Gear

(b)

圖 1-1 3D 模型。(a)3D sedan, monster truck 模型(b) 3D wheel, gear 模型。

圖 1-2 系統流程圖

接下來探討的是第二章相關研究，第三章則是介紹我們提出來的特徵整合方

法，第四章是利用實驗來驗證我們提出來的方法是有改善檢索結果效能的，最後

第五章則是總結。

Automatic relevant/irrelevant models selection (ARMS)

Feature integration 3D model database

Combine retrieval result query

3D model

.... Inital retrieval result

Query point movement Feature re-weight method

Query point movement

IED, APD, 3D-ART, SGD, GD2, BD, PPD

Relevant feedback

第二章 第二章第二章

第二章、、、相關研究、相關研究相關研究 相關研究

對於一個 3D 模型，擷取特徵的方法有很多種，而某種取特徵的方法針 對某些 3D 模型可能是有著不錯的搜尋結果。因此考慮將多種取特徵的方法 結合，結合各種特徵的優點來進行搜尋，並且再加上使用者相關性的回饋以 提升搜尋結果。本章將介紹一些之前所做過的相關研究，藉由更深入的研究 及改善之前的作法，已達更佳的檢索效能。

查詢影像特徵向量之調整(Query point movement,QPM)原本是運用在文字 (text-based)檢索系統，後來 Rocchio[9]將查詢影像特徵向量之調整運用於影像檢 索系統上，用以做查詢影像特徵向量之調整。調整後的特徵向量可由 Rocchio 公 式得知，公式如下：

 



 

 ∑

 −





 

 ∑

+

=

∈ D∈U i

R U

D i

R ^{i i}

N D N D

Q

Q 1 1

' α β γ

(2.1)

其中 '

Q 是經過調整後的特徵向量， Q 是未經過調整的特徵向量； R 是代表相關

的影像，

U

是代表不相關的影像；

D

_i是第 i 個影像的特徵向量；

α

^、

β

^、

γ

^則是

相對應的權重，用以做適當的調整，三者總和為 1。利用此一公式查詢影像的特 徵向量可被移動到相關影像所分布的區域並且遠離不相關影像所分布的區域如 圖 2-1 所示。

圖 2-1 Rocchio 所提之特徵向量移動示意圖。

初始查詢 新查詢

查詢模型 相關模型 非相關模型

Huang[10]在以內容為基礎的圖像檢索(Content-based image retrieval,CBIR) 系統上實作了相關性回饋(Relevance feedback)，將之命名為 MARS。此系統藉由 前次檢索影像結果做回饋(挑相關與不相關影像)用以自動調整查詢影像的特徵 向量。假如相關影像集合

D

_R與不相關影像集合

D

_N事先知道的話,那麼最佳的查 詢影像特徵向量可定義為：

1 ,

1 ∑ ∑

∈

∈

− −

=

N

R i D

i R D T

i i R

opt

D

N D N

Q N

其中

N

_R是相關影像集合

D

_R的數目，

N

_T 則是所有影像集合的數目。實際上

D

_R與

D

N無法事先知道的,然而相關性回饋可由使用者提供相關(

D

_R

'

)與不相關(

D

_N

'

)影 像集合,此集合接近前面所提到的相關影像集合(

D

_R)與不相關影像集合

D

_N) 。

MARS 利用了

Rocchio' s

提出的公式去改變查詢特徵向量(查詢影像的特徵向量

可被移動到相關影像所分布的區域並且遠離不相關影像所分布的區域)。這個整 合的概念結合查詢模型特徵向量之調整與以內容為基礎的圖像檢索，藉由使用者 回饋用以改善檢索結果。

Porkaew 和 Charkrabarti[11]在以內容為基礎的圖像檢索(Content-based image retrieval，CBIR)系統上實作了多查詢影像(multiple query image)，將之命名為延 伸查詢(query expansion)。由使用者先挑選相關的影像，再利用分群演算法去選 擇相關影像的代表(representatives) ，且利用這些代表將各個查詢點的特徵向量 移動到相關影像代表所分布的區域，建構出多重新的查詢點(multipoint query)，。

在 Yu Wang 所提出的 Basestar 系統中[12]提出重新計算查詢圖片(Query image)特徵向量的方法(如圖 2-2)，使用者查詢了一張圖片，根據系統所回傳 的 M 張圖片中，挑選出了 n 張相關的圖片、m 張不相關的圖片(M = n + m)，

再從使用者的回饋之中，按照相關的圖片以及不相關的圖片，根據比例來重 新計算給查詢圖片的特徵向量(如圖 2-3)

 





 



− 

 





 

 + 

′ = ∑ ∑

∈

∈ R i DN

i D N

i i R

N D N D

Q

Q α β 1 γ 1

其中 Q 為初始查詢的特徵向量， Q′為新的查詢圖片特徵向量，

D

_R感興趣圖 片的特徵集合，

D

_N不感興趣的圖片的特徵集合，

N

_R為感興趣圖片集合的個 數，

N

_N為不感興趣圖片的集合個數。如此計算出新的特徵向量 Q′，可以根

據新的特徵向量 Q′來重新對資料庫進行比對搜尋，獲得較好的搜尋結果。

圖 2-2 Yu Wang 的 Basestar 系統中的流程圖。

圖 2-3 重新產生查詢圖片的特徵向量。

許 多 系 統 在 做 相 關 性 回 饋 時 ， 大 多 都 是 使 用 硬 性 的 相 關 回 饋 (hard

feedback)，也就是對使用者而言只有相關以及不相關的選擇；根據這樣的情況，

P-Y Yin[13]提出了 Soft Feedback 的機制，針對相關性的部分增加了更多彈性化 的選擇，來使得相關性的權重有更多的選擇如圖 2-4 所示。假設在系統回傳 t 張 圖片之中，使用者對查詢圖片 I 做出了該圖的相關性選擇

r

_I。

r

_I如下：













−

=

不相似 不相關 普通相似 高度相似

1 . 0 0

1 . 0

5 . 0

r

I

圖 2-4 多種相關性回饋的選擇。

訂出

r

_I之後，作者提出了 1.彈性化查詢物件特徵向量修正 Soft QVM (Query Vector Modification)、2.彈性化特徵相關性估測 Soft FRE (Feature relevance estimation)、 3.貝氏分析 Soft BI (Bayesian inference)，三種方法來進行相關 性回饋的機制。

彈性化查詢物件特徵向量修正 (Soft QVM ,Query Vector Modification)的 部份加上了彈性化的相關性

r

_I，使得特徵向量有了權重的依據。假設查詢圖 片根據第 i 種特徵產生的特徵向量在第 j 次的相關性回饋之中，產生的特徵向

量為

X

_i^{( )j} ，則

( )⁺

⁼

( )

⁺ ∑

^∈

∑

_∈

⁺ ∑

^{Y ∈N}

∑

_Y∈N Y k Y R

Y

R

Y Y

k j Y

i j

i k

k k

k k

k k

k

r Y r r

Y X r

X

¹

α β γ

^，

其中 R 為使用者標記為高度相似和普通相似的圖片張數，

N

為標記為不相似 的圖片張數。也就是說根據使用者的回饋，來改變查詢圖片的特徵值，使得 搜尋結果更為完善。

彈性化特徵相關性估測(Soft FRE ,Feature relevance estimation)根據使用 者的回饋，來估測每種特徵所對應的權重值。假設使用第 i 種特徵來進行查詢 比對，在系統回傳了 t 張圖片之中，根據使用者的回饋，利用計算權重的公式

{

^,0

}

max

r t

w

j i j

i

⁼ ∑

_∈Ω ，可以計算出第 i 種特徵所對應的權重值，其中

Ω

_i^為 只使用第 i 種特徵所查詢到的圖片集合。因此當

Ω

_i之中，被使用者標記成高 度相似和普通相似的圖片張數越多，則第 i 種取特徵的方法，其相關性就越 高。所以根據得到的特徵權重值，利用加上權重的特徵值距離：

( ) ⁼ ∑

₌

( ⁻ ) ∑

^d_i= i d

i

w

i

x

i

y

i

w

Y

X

1 1

, 2

Dist ，

Dist

值越小，表示兩張圖片越相似，因此根據這樣的做法，就可以得到更為 相似的回傳圖片。

Wu和Zhang[14]在以內容為基礎的圖像檢索(Content-based image retrieval，

CBIR)系 統上 提出了 利用相關 回饋(relevant feedback)做 加權特 徵 整合(feature re-weighting method, FRM)。加權影像特徵整合不只使用相關影像特徵值的標準 差還使用相關與不相關影像的每一個特徵成份分佈圖如圖三十三所示，特徵整合 的權重可由下面公式得知：

R k

s m

k s m k

s

m ,

, , 1

,

σ

ω

⁺

= δ

由圖2-5可以看出當Dominant Range中相關影像數量較多，則

δ

_m,^k_s^{較大。相對的如}

果Dominant Range中相關影像數量較少，則

δ

_m,^k_s較小。如果每一個特徵值(feature

component)標準差 (

σ

_m^k,_,^R_s)小，且Dominant Range中相關影像數量較多，則特徵整

合的權重相對的會較大；反之如果每一個特徵值標準差 (

σ

_m^k,_,^R_s)大，且Dominant

Range中相關影像數量較少，則特徵整合的權重相對的會較小。

圖 2-5 相關與不相關影像的特徵值分佈圖。

關聯分數方法(Relevance score method，RSM)是由 Giacinto 和 Roli[15]提出。

首先給定查詢影像利用歐幾里得距離找到 K 個相近的影像，基於第一次查詢的 結果可由使用者從 K 個相近的影像中去選定相關與不相關影像。資料庫每一張 影像 I 與相關影像集合做非相似性測量(dissimilarity)所得到

dR

(I)；資料庫每一 張影像 I 與不相關影像集合做非相似性測量所得到

dN

(I)，最後可利用

dR

(I)和

) (I

dN

得到影像 I 的相關分數，分數由以下公式給定:

) (

) 1 (

) 1 (

I dN

I I dR

RS

+

=

) (I

dR

值小，表示影像 I 接近於相關影像分佈區域如圖 2-6 所示，而

dN

(I)值小指 影像 I 接近不相關影像分佈區域如圖 2-7 所示。這個分數

RS

(I)的值會坐落於 0 到 1 之間。

圖 2-6

dR

(I)值小，影像 I 接近相關影像分佈區域，遠離不相關影像分佈區域

圖 2-7

dN

(I)值小，影像 I 接近不相關影像分佈區域，遠離相關影像分佈區域

Gita Das 和 Sid Ray[16]利用四個資料庫如表 2-1 所示，來比較加權特徵整合 (feature re-weighting method, FRM)[17]和關聯分數方法(Relevance score method，

RSM)[18]兩個相關回饋的方法。最後由實驗結果可以得知加權特徵整合方法比 關聯分數方法好。

表 2-1 Gita Das 和 Sid Ray 使用的四個資料庫內容

DB1 This consists of 1000 images from 10 semantic categories (Flower, Leaf, Face, Fish, Dam, Car, Aeroplane, Leopard, Ship and Wristwatch).

DB2 This consists of 1000 images from 10 semantic categories (Africa, Beach, Dinosaurs, Elephants, Roses, Horses, Mountains, Food and Historical buildings).

DB3 From http://www.vision.caltech.edu website, we obtained the Caltech-101 image database.

DB4 This data set is a subset of Corel collection available at KDD-UCI repository (http://kdd.ics.uci.edu/databases/ CorelFeatures/CorelFeatures.data.html).

在 Sanjoy K.Saha[19] 的 系 統 中 ， 其 相 關 性 回 饋 的 方 法 主 要 是 依 據

Mann-Whitney 演算法。假設查詢的圖片為 Q ，使用第 j 個特徵擷取的方法，

得到的特徵向量為

Q ，再根據使用者的回饋，獲得相關的圖片集合

_j

f ，以及

_ij 資料庫內的影像 I

相關影像 非相關影像

資料庫內的影像 I 相關影像

非相關影像

不相關的圖片集合

f

_ij

′

，( i 表示

f 及

_ij

f

_ij

′

裡面，第 i 張相關或不相關的圖片)，於

是就可以計算

Q 與

_j

f 裡第 i 張圖片的距離

_ij

X

i

=

dist

( Q

j,

f

ij

)

，和

Q 與

_j

f

_ij

′

裡第 i 張的距離

Y

i

=

dist

( Q

j,

f

ij

′ )

。

接著將 X 與Y 兩個序列合併成為單一序列，長度為

N

，

N = n + m

(

n

為 X 序列的長度，

m

為Y 序列的長度)，合併完成之後將合併的序列重新排序，在 將排序後的合併序列由小至大，分別分配等級層別(rank)由 1 至

N

。根據 Mann-Whitney 演算法，計算出

T :

( )

( ) ( )

( )

∑

∑

=

=

−

− +

−

× +

= −

N

i i

n

i i

N N R nm

N N

nm

n N X R T

1

2 2

1

1 4

1 1

2 1

其中

R ( ) X

i 表示 X 序列的等級層級值，

∑ R

i²為 X 與Y 兩個序列中所有的值平

方相加。若T 落在

1 − α 2 < ^T < α 2 , ( α = 0.1)

^{的範圍內，則第}

^{j 個取特徵的}

方法對查詢圖片 Q 而言，在往後的查詢就不會被採用。

Pei-Cheng Cheng[20] 提 出 一 個 兩 階 相 關 回 饋 的 方 法 (two-level relevance feedback mechanism)應用在醫學影像檢索系統上。由使用者選擇感興趣的影像並 給于相關的層級，經由查詢之後使用者重新給定感興趣影像的層級，系統依照影 像的層級可以預測使用者所感興趣的影像並且自動調整這些感興趣影像的權重 進而改善檢索結果。

R. Ohbuchi[21]主要利用 Alpha Shape 的方式將 3D 模型降成六種不同的解 析，並利用四種不同的特徵擷取方法(1.D2 2.AAD 3.SPRH 4.LFD)，來對六種不 同解析度的模型進行特徵擷取，因此可得到 24 組的特徵向量。並且使用 Purity 的方法，來計算 24 種解析度下的特徵權重值為多少。Purity 的計算方式，是自

動將許多取特徵的方法，分配各自所對應的權重值。假如 3D 模型的資料庫中分 成了 M 個類別。那麼我們假設

S 為在利用

_i^k Di種特徵擷取的方法之下，C_k類別

(

1 ≤ k ≤ M

)所搜尋出的數量。對於一個查詢的模型 q，在特徵擷取 D_i方法的情形

下，其模型 purity 的計算如下：

( )

max ) , , D

( 1 M

k k i

i

q R S

purity

≤

=

≤

其中 R 表示所有搜尋到的模型。因此

purity ( D

_i

, q , R ) / R

就為 Di種特徵的權重值。

第三章 第三章第三章

第三章、、、特徵整合、特徵整合特徵整合 特徵整合

為了改善檢索的正確率，我們將提出有效整合 3D 特徵的方法。首先利用各 個特徵的最初搜尋結果來自動選擇相關模型(relevant 3D model)及不相關模型 (irrelevant 3D model)，此方法被稱之為自動相關及不相關模型之選擇 (Automatic Relevant/Irrelevant Models Selection, ARSM)。根據這些相關及不相關模型的資訊 可來變更查詢模型(query model)的特徵向量，也可以用於調整特徵整合時每個特 徵的權重。

3-1 自動相關及不相關模型之選擇

自動相關及不相關模型之選擇自動相關及不相關模型之選擇自動相關及不相關模型之選擇 (Automatic Relevant/Irrelevant Models

Selection, ARSM)

傳統的相關回饋方法(relevant feedback approach)是提供一個互動的使用者 介面，允許使用者去挑選相關與不相關模型的資訊。但是一般使用者，卻不一定 是專業人士，並不了解該如何選取相關及不相關模型，所以在此論文中將提出由 系統自動挑選相關與不相關模型的方法。我們利用 7 個特徵擷取方法(IED[3],

AED[4], 3D-ART[5], SGD[6], GD2[7], BD[8], PPD[3])搜尋相似模型，再依據我們 提出的演算法來自動挑選相關與不相關模型。

給定一個查詢模型，假設 Sm = {sm,1, sm,2, …, sm,k}表示搜集第 m 個特徵描述 的檢索結果之前 k 名索引的集合 (在我們的論文中假設 K 為 20)，其中 s_m,i表示 使用第 m 個特徵描述檢索結果的第 i 名之 3D 模型索引。資料庫內的 3D 模型 j 在第 m 個特徵描述的得分可由以下公式給定：

otherwise , ,

0 if , ) 1

(





+ − ∈

=

^m

m

S j i

j k g

根據 3D 模型在使用第 m 個特徵的檢索結果前 K 名中，出現的名次 i 給定 3D 模 型 K+1-i 的分數，假如沒有出現在前 K 名中，則此 3D 模型的得分為 0。以下為 資料庫內的 3D 模型 race_car_3(如圖 3-1) ，利用查詢模型為 race_car_1(如圖 3-2) 之 IED 特徵描述檢索結果得分的範例：

race_car_3 在 IED 特徵描述的檢索結果中(如圖 3-3)，它的排名是第 7 名，所以在 IED 特徵描述所得到的分數為 14 分，依據此方法可以計算出 race_car_3 再另外 6 個特徵描述所得到的分數。

計算完每個出現在各個不同特徵描述檢索結果中的 3D 模型的分數後，接下來可 以計算出現在 7 個特徵描述檢索結果中的所有不同 3D 模型的總得分，其總得分 可由以下的公式給定：

, ) ( )

(

7 1

=

∑

= m

g

m

j j

G

累加 3D 模型在 7 個特徵描述檢索結果中所得到的分數即為此 3D 模型在 7 個特 徵描述檢索結果中所得到的總得分。當計算完出現在 7 個特徵描述檢索結果中的 所有 3D 模型之總得分後，再去計算這些 3D 模型在 7 個特徵描述檢索結果中所 得到的總得分的平均值 µ 與標準差 σ，其公式如下：

, ) (

N

j G

Sm

j

∑

=

^∈

µ

σ = ^{( ( ) ) ,}

2

N j G

Sm

j

∑ −

∈

µ

其中 N 代表出現在七個特徵檢索前 K 名中不同 3D 模型的數目

最後系統自動挑選總得分大於平均值加兩倍標準差當相關模型；挑選出現在

七個檢索結果中僅 1 次的模型當不相關模型。

圖 3-1 3D race_car_3 模型。

圖 3-2 3D race_car_1 模型。

圖 3-3 利用查詢模型為 race_car_1，依據 IED 特徵描述檢索結果。

3-2 查詢模型特徵向

查詢模型特徵向查詢模型特徵向查詢模型特徵向量之調整量之調整量之調整量之調整(Query Point Movement Method, QPM)

利用前一小節提到的自動相關及不相關模型之選擇所挑選出來的相關與不

相關模型，去調整查詢模型的特徵向量

v 。做法為將查詢模型的第

^m

m 特徵向量 v 加上出現在第

m

m 個特徵檢索結果中的相關模型所計算出來的特徵向量 u ，再

_R^m

減去出現在第 m 個特徵檢索結果中的不相關模型所計算出來的特徵向量

u 。新

_IR^m

的查詢模型第 m 特徵向量

vˆ

^m定義成：

m m m m

IR

ˆ

v u

R

u

v = + −

出現在第 m 個特徵檢索結果中的相關模型所計算出來的特徵向量

u 與出現在第

_R^m

m 個特徵檢索結果中的不相關模型所計算出來的特徵向量 u 定義如下：

_IR^m

) , (

)) ( ) ( (

&

&

R ∑

⋅

∑

=

∈

∈

∈

∈

R j S j

m R R j S m j

m m

j G

j j

G u

u

和 ,

) (

)) ( ) ( (

&

&

IR ∑

⋅

∑

=

∈

∈

∈

∈

IR j S j

m IR IR

j S m j

m m

j G

j j

G u u

其中

u

^m_R(

j

)表示出現在第 m 個特徵檢索中的相關模型之第 m 個特徵向量；

u

^m_IR(

j

) 表示出現在第 m 個特徵檢索中的不相關模型之第 m 個特徵向量。藉由查詢模型 特徵向量之調整，查詢影像的特徵向量可被移動到相關影像所分布的區域，並且 遠離不相關影像所分布的區域，如圖 3-4 所示。如果使用者仍對搜尋結果不滿意，

可以利用調整後的

vˆ 所找到的新的相關模型，再做一次查詢模型特徵向量之調

^m 整，直到使用者滿意為止。

圖 3-4 查詢模型特徵向量移動示意圖。

初始查詢 新查詢

查詢模型 相關模型 不相關模型

3-3 加權特徵整合

加權特徵整合加權特徵整合加權特徵整合(Feature Re-weighting Method, FRM)

事實上沒有單一種特徵描述可以在所有類別的特徵檢索結果中，勝過其他特 徵方法。所以我們整合了 7 個不同的特徵，利用不同特徵針對不同類別的檢索優 勢給於適當的權重，以達到最佳的搜尋結果。首先利用前面方法挑選出來的相關 模型，依據出現在各個特徵檢索結果中出現的相關模型，將其總分累加之後即成 為該特徵描述的權重，公式如下：

=

∑

∈

∈S j R j m

m

j G

&

)

ω

(

因為這 7 個特徵向量之特徵值的大小範圍並不盡相同，所以在整合這 7 個特徵 時，必須先對這這些特徵的特徵向量做正規化。正規化的作法，我們先找尋訓練 資料庫的特徵值分布在第 3%與第 97%的特徵值，再由上述兩個數值進行正規化。

使用查詢模型 q 與比對模型 t 的距離來計算其相似度，

v

^m、

u

^m分別表示為查 詢模型與比對模型的特徵向量，他們的距離在正規化後的特徵向量被定義為：

), ( ) (

1 97% 3%

, ∑

−

= −

−

=

=

lm

i

m m

m m m

t

q

T T

i u i Dis v u v

l

m為第 m 個特徵向量的維度。查詢模型與相關模型，在 7 個正規化特徵的權重距 離被定義為：

, ) (

6 1

=

∑

=

m m

w

D m

D ω

查詢模型與對照模型的相似度定義成：

ALL t q ALL

t

q

Dis

Sim

, ,

= 1

相似值越高查詢模型與對照模型的相似度越高。

3-4 整合查詢模型特徵向量之調整

整合查詢模型特徵向量之調整整合查詢模型特徵向量之調整整合查詢模型特徵向量之調整(QPM)和加權特徵整合和加權特徵整合和加權特徵整合和加權特徵整合(FRM)

在第一次搜尋過後，可以利用自動相關及不相關模型之選擇(ARSM)取得相 關與不相關模型，然後使用查詢模型特徵向量之調整(QPM)可以對每個特徵方法 得到新的特徵向量，而使用加權特徵整合(FRM)可以調整適當的特徵權重值。在 下一次的搜尋，使用新的查詢模型特徵向量和新的權重值，整合 QPM 和 FRM，

希望能給使用者一個最佳的搜索結果，此外如果使用者依舊不滿意這次的搜索結 果，可以在做一次 ARSM、QPM 和 FRM，嘗試取得最佳的結果。

以上為本文所提出的特徵整合方法，然而在研究期間有試過多種方法，雖然 在檢索效能比不上本文所提出的方法，但是藉由這些經驗，我們最後才能將各個 方法的檢索效能提升到最好。以下將列出我們所有做過的方法(如表 4-1)：

表 3-1 研究期間，曾經做過的方法。

ARMS

挑選在 7 個檢索結果中，總得分大於平均值加 兩倍標準差的 3D 模型。

方法

相關模型 (是否含查詢模型)

不相關模型

QPM FRM

1 X

2 O

依據出現在各個特徵檢索結果 中的相關模型，將其總分累加 之 後 即 成 為 該 特 徵 描 述 的 權 重。

3 X

4 O

根據 ARMS 挑選 出 來 的 相 關 與 不 相 關 模 型 來 計 算 新的特徵向量。

先將相關模型總分量化，量化 方式為：總分減平均值在除以 標準差。然後累加出現在各個 特徵檢索結果中的相關模型之 量化後的總分，當成該特徵描 述的權重。

5 X

6 O

依據出現在各個特徵檢索結果 中的相關模型，將其總分累加 之 後 即 成 為 該 特 徵 描 述 的 權 重。

7 X

8 O

挑選在 7 個檢索結果 中，僅出現 1 次的 3D

模型。 根據 ARMS 挑選

出 來 的 相 關 與 不 相關模型。計算新 的特徵向量時，僅 考 慮 出 現 在 各 個 特 徵 檢 索 結 果 中 的 相 關 與 不 相 關 模型。

先將相關模型總分量化，量化 方式為：總分減平均值在除以 標準差。然後累加出現在各個 特徵檢索結果中的相關模型之

量化後的總分，當成該特徵描 述的權重。

ARMS

方法

相關模型 不相關模型

QPM FRM

9

挑選在 7 個檢索結

果中，分數最小的

3D 模型。

10

挑 選 在 7 個 檢 索 結 果 中，分數前 3 名的 3D 模

型。 挑選在 7 個檢索結

果中，僅出現 1 次 的 3D 模型。

11

挑選在 7 個檢索結

果中，分數最小的

3D 模型。

12

挑 選 在 7 個 檢 索 結 果 中，分數前 4 名的 3D 模

型。 挑選在 7 個檢索結

果中，僅出現 1 次 的 3D 模型。

根據 ARMS 挑選 出來的相關與不 相關模型來計算 新的特徵向量。

累加出現在各個特徵檢索結果 中的相關模型總分，當成該特 徵描述的權重。

13

挑 選 在 7 個 檢 索 結 果 中，分數大於 20 的 3D 模型。

14

挑 選 在 7 個 檢 索 結 果 中，分數大於 30 的 3D 模型。

15

挑 選 在 7 個 檢 索 結 果 中，分數大於 40 的 3D 模型。

16

挑 選 在 7 個 檢 索 結 果 中，分數大於 50 的 3D 模型。

17

挑 選 在 7 個 檢 索 結 果 中，分數大於 60 的 3D 模型。

18

挑 選 在 7 個 檢 索 結 果 中，分數大於 70 的 3D 模型。

19 挑 選 在 7 個 檢 索 結 果 中，分數大於 80 的 3D 模型。

挑選在 7 個檢索結 果中，分數最小的

3D 模型。

根據 ARMS 挑選 出 來 的 相 關 與 不 相 關 模 型 來 計 算 新的特徵向量。

X

20

X X

依據各個特徵的檢索結果，給 定出現在各個檢索結果前 20 名 的模型 1 分，其餘則獲得 0 分。

接下來統計資料庫內所有模型 的總得分(將該模型在各個特 徵檢索的得分相加)。最後將出 現在各個檢索結果中的前 20 名 模型之總得分累加，累加之後 的 分 數 即 為 該 特 徵 描 述 的 權 重。

第四章 第四章第四章

第四章、、、實驗結果、實驗結果實驗結果 實驗結果

為了證明我們提出的方法是有效及可改善檢索結果的，所以我們利用了普林 斯頓形狀基準 (Princeton Shape Benchmark，PSB)資料庫[2]，針對我們提出的方 法來做一些實驗。首先先介紹一下普林斯頓形狀基準資料庫：包含測試及訓練模 型兩個部份。測試模型部分有 92 個類別，總共有 907 個模型，詳細列表如表 4-1；

訓練模型部分有 90 個類別，總共有 907 個模型，詳細列表如表 4-2。值得注意的 是每個類別的模型數目並不相同。

在我們的實驗中，是使用召回值(recall)來衡量檢索結果的效能。由於每個類 別的模型數量不一樣，所以我們利用以下公式來計算第 i 類別中的第 j 模型召回 值：

, / ) ( )

( _{i i}

i

j N j T

Re =

其中 T_i是指資料庫內類別 i 的模型個數，N_i(j)則代表利用 j 當查詢模型的檢索結 果中，前 T_i名中屬於 i 這個類別的各數。平均召回值由以下公式計算：

, ) 1 ⁹² (

1 1

=

∑ ∑

= = i

T

j i

S

i

Re j

Re T

其中 Ts

=T

1

+T

2

+…+T

92。為了改善檢索的效能，我們整合了 IED [3]、 ART-ED

[4] 、 3D-ART [5] 、 SGD [6] 、 GD2 [7] 、 BD [8] 和 and PPD [3]等 7 個不 同的特徵，它們的召回值如表 4-3。接下來表 4-4、4-5、…、4-47 分別是使用我 們提出的自動相關及不相關模型之選擇加上查詢模型特徵向量之調整、加權特徵 整合和查詢模型特徵向量之調整加上加權特徵整合的召回值，從這 43 個表格 中，我們可以看出來最好的檢索結果是方法 6，其作法為：ARMS 挑選相關模型 依據模型總得分超過平均值加兩倍標準差，並且有包含查詢模型。圖 4-1 則是我

們使用的 7 個特徵與我們提出的第 6 個方法的召回值與精準度曲線圖，圖 4-2 則 是比較第 6 個方法，單純使用自動相關及不相關模型之選擇加上查詢模型特徵向 量之調整與或者使用查詢模型特徵向量之調整在加上加權特徵整合的召回值與 精準度曲線圖。由以上的圖表，可以明顯看出我們提出的方法確實有大幅度的改 善檢索效能。

表 4-1 普林斯頓形狀基準資料庫測試模型總列表，包含 92 個類別 907 個模型。

類別名稱 類別名稱 類別名稱

類別名稱 數量數量 數量數量 類別名稱類別名稱類別名稱類別名稱 數量數量數量數量 類別名稱類別名稱 類別名稱類別名稱 數量數量數量數量 類別名稱類別名稱類別名稱類別名稱 數量數量數量數量

Biplane 14 Book 4 Vase 11 Flying_bird 14

Commercial 11 Barn 5 Mailbox 7 School_desk 4

Fighter_jet 50 Church 4 Electrical_guitar 13 Staircase 7 Glider 19 Gazebo 5 Newtonian_toy 4 Standing_bird 7 Stealth_bomber 5 One_story_home 14 Bush 9 Bench 11

Hot_air_balloon 9 Skyscraper 5 Flowers 4 Hammer 4

Helicopter 18 One_peak_tent 4 Potted_plant 26 Dog 7 Enterprise_like 11 Two_story_home 10 Barren 11 Dining_chair 11

Flying_saucer 13 Chess_set 9 Conical 10 Shovel 6

Satellite 7 City 10 Satellite_dish 4 Horse 6

Tie_fighter 5 Desktop 11 Large_sail_boat 6 Desk_chair 15

Ant 5 Computer_monitor 13 Ship 11 Umbrella 6

Butterfly 7 Door 18 Submarine 9 Rabbit 4

Human 50 Eyeglasses 7 Billboard 4 Shelves 13

Human_arms_out 20 Fireplace 6 Sink 4 Race_car 14

Walking 8 Cabinet 9 Slot_machine 4 Snake 4

Rectangular 25 Sedan 10 Fish 17 Single_leg 6

Covered_wagon 5 Sea_turtle 6 Geographic_map 12 Motorcycle 6

Axe 4 Handgun 10 Monster_tuck 5 Knife 7

Hat 6 Semi 7 Sword 16 Hourglass 6

Jeep 5 Face 16 Ladder 4 Train_car 5

Hand 17 Streetlight 8 Wheel 4 Head 16

Glass_with_stem 9 Gear 9 Skull 6 Pail 4

表 4-2 普林斯頓形狀基準資料庫訓練模型總列表，包含 90 個類別 907 個模型。

類別名稱類別名稱

類別名稱類別名稱 數量數量 數量數量 類別名稱類別名稱類別名稱類別名稱 數量數量數量數量 類別名稱類別名稱類別名稱類別名稱 數量數量 數量數量 類別名稱類別名稱類別名稱類別名稱 數量數量 數量數量

Acoustic_guitar 4 Apatosaurus 4 Bed 8 Bee 4

Antique_car 5 Barren 11 Bicycle 7 Brain 7

Fighter_jet 50 Butcher_knife 4 Vase 11 Bridge 10

Tv 12 Chest 7 Trex 6 Couch 15

Tree 17 Shark 7 Bottle 12 Biplane 14

Rifle 19 Sedan 10 Flower_with_stem 15 Desk_lamp 14 Helicopter 17 Desk_with_hutch 7 Potted_plant 25 Duck 5 Enterprise_like 11 Two_story_home 11 X_wing 5 Dining_chair 11

Train 7 Chess_piece 17 Microchip 7 Dirigible 7

Torso 4 City 10 Sailboat 5 Snowman 6

Dolphin 5 Dragon 6 Multiple_peak_tent 5 Table_and_chairs 5

Phone_handle 4 Dome_church 13 Ship 10 Wrench 4

Tank 5 Double_doors 10 Tire wheel 4 Palm 10

Human 50 Feline 6 Commercial 10 Screwdriver 5

Human_arms_out 21 Swingset 4 Sailboat_with_oars 4 Helmet 10 Space_shuttle 6 Castle 7 Multi_fuselage 7 Skeleton 5

Rectangular 26 Sports_car 19 F117 4 Handgun 10

Lighthouse 5 Skateboard 5 Street_sign 12 Ice_cream 12

Piano 6 Head 16 Microscope 5 Spider 11

Shelves 13 Roman_building 12 Sword 15 Military_tank 16

Suv 4 Face 17 Laptop 4 Mug 7

Pig 4 Round 12 Watch 5 Shoe 8

Pickup_truck 8 Stool 7

表 4-3 使用的 7 個特徵，針對普林斯頓形狀基準資料庫的召回值。

Method Recall

(1-Tire)

Recall

(2-Tire)

Recall

(3-Tire)

Recall

(4-Tire)

(1) IED [3] 0.4174 0.5144 0.5670 0.6051

(2) ART-ED[4] 0.3861 0.4910 0.5503 0.5921

(3) 3D-ART [5] 0.3233 0.4073 0.4579 0.5001

(4) SGD[6] 0.2638 0.3411 0.4006 0.4438

(5) GD2[7] 0.2865 0.3803 0.4371 0.4821

(6) BD [8] 0.2671 0.3399 0.3895 0.4269

(7) PPD[3] 0.3379 0.4428 0.5038 0.5527

表 4-4 方法 1 的 FRM Recall 值。

ARMS

_{- FRM}

Iteration Re

(K=T

_i

)

Re (K=2T

_i

)

Re (K=3T

_i

)

Re (K=4T

_i

)

0 0.4688 0.5868 0.6418 0.6812

1 0.4796 0.5943 0.6467 0.6859

表 4-5 方法 1 的 QPM Recall 值。

ARMS

_-QPM

Iteration Re

(K=T

_i

)

Re (K=2T

_i

)

Re (K=3T

_i

)

Re (K=4T

_i

)

0 0.4688 0.5868 0.6418 0.6812

1 0.5082 0.6224 0.6782 0.7127

2 0.5042 0.6234 0.6785 0.7137

3 0.4948 0.6164 0.6694 0.7052

4 0.4822 0.6049 0.6620 0.6963

5 0.4752 0.5966 0.6538 0.6883

6 0.4669 0.5889 0.6466 0.6838

7 0.4607 0.5818 0.6403 0.6779

8 0.4539 0.5755 0.6351 0.6718

9 0.4487 0.5710 0.6301 0.6660

10 0.4430 0.5662 0.6252 0.6632

表 4-6 方法 1 的 QPM + RFC Recall 值。

ARMS

_-FRM-QPM

Iteration Re

(K=T

_i

)

Re (K=2T

_i

)

Re (K=3T

_i

)

Re (K=4T

_i

)

0 0.4688 0.5868 0.6418 0.6812

1 0.5012 0.6153 0.6703 0.7075

2 0.5022 0.6191 0.6763 0.7064

3 0.4927 0.6120 0.6640 0.7013

4 0.4836 0.6013 0.6577 0.6949

5 0.4734 0.5943 0.6505 0.6864

6 0.4643 0.5852 0.6438 0.6802

7 0.4577 0.5798 0.6387 0.6747

8 0.4535 0.5735 0.6343 0.6704

9 0.4484 0.5680 0.6293 0.6659

10 0.4441 0.5626 0.6223 0.6616

表 4-7 方法 2 的 FRM Recall 值。

ARMS

_{- FRM}

Iteration Re

(K=T

_i

)

Re (K=2T

_i

)

Re (K=3T

_i

)

Re (K=4T

_i

)

0 0.4688 0.5868 0.6418 0.6812

1 0.4849 0.5968 0.6454 0.6859

表 4-8 方法 2 的 QPM Recall 值。

ARMS

_-QPM

Iteration Re

(K=T

_i

)

Re (K=2T

_i

)

Re (K=3T

_i

)

Re (K=4T

_i

)

0 0.4688 0.5868 0.6418 0.6812

1 0.4961 0.6145 0.6695 0.7107

2 0.4991 0.6178 0.6787 0.7172

3 0.4970 0.6193 0.6772 0.7173

4 0.4975 0.6182 0.6743 0.7134

5 0.4934 0.6138 0.6729 0.7106

6 0.4895 0.6105 0.6698 0.7093

7 0.4855 0.6072 0.6655 0.7073

8 0.4821 0.6026 0.6620 0.7029

9 0.4796 0.5987 0.6577 0.6990

10 0.4750 0.5948 0.6541 0.6962

表 4-9 方法 2 的 QPM + RFC Recall 值。

ARMS

_-FRM-QPM

Iteration Re

(K=T

_i

)

Re (K=2T

_i

)

Re (K=3T

_i

)

Re (K=4T

_i

)

0 0.4688 0.5868 0.6418 0.6812

1 0.5003 0.6198 0.6745 0.7132

2 0.5020 0.6197 0.6783 0.7168

3 0.5009 0.6210 0.6780 0.7145

4 0.4978 0.6160 0.6755 0.7106

5 0.4935 0.6101 0.6730 0.7077

6 0.4887 0.6065 0.6687 0.7058

7 0.4835 0.6040 0.6630 0.7023

8 0.4817 0.6012 0.6591 0.6969

9 0.4792 0.5960 0.6560 0.6954

10 0.4756 0.5915 0.6523 0.6930

表 4-10 方法 3 的 FRM Recall 值。

ARMS

_{- FRM}

Iteration Re

(K=T

_i

)

Re (K=2T

_i

)

Re (K=3T

_i

)

Re (K=4T

_i

)

0 0.4688 0.5868 0.6418 0.6812

1 0.4810 0.5942 0.6474 0.6867

表 4-11 方法 3 的 QPM Recall 值。

ARMS

_-QPM

Iteration Re

(K=T

_i

)

Re (K=2T

_i

)

Re (K=3T

_i

)

Re (K=4T

_i

)

0 0.4688 0.5868 0.6418 0.6812

1 0.5082 0.6224 0.6782 0.7127

2 0.5042 0.6234 0.6785 0.7137

3 0.4948 0.6164 0.6694 0.7052

4 0.4822 0.6049 0.6620 0.6963

5 0.4752 0.5966 0.6538 0.6883

6 0.4669 0.5889 0.6466 0.6838

7 0.4607 0.5818 0.6403 0.6779

8 0.4539 0.5755 0.6351 0.6718

9 0.4487 0.5710 0.6301 0.6660

10 0.4430 0.5662 0.6252 0.6632

表 4-12 方法 3 的 QPM + RFC Recall 值。

ARMS

_-FRM-QPM

Iteration Re

(K=T

_i

)

Re (K=2T

_i

)

Re (K=3T

_i

)

Re (K=4T

_i

)

0 0.4688 0.5868 0.6418 0.6812

1 0.4967 0.6079 0.6619 0.6993

2 0.5008 0.6170 0.6727 0.7040

3 0.4920 0.6108 0.6625 0.7005

4 0.4825 0.6006 0.6550 0.6931

5 0.4715 0.5924 0.6479 0.6841

6 0.4627 0.5841 0.6425 0.6785

7 0.4572 0.5778 0.6384 0.6746

8 0.4508 0.5709 0.6334 0.6702

9 0.4455 0.5632 0.6263 0.6644

10 0.4393 0.5588 0.6184 0.6603

表 4-13 方法 4 的 FRM Recall 值。

ARMS

_{- FRM}

Iteration Re

(K=T

_i

)

Re (K=2T

_i

)

Re (K=3T

_i

)

Re (K=4T

_i

)

0 0.4688 0.5868 0.6418 0.6812

1 0.4840 0.5960 0.6494 0.6857

表 4-14 方法 4 的 QPM Recall 值。

ARMS

_-QPM

Iteration Re

(K=T

_i

)

Re (K=2T

_i

)

Re (K=3T

_i

)

Re (K=4T

_i

)

0 0.4688 0.5868 0.6418 0.6812

1 0.4961 0.6145 0.6695 0.7107

2 0.4991 0.6178 0.6787 0.7172

3 0.4970 0.6193 0.6772 0.7173

4 0.4975 0.6182 0.6743 0.7134

5 0.4934 0.6138 0.6729 0.7106

6 0.4895 0.6105 0.6698 0.7093

7 0.4855 0.6072 0.6655 0.7073

8 0.4821 0.6026 0.6620 0.7029

9 0.4796 0.5987 0.6577 0.6990

10 0.4750 0.5948 0.6541 0.6962

表 4-15 方法 4 的 QPM + RFC Recall 值。

ARMS

_-FRM-QPM

Iteration Re

(K=T

_i

)

Re (K=2T

_i

)

Re (K=3T

_i

)

Re (K=4T

_i

)

0 0.4688 0.5868 0.6418 0.6812

1 0.5010 0.6190 0.6741 0.7124

2 0.5006 0.6205 0.6785 0.7173

3 0.4995 0.6198 0.6753 0.7133

4 0.4952 0.6141 0.6731 0.7087

5 0.4929 0.6091 0.6677 0.7056

6 0.4872 0.6026 0.6654 0.7039

7 0.4835 0.5996 0.6588 0.6982

8 0.4795 0.5955 0.6562 0.6953

9 0.4784 0.5897 0.6518 0.6921

10 0.4740 0.5871 0.6483 0.6895

表 4-16 方法 5 的 FRM Recall 值。

ARMS

_{- FRM}

Iteration Re

(K=T

_i

)

Re (K=2T

_i

)

Re (K=3T

_i

)

Re (K=4T

_i

)

0 0.4688 0.5868 0.6418 0.6812

1 0.4795 0.5910 0.6450 0.6880

表 4-17 方法 5 的 QPM Recall 值。

ARMS

_-QPM

Iteration Re

(K=T

_i

)

Re (K=2T

_i

)

Re (K=3T

_i

)

Re (K=4T

_i

)

0 0.4688 0.5868 0.6418 0.6812

1 0.4989 0.6126 0.6670 0.6994

2 0.5067 0.6176 0.6738 0.7104

3 0.5075 0.6188 0.6739 0.7101

4 0.5082 0.6205 0.6743 0.7093

5 0.5078 0.6173 0.6732 0.7088

6 0.5053 0.6183 0.6753 0.7087

7 0.5037 0.6159 0.6720 0.7083

8 0.5020 0.6170 0.6718 0.7082

9 0.4989 0.6178 0.6686 0.7074

10 0.4969 0.6176 0.6698 0.7075

表 4-18 方法 5 的 QPM + RFC Recall 值。

ARMS

_-FRM-QPM

Iteration Re

(K=T

_i

)

Re (K=2T

_i

)

Re (K=3T

_i

)

Re (K=4T

_i

)

0 0.4688 0.5868 0.6418 0.6812

1 0.4688 0.5868 0.6418 0.6812

2 0.5095 0.6172 0.6699 0.7071

3 0.5110 0.6220 0.6753 0.7108

4 0.5115 0.6218 0.6762 0.7106

5 0.5097 0.6206 0.6757 0.7113

6 0.5068 0.6169 0.6754 0.7096

7 0.5020 0.6166 0.6740 0.7102

8 0.4999 0.6146 0.6712 0.7084

9 0.4996 0.6129 0.6716 0.7081

10 0.4969 0.6135 0.6703 0.7076