第四章 第四章
第四章、 、 、 、 實驗結果 實驗結果 實驗結果 實驗結果
為了改善檢索的效能，我們根據動態多重特徵整合方法，整合了ART-ED[17]， 3D-ART[18]，SGD[17]，GD2[19]，BD[20]和PPD [21]等6個不同的特徵。在這個實驗，
資料庫中的每一個3D模型都會被當成查詢模型，進而產生一個檢索結果。我們使用 Recall(recall value，Re)、Precision ( Pr )和DCG(Discounted Cumulative Gain)值來測量 檢索效能。由於在不同資料庫中，各類別的模型數量不盡相同，所以在第i個類別中 的第j個模型的Recall (Reij)與Precision ( j
Pr )i 定義為：
i
j i j
i N N
Re = / (29)
以及
Prj Nij K
i = /
(30)
其中N 表示在ij j模型的檢索結果中有幾個屬於第i個類別，Ni表示第i個類別中模型 的數量，K表示檢索出3D模型的數量。平均Recall和precision的定義如下：
∑ ∑
= =
=
C
i N
j j i s
i
N Re Re
1 1
1 (31)
以及
∑ ∑
= =
=
C
i N
j j i s
i
N Pr Pr
1 1
1 (32)
其中Ns = N1 + N2 + … + NC而C表示資料庫中類別的個數。
第k名DCG的遞迴函數定義如下：
=
≥
− +
1 ,
2 ), ( DCG log
= DCG
1
2 1
k G
k k Gk
k
k (33)
其中當第k個檢索模型與查詢模型來自同一個類別，則Gk = 1，反之Gk = 0，而查詢 模型q整體的DCG定義為
DCGkmax ，其中kmax = Ns是資料庫中模型的總數，從DCG 的定義來看，當跟查詢模型在相同類別的比對模型排名總是在前頭時，將會獲得一個 較大的DCG值。
1) 第一個實驗資料庫
第一個實驗資料庫第一個實驗資料庫第一個實驗資料庫，，，，PSB 資料庫資料庫資料庫資料庫為了證明我們提出的動態多重特徵整合方法是有效及可改善檢索結果的，所以我 們利用PSB(Princeton Shape Benchmark)資料庫[22]，針對我們提出的方法來做一些實 驗，首先先介紹一下 PSB 資料庫：包含測試及訓練模型兩個部分。測試模型部分有 92個類別，總共有907個模型，訓練模型部分有90個類別，總共907個模型。值得 注意的是每個類別的模型數目並不相同。為了與其他方法比較檢索結果，將在 907 個測試模型中進行實驗。在我們的實驗中，在 PSB 資料庫的907 個測試模型，每一 個模型都將成為查詢模型來檢索相似的3D模型。
圖十二顯示在PSB資料庫上重複檢索10次的檢索效能，表三顯示六個不同的3D 特徵和不同的整合方式重複執行10次後的檢索結果，在這個表中，DMDF表示我們所 提出的動態多重特徵整合方法，同時使用了改良式查詢特徵調整和加權特徵整合；
FCBaseline表示基本的特徵整合方法，根據公式(25)所有特徵都使用相同的權重；FCBC
和 FCIRP分別表示廣為人知的整合方法Borda count方法[23]和inverse rank position方
法[23]，Query Time為每個查詢模型檢索的平均時間。從表三我們可以看到我們提出
的DMDF方法，優於每一個單一特徵以及FCBaseline、FCBC和FCIRP。與最佳的單一特徵 (如表三的MART-ED)相比，FCBaseline在NL = Ti和NL = 4Ti的Recall可以提升2.72%和 3.49%， 而DCG可提升2.25%。另 外我 們提出 的DMDF方法 可以 更進 一步的提 高 FCBaseline的效能，在NL = Ti和NL = 4Ti的Recall分別可以提高5.01%和4.92%，至於DCG 則可以提高2.80%。
表四將我們提出的動態多重特徵方法與其他特徵的檢索效能做比較，其他特徵包 含了EGI [24]，CRSF [25]，DBI [26]，DBF [27]，CRSP [25]，SH-GEDT [28]，LFD [29]， DSR [26]，SWD [30]，RISH [31]，SHIST [32]，SIL [26]，3DHT [33]，CAH[34]，REXT[35]，
和AVC [36]，從這個表裡面可以看到，我們提出的動態多重特徵方法的DCG高於其
他特徵。圖十三提出一個例子說明FCBasline方法和我們的動態多重特徵方法的檢索結 果。
圖十二、在 PSB 資料庫上動態多重特徵調整的檢索效能圖，重複檢索 10 次的 Recall (%)Re 和 DCG(%)。
表三、在 PSB 資料庫上動態多重特徵調整的檢索效能表，Recall (%)Re、DCG(%)和 Query Time(s)，括號中的數字表示重複執行的次數，最佳的檢索結果再重複執行 10 次。
Method Re
(NL=Ti)
Re (NL=2Ti)
Re (NL=3Ti)
Re (NL=4Ti)
DCG (kmax=907)
Query Time(s) MART-ED[17] 42.32 52.29 58.15 62.13 71.83 0.1953 SGD[17] 26.39 34.10 40.06 44.41 58.65 0.0064 PPD[21] 34.04 43.92 49.89 54.43 65.62 0.0114 3D-ART[18] 35.89 45.11 49.78 53.10 66.68 0.0114 GD2[19] 28.66 38.03 43.72 48.21 61.34 0.0151 BD[20] 26.72 34.00 38.95 42.69 58.70 0.0163
FCBaseline 45.04 56.10 61.71 65.62 74.08 0.2353
FCBC 41.77 52.86 59.00 63.57 71.77 0.2871 FCIRP 43.12 55.43 61.95 66.23 73.72 0.2899 DMDF 50.05(9) 61.49(10) 66.98(10) 70.54(7) 76.88(7) 0.4795
40 50 60 70 80 90
Re(1Ti) Re(2Ti) Re(3Ti) Re(4Ti) DCG
Re/DCG (%)
1 2 3 4 5 6 7 8 9 10 Iteration Number
Re (NL=Ti) Re (NL=2Ti) Re (NL=3Ti) Re (NL=4Ti)
表四、在PSB資料庫中，將我們提出的動態多重特徵方法與其他特徵的DCG(%)做 比較。其中有標記*的是引用自Akgule等[27]。
Descriptor DCG (kmax=907)
EGI[24] 43.80
CRSF[25] 66.80
LF[29] 64.30
SH-GEDT[28] 58.40
DBI[26]* 66.30
DSR[26]* 66.50
DBF[27] 65.90
DSR+DBF[27] 70.20
SWD[30]* 65.40
RISH[31]* 58.40
SHIST[32]* 54.50
SIL[26]* 59.70
3DHT[33]* 57.70
CAH[34]* 43.30
REXT[35]* 60.10
AVC[36] 60.20
DMDF 76.88
(a) MART-ED
SGD
PPD
3D-ART
GD2
BD
(b)
(c)
(d)
(e)
圖十三、顯示各別特徵、FCBaseline和我們提出的動態多重特徵整合檢索結果的範例。
(a) 在賽車這個類別有 14 個 3D 模型，有邊框的 3D 模型為查詢模型。(b) 使用各別 特徵的檢索結果(加上邊框的是檢索正確的 3D 模型)。(c) 使用自動相關/不相關模型 選擇方法選出的相關模型。 (d) 使用 FCBaseline方法的檢索結果。 (e) 使用我們提出 的動態多重特徵整合方法的檢索結果。
2) 第二個實驗資料庫
第二個實驗資料庫第二個實驗資料庫第二個實驗資料庫，，，，ESB 資料庫資料庫資料庫資料庫這 是 第 二 個 進 行 實 驗 的 資 料 庫 ， 我 們 使 用 ESB(Purdue Engineering Shape
Benchmark)資料庫[37]，來做性能的比較。ESB 資料庫總共有 45 個類別，包含 867
個模型。在ESB資料庫中，每一個類別的3D模型數量是不同的，而在 ESB資料庫 中的每一個3D模型也將作為查詢模型，用來搜尋相似的3D模型。表五顯示六個不 同的3D特徵和不同的整合方式重複執行10次後的檢索結果。
從表五可以看到我們提出的動態多重特徵整合方法比其他單一特徵的效能還高。
使用基本的方法FCBaseline與最佳的單一特徵(如表五的MART-ED和3D-ART)相比，在 NL = Ti和NL = 4Ti，Recall可以提升6.18%和5.73%，而DCG可提升3.96%。此外我們提 出的DMDF方法可以更進一步的提高FCBaseline的效能，在NL = Ti和NL = 4Ti的Recall分 別可以提高1.75%和1.22%，至於DCG則可以提高0.55%。
表六將我們提出的動態多重特徵方法與其他特徵的檢索效能做比較，其他特徵包 含了DSR [26]，DBF [27]和整合DSR與DBF。我們可以看到動態多重特徵整合的DCG 依舊高於其他特徵。
表五、在 ESB 資料庫上動態多重特徵調整的檢索效能表，Recall(%)Re、DCG(%)和
Query Time(s)，括號中的數字表示重複執行的次數，最佳的檢索結果再重複執行 10
次。
Method Re
(NL=Ti)
Re (NL=2Ti)
Re (NL=3Ti)
Re (NL=4Ti)
DCG (kmax=867)
Query Time(s) MART-ED[17] 41.55 54.90 63.01 68.15 76.23 0.1873 SGD[17] 31.95 42.49 49.55 55.65 69.80 0.0064 PPD[21] 36.43 46.84 54.22 59.72 72.98 0.0113 3D-ART[18] 41.30 54.82 61.35 65.98 75.86 0.0110 GD2[19] 35.36 45.97 52.50 57.32 71.87 0.0152
BD[20] 38.52 49.24 56.36 61.35 73.98 0.0162
FCBaseline 47.73 61.72 68.95 73.88 80.19 0.2254
FCBC 45.01 59.12 67.20 72.23 78.61 0.2730
FCIRP 45.96 59.96 67.88 73.30 79.26 0.2728
DMDF 49.49(5) 63.25(9) 70.67(7) 75.10(4) 80.74(4) 0.4407 表六、在ESB資料庫中，將我們提出的動態多重特徵方法與其他特徵的DCG(%)做 比較。其中有標記*的是引用自Akgule等[27]。
Descriptor DCG (kmax=867)
DSR[26]* 74.10
DBF[27] 75.70
DSR+DBF[27] 76.90
DMDF 80.74
3) 第三個實驗資料庫
第三個實驗資料庫第三個實驗資料庫第三個實驗資料庫，，，，SHREC-W 資料庫資料庫資料庫資料庫SHREC-W資料庫[38]有20個類別，總共400 個高品質的3D模型。在這個資料
庫中，相同類別的3D模型不僅有相似的幾何圖形，而且擁有相同的拓樸結構。表七 顯示六個不同的 3D 特徵和不同的整合方式重複執行10 次後的檢索結果，從表七可 以看到我們提出的動態多重特徵整合方法比其他單一特徵的效能還高。使用基本的方
法FCBaseline與最佳的單一特徵(如表七的3D-ART和SGD)相比，在NL = Ti和NL = 4Ti，
Recall可以提升2.95%和1.37%，而 DCG可提升1.75%。此外我們提出的 DMDF方 法可以更進一步的提高FCBaseline的效能，在NL = Ti和NL = 4Ti的Recall分別可以提高 5.45%和2.18%，至於DCG則可以提高2.13%。
表八將我們提出的動態多重特徵方法與其他特徵的檢索效能做比較，其他特徵包 含了TBS[39]，DSR [26]，DBF [27]和整合DSR與DBF。我們可以看到動態多重特徵 整合的DCG依舊高於其他特徵。
表七、在SHREC-W資料庫上動態多重特徵調整的檢索效能表，Recall (%)Re、DCG(%)
和 Query Time(s)，括號中的數字表示重複執行的次數，最佳的檢索結果再重複執行
10次。
Method Re
(NL=Ti)
Re (NL=2Ti)
Re (NL=3Ti)
Re (NL=4Ti)
DCG (kmax=400)
Query Time(s) MART-ED[17] 46.64 59.40 68.33 74.55 80.37 0.0860
SGD[17] 36.03 52.06 61.24 67.78 72.46 0.0030
PPD[21] 42.05 56.24 65.84 71.94 77.67 0.0051
3D-ART[18] 43.38 55.24 62.09 67.17 78.00 0.0050
GD2[19] 42.21 56.87 65.81 71.80 77.13 0.0070
BD[20] 57.80 71.91 78.35 82.89 85.42 0.0071
FCBaseline 60.75 73.65 80.14 84.26 87.17 0.1036
FCBC 56.23 70.24 77.51 82.65 84.95 0.1146
FCIRP 56.91 72.30 79.05 83.84 85.92 0.1150
DMDF 66.20(6) 78.09(10) 83.17(9) 86.44(10) 89.30(9) 0.2773
表八、在SHREC-W資料庫中，將我們提出的動態多重特徵方法與其他特徵的DCG(%)
做比較。其中有標記*的是引用自Akgule等[27]。
Descriptor DCG (kmax=400)
TBS[39] 73.30
DSR[26]* 83.20
DBF[27] 86.70
DSR+DBF[27] 87.20
DMDF 89.30
4) 第四個實驗資料庫
第四個實驗資料庫第四個實驗資料庫第四個實驗資料庫，，，，NIST 資料庫資料庫資料庫資料庫第四個資料庫，NIST (National Institute of Standards and Technology)資料庫[40]， 包含40個類別，擁有800個模型。表九顯示六個不同的3D特徵和不同的整合方式重複 執行10次後的檢索結果，從表九我們提出的動態多重特徵整合方法比其他單一特徵的 效能還高。使用基本的FCBaseline方法與最佳的單一特徵(如表九的MART-ED)相比，在 NL = Ti和NL = 4Ti，Recall可以提升4.36%和3.44%，而DCG可提升2.95%。此外我們提 出的DMDF方法可以更進一步的提高FCBaseline的效能，在NL = Ti和NL = 4Ti的Recall分 別可以提高7.93%和6.28%，至於DCG則可以提高4.12%。
表九、在NIST資料庫上動態多重特徵調整的檢索效能表，Recall (%)Re、DCG(%)和
Query Time(s)，括號中的數字表示重複執行的次數，最佳的檢索結果再重複執行 10
次。
Method Re
(NL=Ti)
Re (NL=2Ti)
Re (NL=3Ti)
Re (NL=4Ti)
DCG (kmax=800)
Query Time(s) MART-ED[17] 43.84 56.23 63.45 68.51 76.73 0.1721 SGD[17] 18.81 26.69 32.83 37.99 56.39 0.0056 PPD[20] 39.02 53.06 60.59 65.92 73.72 0.0096 3D-ART[18] 40.03 52.01 58.44 62.63 73.97 0.0097 GD2[19] 31.73 42.89 49.78 55.06 67.78 0.0138
BD[20] 23.79 31.24 36.42 40.75 60.51 0.0138
FCBaseline 48.20 60.59 67.09 71.95 79.68 0.2061
FCBC 45.09 58.79 66.67 71.88 77.44 0.2462
FCIRP 45.89 60.16 67.92 73.04 79.13 0.2434
DMDF 56.13(9) 68.35(10) 74.34(7) 78.23(7) 83.80(5) 0.3884
5) 實驗總結
實驗總結實驗總結實驗總結總結來說，我們將四個資料庫的數據整理成表十，同時我們也在圖十四顯示PSB 資料庫中六個特徵與動態多重特徵的Precision-Recall圖，圖十五顯示 ESB資料庫中 六個特徵與動態多重特徵的Precision-Recall圖，圖十六顯示SHREC-W資料庫中六個 特徵與動態多重特徵的Precision-Recall圖，圖十七顯示NIST資料庫中六個特徵與動 態多重特徵的Precision-Recall圖。
表十、在四個資料庫上動態多重特徵調整的檢索效能表，Recall (%)Re、DCG(%)和
Query Time(s)，括號中的數字表示重複執行的次數。
PSB Re
(NL=Ti)
Re (NL=2Ti)
Re (NL=3Ti)
Re (NL=4Ti)
DCG (kmax=907)
Query Time(s) MART-ED[17] 42.32 52.29 58.15 62.13 71.83 0.1953
SGD[17] 26.39 34.10 40.06 44.41 58.65 0.0064
PPD[21] 34.04 43.92 49.89 54.43 65.62 0.0114
3D-ART[18] 35.89 45.11 49.78 53.10 66.68 0.0114
GD2[19] 28.66 38.03 43.72 48.21 61.34 0.0151
BD[20] 26.72 34.00 38.95 42.69 58.70 0.0163
FCBaseline 45.04 56.10 61.71 65.62 74.08 0.2353
FCBC 41.77 52.86 59.00 63.57 71.77 0.2871
FCIRP 43.12 55.43 61.95 66.23 73.72 0.2899
DMDF 50.05(9) 61.49(10) 66.98(10) 70.54(7) 76.88(7) 0.4795 ESB
MART-ED[17] 41.55 54.90 63.01 68.15 76.23 0.1873
SGD[17] 31.95 42.49 49.55 55.65 69.80 0.0064
PPD[21] 36.43 46.84 54.22 59.72 72.98 0.0113
3D-ART[18] 41.30 54.82 61.35 65.98 75.86 0.0110
GD2[19] 35.36 45.97 52.50 57.32 71.87 0.0152
BD[20] 38.52 49.24 56.36 61.35 73.98 0.0162
FCBaseline 47.73 61.72 68.95 73.88 80.19 0.2254
FCBC 45.01 59.12 67.20 72.23 78.61 0.2730
FCIRP 45.96 59.96 67.88 73.30 79.26 0.2728
DMDF 49.49(5) 63.25(9) 70.67(7) 75.10(4) 80.74(4) 0.4407 SHREC-W
MART-ED[17] 46.64 59.40 68.33 74.55 80.37 0.0860
SGD[17] 36.03 52.06 61.24 67.78 72.46 0.0030
PPD[21] 42.05 56.24 65.84 71.94 77.67 0.0051
3D-ART[18] 43.38 55.24 62.09 67.17 78.00 0.0050
GD2[19] 42.21 56.87 65.81 71.80 77.13 0.0070
BD[20] 57.80 71.91 78.35 82.89 85.42 0.0071
FCBaseline 60.75 73.65 80.14 84.26 87.17 0.1036
FCBC 56.23 70.24 77.51 82.65 84.95 0.1146
FCIRP 56.91 72.30 79.05 83.84 85.92 0.1150
DMDF 66.20(6) 78.09(10) 83.17(9) 86.44(10) 89.30(9) 0.2773 NIST
MART-ED[17] 43.84 56.23 63.45 68.51 76.73 0.1721
SGD[17] 18.81 26.69 32.83 37.99 56.39 0.0056
PPD[20] 39.02 53.06 60.59 65.92 73.72 0.0096
3D-ART[18] 40.03 52.01 58.44 62.63 73.97 0.0097
GD2[19] 31.73 42.89 49.78 55.06 67.78 0.0138
BD[20] 23.79 31.24 36.42 40.75 60.51 0.0138
FCBaseline 48.20 60.59 67.09 71.95 79.68 0.2061
FCBC 45.09 58.79 66.67 71.88 77.44 0.2462
FCIRP 45.89 60.16 67.92 73.04 79.13 0.2434
DMDF 56.13(9) 68.35(10) 74.34(7) 78.23(7) 83.80(5) 0.3884
圖十四、在 PSB 資料庫的 Precision-Recall 比較圖。
圖十五、在 ESB 資料庫的 Precision-Recall 比較圖。
0 0.2 0.4 0.6 0.8 1
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Pr
Re
AED SGD PPD 3DART GD2 NBD
AQPM+FRW
0 0.2 0.4 0.6 0.8 1
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Pr
Re
AED SGD PPD 3DART GD2 NBD
AQPM+FRW
圖十六、在 SHREC-W 資料庫的 Precision-Recall 比較圖。
圖十七、在 NIST 資料庫的 Precision-Recall 比較圖。
0 0.2 0.4 0.6 0.8 1
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Pr
Re
AED SGD PPD 3DART GD2 NBD
AQPM+FRW
0 0.2 0.4 0.6 0.8 1
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Pr
Re
AED SGD PPD 3DART GD2 NBD
AQPM+FRW