第四章 實驗
4.3 實驗結果
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
4.3 實驗結果
我們研究的目的是要在多張圖片查詢之下，系統能達到較高的準確度，因此採用 Precision的評估方式，來比較不同的設定值，在經過了相同次數的實驗之後，所能達到 的準確度。根據 4.2 章節所提到的4個實驗規劃，分別由系統自動測試100次後的測試結 果詳細分析圖表與觀察心得如下：
(1) 相似度門檻值對於效能之影響
在我們建立Image Proximity Network的方法中，門檻值m做為評估相似影像的集合張 數。在實驗中，門檻值m設定為10、15、20、25、30，我們要觀察不同門檻值其準確率 表現情況。使用的資料庫為20類圖片(參考表4.1實驗資料類別簡介)，而每類有100 張圖 片，且每張圖片都以ImageNet圖庫中所定義的類別為正確答案，來判斷系統回傳的圖片 是否與Query Image為相同類別。
實驗中，使用傳統的方法做單張圖片查詢與使用本研究提出的方法做多張圖片查詢 相互比較，在單張查詢部份，輸入3張圖片並擷取3張圖片的特徵產生三組特徵向量，並 將三組向量平均最後得到一組特徵向量，將視為1張圖片的特徵向量做單張圖片查詢，
在多張圖片查詢部份，分別輸入2張、3張、4張、5張圖片做多張圖片查詢，並分別觀察 查詢圖片相同類別與不同類別時的準確度變化。
觀察圖4.2與圖4.3，我們可以發現，當門檻值m設定為15%時，其平均的準確率是最 高的，因此我們將之後的實驗門檻值m設定為15%，期望能達到最好的準確率結果。
當m設定為10%時，其準確率降低，這表示當建立相似影像關係時，如果相似影像 的集合個數(m值)過小，結果與相對應的相關圖片過少，即相似圖片過少，就會降低搜 尋的準確率，而當m值設為定為25%至30%或更大時，我們會發現因為相似圖片過多，
在使用本研究提出的方法搜尋圖片時會有所干擾，導致準確的下降。我們經過實驗測試 發現無論查詢圖片是否為相同類別，其曲線跟圖的曲線走勢是相似的，因此，後面實驗
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
門檻值m將設定為15%，以達實驗之最佳準確率。
(2) k- Nearest Neighbor 參數 k 對效能之影響
在實驗中，參數k設定為3~15，n設定為系統回傳20張圖片，q設定為1~5查詢圖片張 數，我們要觀察當Query Image為同類別與不同類別時，在k-Nearest Neighbor方法中，不 同k的設定值其準確率表現情況。
使用的資料庫為20類圖片(參考表4.1實驗資料類別簡介)，而每類有100 張圖片，且 每張圖片都以ImageNet圖庫中所定義的類別為正確答案，來判斷系統回傳的圖片是否與 Query Image為相同類別。
實驗中，使用傳統的方法做單張圖片查詢與使用本研究提出的方法做多張圖片查詢 相互比較，在單張查詢部份，輸入3張圖片並擷取3張圖片的特徵產生3組特徵向量，並 將三組向量平均最後得到一組特徵向量，將視為1張圖片的特徵向量做單張圖片查詢，
在多張圖片查詢部份，分別輸入2張、3張、4張、5張圖片做多張圖片查詢，並分別觀察 查詢圖片相同類別與不同類別時的準確度變化。
圖4.4及4.5 我們可以觀察到：
當k參數設定為9時，其平均的準確率是較高的，當k值設為9跟12的準確率差異 小於千分之二，因此我們將之後的實驗的門檻值k設定為9，期望能達到最好的 準確率結果。
當k參數設定為3時，其準確率較低，這表示在建立TOP- k張相似關係也會影響 準確率的，建立的關係越少，使得Graph之間的關係程度較不Densely，則會降 低搜尋的準確率。
不管Query Image為相同類別或不同類別時，其查詢圖片數量q張數越多，表示 所給予的查詢條件越嚴苛，系統所回傳的結果其準確率較高。
從實驗中也觀察發現，多張圖片搜尋方法的準確率的確比單張的圖片搜尋方法 還高。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
(3) 相似度門檻與 k- Nearest Neighbor 方法之準確率比較
在相似度門檻值對於效能之影響與 k- Nearest Neighbor 參數 k 對效能之影響的實驗 中，觀察到門檻值 m 設定為 15%與 k 參數設定為 9 時，其平均的準確率是較高的，故 在本實驗中將參數 m 設定為 15%，k 設定為 9， q 設定為 1~5 查詢圖片張數，參數 n 設 定為 20 張圖片，我們要觀察當 Query Image 為同類別與不同類別時，在設定相似度門 檻值與 k-Nearest Neighbor 方法中，其準確率表現情況。分析圖表如圖 4.6 與圖 4.7 所示，
在實驗結果中發現不管使用相似度之門檻值方法或 k- Nearest Neighbor 方法，當 q=4 時，
都有比較高的準確度。
(4) 回傳圖片張數對效能之影響
而在方法中，我們在建立圖片關係時，使用 9 張相似圖片來建立圖片關係，而參數
n 代表為使用者每次圖片檢索時的系統回傳給使用者最相近 n 張圖片張數，在實驗中，
將參數 n 設定為 10、20、30、40、50 張，我們要觀察不同 n 設定值其準確率表現情況，
分析圖表如圖 4.8 與圖 4.9 所示，在實驗結果中發現不管查詢圖片張數多少及查詢圖片 的類別是否相同，在 n =20 時，都有比較高的準確度。
(5) MPEG-7 特徵與 SIFT 查詢之效能比較
在我們的方法中，使用了 MPEG-7 與 SIFT 的特徵來描述圖片，而在實驗中，將觀 察當輸入多張同類別圖片查詢時，使用傳統的 MPEG-7 做特徵擷取與僅使用 SIFT 做特 徵擷取其準確率表現情況，分析圖表如圖 4.10 所示，在實驗結果中發現當擷取 SIFT 特 徵來做為多張圖片查詢依據時，其相對的準確度比 MPEG-7 的來得高。
‧
圖4.2 Query Image為同類別時，建立相似度關係門檻值m分析實驗結果 (m=10%~30%, q =1~5, n =20)。
圖 4.3 Query Image 為不同類別時，建立相似度關係門檻值 m 分析實驗結果 (m=10%~30%, q =1~5, n =20)。
圖4.4 Query Image為同類別時，建立k個相似度關係分析實驗結果 (k=3~15, q =1~5, n =20)。
‧
圖4.5 Query Image為不同類別時，建立k個相似度關係分析實驗結果 (k =3~15, q =1~5, n =20)。
k- Nearest Neighbor 方法找k=9張相似
k- Nearest Neighbor 方法找k=9張相似圖片
‧
圖4.8 Query Image為相同類別時，回傳圖片n張之準確率分析實驗結果 (k =9, q =3~5, n =10, 20, 30, 40, 50)。
圖4.9 Query Image為不同類別時，回傳圖片n張之準確率分析實驗結果
(k =9, q =3~5, n =10, 20, 30, 40, 50)。
圖4.10 MPEG-7查詢與SIFT查詢之準確率分析實驗。
(k =3~15, q =3, n =20)