修改手繪資料庫

國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

25

modelResult 為對應手繪圖的模型編號，modelCount 為模型的出現次數，最後 countScore 為根據出現次數的模型分數加總。若是單純將相同模型的分數相加，

會發生若是該模型出現三次就會取得過高的分數，使其他的模型都無法超越，但 是這些可能是相似度很高的模型。因此我們增加一個遞減函數，在累加分數時，

隨著出現增加，得到的分數會減少。下圖十六為執行的示意圖。系統的實際運作 成果放在本論文的第四章。

3.5 修改手繪資料庫

我 們 採 用 的 手 繪 圖 片 資 料 庫 SBSR[Eitz 2012] 為 一 個 對 應 模 型 資 料 庫 PSB[Shilane 2004] 類別的資料庫，總共有 1814 張手繪圖對應到 1814 個模型。

並且將這 1814 張手繪圖按照模型資料庫的分類，切成一半成訓練集和測試集，

各有 907 張手繪圖，並各分為 90 個類別，每個類別最少有 4 張圖，訓練集和測 試集盡量擁有相同的類別以方便搜尋方法的驗證。

SBSR 手繪圖資料庫的建立是透過群眾外包網站 Amazon Mechanical Turk 做 搜集，請使用者在此網站上進行繪畫，僅靠 Eitz 等人提供的簡易繪畫工具進行，

這麼做是為了減少繪畫的難度，讓對於繪畫經驗較少的人也可以繪畫。當然系統 圖 十六. 模型計算分數示意圖

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

26

上也會有說明此繪畫需要可以被其他人所辨識，否則就失去了辨别力。為了給予 使用者繪畫的自由度，系統只會給予需要繪畫的類別名稱，例如飛機、火車等等。

且沒有相關的模型參考，讓使用者可以天馬行空的繪畫，但是畢竟是在網站上做 的測驗，使用者是可以使用線上搜尋引擎做尋找的動作。

儘管 Eitz 等人已經提供了很好的手繪圖資料庫，但是我們在使用時發現了 這個手繪圖資料庫有些缺陷的地方，且改善後也有改良了搜尋準確度。對於修補 資料庫的手繪圖，我們請了十一使用者來幫助改善資料庫，性別為三女八男，因 為男女繪畫風格不相同，希望可以盡量公平的蒐集手繪圖。每位使用者平均繪畫 十一張手繪圖，總共修改了 120 張手繪圖。繪畫的軟體我們使用微軟小畫家，為 了不失資料庫一致性與使用者的繪畫自由度，我們對於使用者也只提供類別名稱，

但是允許使用網路搜尋相關圖片，這是由於使用者有時候會不知道該類別物品該 如何描述。我們列了以下七點去做分類與改善，(1)未畫完、(2)添加文字、(3)類 別錯誤、(4)添加額外特徵、(5)繪畫部分、(6)人無法辨識和(7)人可以辨識但是跟 模型特徵不符。首先是有些手繪圖看似還沒繪畫完成就提交成結果圖，下圖左半 邊兩張圖為 SBSR 中的手繪圖，右半邊兩張圖則為更換後的手繪圖。

第一張手繪圖的類別為手槍，第二張則是人手張開類別。第三張是請使用者繪畫 後新的手繪圖，用以取代第一張手繪圖，第四張取代第二張。

接著是在手繪圖中加上文字描述物體，這麼做確實可以增加人類對於物品的 可判性，可是在三維模型中大部分是沒有文字，而且我們採用的是手繪圖資料庫，

圖 十七. 未畫完的手繪圖與更換後的手繪圖

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

27

應該是僅用筆觸描述物體，因此我們決定對有文字的筆觸圖加以更換。下圖為有 添加文字的手繪圖與更換後的手繪圖。

第一張圖為企業號飛船，第二張圖為廣告看板類別，這個類別若是只畫一個版 子確實難以分辨，所以原先的使用者就直接加上文字說：「你要的廣告在

這。」，可是這麼做不僅沒有幫助搜尋反而增加雜訊，因為三維模型中是沒有任 何文字的描述。第三張是請使用者繪畫後新的企業號飛船手繪圖，用以更換第 一張手繪圖，第四張更換第二張。

第三個分類為手繪圖放錯所屬類別，這點應該為原先系統的失誤，因為這 麼做會降低準確度。下圖為原先手繪圖與更換後的手繪圖。

第一張圖按照 SBSR 的分類準則，是屬於沙發類別，可以看出原先使用者繪畫 的是火車的連結車箱。在 SBSR 中確實有火車的連結車箱這個類別，只是這張 手繪圖放錯了類別，因此我們請使用者繪畫了圖十九的第三張手繪圖去取代第 一張手繪圖。第二張圖按照 SBSR 的分類準則，是屬於大卡車類別，原先使用 者可能是想繪畫掛於車後的拖車廂。SBSR 中也有這個類別，我們判斷圖十九

圖 十八. 添加文字的手繪圖與更換後的手繪圖

圖 十九. 類別錯誤的手繪圖與更換後的手繪圖

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

28

中的第二張圖放錯了類別，使用第四張圖取而代之。

第四個分類為在手繪圖中添加額外特徵或物體，例如在花瓶的類別中，使 用者應當畫的只有花瓶本體，但是使用者卻多畫了花，當然這麼做可以幫助人 進行判斷。可是對於電腦的判斷來說，卻是多餘的雜訊，因為模型庫中的模型 花瓶和花是分開成兩個模型，也屬於不同類別。下圖二十為原先添加額外特徵 的手繪圖與更換後的手繪圖。

圖二十中的第一張圖，即是上述所描述的花瓶與花的情形，第三張圖便是只有 花瓶的手繪圖，用以取代第一張圖。而第二張圖則是另一種添加額外特徵的情 形，對於一部分的使用者來說，為所描繪的物體給予特效會幫助對於物體的理 解。有些添加是會幫助人類判別物體，但是對於三維模型來說，這就是多餘的 特效，因為在模型資料庫中，這個類別中的模型就只會有該模型本身而已，並 沒有特效資訊。第二張圖就是在噴射機後添加噴射的特效，所以我們用第四張 圖更換了 SBSR 中的第二張圖。

上述四點未畫完、添加文字、類別錯誤和添加額外特徵的分類，都是可以 從手繪圖與類別中清楚的看出不足處。而下列的三點則相對上述四點較為主 觀，選取的方式為三位受測者中若有兩位表示該手繪圖需要做更換，則依照下 列的三點的更換原則做變更。第一點為只繪畫出物體的部分，對於人類來說或 許可以依照物體部分就判斷出所屬類別，也有不少研究針對以部分圖片資訊搜 尋相關圖片的研究。但這是在相同領域的情形下，我們所面對的是以手繪圖搜

圖 二十. 添加額外特徵的手繪圖與更換後的手繪圖

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

29

尋模型投影圖，以風格較為抽象的圖片搜尋現實的圖片，因此在本篇論文中就 暫時將只有部分特徵的圖做移除。下圖二十一為繪畫部分的手繪圖與更換後的 手繪圖。

可以從圖二十一第一張圖看到，這張手繪圖是屬於人站立著的正面這個類別，

確實可以辦別出人，只是只有半身就會讓筆觸圖與模型間的準確度下降。第二 張圖的雷諾龍也是一個例子，雷諾龍的特徵在尾巴很長，因為模型資料庫中還 有其他恐龍，但是屬於不同類別，也就造成了準確度的下降。模型資料庫中的 該類別模型也都是完整的人和雷諾龍，雖然要給予使用者繪畫的自由度，但是 對於手繪圖資料庫與模型資料庫之間的橋梁建立，準確度還是越高越好。這是 由於我們的系統是先將手繪圖資料庫與模型資料庫之間對應的結果儲存起來，

使用者的即時繪畫再跟手繪圖資料庫中的手繪圖做比對，間接取得相對應的三 維模型結果序列。

緊接著的是人無法辨識分類，此分類相對主觀，選擇更換的標準就是無法 從該張手繪圖得知使用者所繪的物品所屬類別。無法辨識就違反 Eitz 等人在群 眾外包網站上給予使用者的要求，因此我們給予更換。下圖二十二為人無法辨 識的手繪圖與更換後的手繪圖其中兩個例子。

圖 二十一. 繪畫部分的手繪圖與更換後的手繪圖

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

30

可以從圖二十二中的第一和第二張手繪圖看出，若不給予相關資訊是判別不出 所屬的類別。第一張手繪圖屬於斧頭，第二張則是帆船，第三和第四張手繪圖 則分別取代第一和第二張手繪圖在資料庫中的位置。

最後一個分類為人可以辨識但是跟模型特徵不符，這點是由於人類描述的 觀點和模型所呈現的特徵不符。本論文要完成的目標也是在此，因此我們只挑 出過為誇張的幾張手繪圖做更換。原先的手繪圖資料庫採集樣本時並沒有註明 本研究是針對手繪圖與模型之間的比對，也就造成部分使用者所提供的繪畫與 模型差異過大的情形。由於本論文實作出的系統也是面對想要使用筆觸搜尋模 型的使用者，使用者繪畫時會盡量貼近現實的物體，而不是卡通化或者太過簡 易的表達方式，為此原由搜集樣本時也應該給予使用者相對應的資訊。下圖二 十三即是可以辨識但是跟模型特徵不符的手繪圖與更換後的手繪圖。

圖二十三中第一張手繪圖對於人來說可以馬上判斷出為魚的類別，第二張手繪 圖則是 SBSR 中很常出現的火柴人。火柴人描述人類對於人類來說是很簡易的

圖 二十二. 人無法辨識的手繪圖與更換後的手繪圖

圖 二十三. 人可以辨識但是跟模型特徵不符的手繪圖與更換後的手繪圖

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

31

類別，但是對於模型資料庫來說太過於簡單。我們也有想過對模型取得骨架資 訊做搜尋，可是會直接繪畫骨架的物體並不多，大多還是以輪廓為主，因此我 們將第三和第四張手繪圖取代第一和第二張手繪圖。

在此節中我們列出了七點改善手繪圖資料庫的分類，這麼做些微地改善了 準確度。這是由於我們僅挑選其中明顯的手繪圖做更換，1814 張手繪圖中更換

在此節中我們列出了七點改善手繪圖資料庫的分類，這麼做些微地改善了 準確度。這是由於我們僅挑選其中明顯的手繪圖做更換，1814 張手繪圖中更換