第四章 實驗結果與討論
4.3 實作與實驗結果
4.3.4 即時繪畫搜尋
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
37
4.3.4 即時繪畫搜尋
下圖二十七為我們實作出的系統圖，左半邊為使用者即時繪畫的畫布。可 以選擇筆觸的粗細和顏色，也可以將所畫的作品存檔，具有一般小畫家所需的 功能。除了一般的繪畫功能外，我們提供了兩種搜尋模式，第一種為手繪圖模 式。在此模式下，使用者繪畫時將即時地對手繪圖資料庫做搜尋，並將前十二 名的結果呈現在視窗的右邊。
使用者可以根據我們系統提供的建議進行繪畫，適當的修改正在進行中的 畫作。相似度的排序為紅色序號表示，由左上角開始最相似，左至右上至下遞
圖 二十七. 增加特徵的手繪圖搜尋結果 圖 二十八. 使用手繪圖模式的系統實作圖
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
38
減的規則展示手繪圖資料庫中的手繪圖。下圖為增加噴射機特徵後的結果。
接著為本論文的最終目標，對使用者的繪畫進行三維模型搜尋，展示的規 則如同手繪圖模式。三維模型的尋找是透過手繪圖模式下找出的結果做為橋 梁，在使用者繪畫時，即時地查找預先處理好的三維模型結果。至於如何取得 模型結果序列在本論文的第三章第四節有詳細的介紹，下圖二十九為使用三維 模型模式的系統展示。在繪畫過程中，使用者可以隨時切換所需要的搜尋結果 模式，在手繪圖模式下依照手繪圖結果修正自己的作品，再更換成三維模型模 式找尋欲尋找的模型。圖三十為增加噴射機特徵後的結果，可以看出使用者畫 的越細，特徵越多，搜尋到的結果越好。
圖 三十. 增加特徵的模型搜尋結果 圖 二十九. 使用三維模型模式的系統實作圖
‧
Execute time(Min)
Recall
SC Canny
圖 三十一. Canny Line 和 Suggestive Contours 的比較圖 表 一. 投影面數的查準率
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
40
上圖三十一為比較 Canny Line 和 Suggestive Contours 兩種風格，對於手繪 圖搜尋三維模型查準率的影響。從圖三十一中的左圖中可看到 Suggestive Contours 略微好於 Canny Line 描繪的模型投影圖，在右圖的時間比較上 Suggestive Contours 和 Canny Line 所花的時間差不多一樣，但是在查全率高於 百分之八十五時，明顯快於 Suggestive Contours，而查準率又一樣，可以得知 Canny Line 對於不好描述的模型是優於 Suggestive Contours。若可以針對這些類 別，給予不同的描繪方式，是可以些微地改善查準率。下表為執行時間和準確 度的詳細數據。
下表四為查全度百分之五的情況下，給予 Suggestive Contours 的模型投影 圖描繪，各個類別的查準率，可以看到第一名的是花瓶，這是由於花瓶的結構 簡單，方便使用者繪畫，且花瓶的外型輪廓辨別力高不易跟其他物品混淆。最 後的類別是有槳的帆船，在資料庫類別中有帆船與有槳的帆船，因此使用者繪 畫時會強調槳的繪畫，這與模型差異甚大。
表 二. 查準率-查全率的詳細數據
表 三. 執行時間的詳細數據
‧
型查準率的影響，使用的模型投影圖描繪方式為 Suggestive Contours，下圖三十 二為比較的查準率-查全率結果圖。‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
42
在上圖中我們採用和先前論文相同的測試集，並且計算查準率而並非平均 查準率。並由上圖看出我們系統只比 Etiz 等人所提出的 GALIF 和 SIFT Grid 系 統還要差，比大多數的系統都還要好。且圖中的每個系統，都有經過 Etiz 等人 提出的最佳化方式處理，因此這是查準率表現比較差的原因之一。但是我們系 統在查全率上升後，查準率下降幅度卻是第二緩慢的方法，僅低於 GALIF 方 法，由此可見對於找出類別中每一個模型來說，本論文提出的方法是相對準確 的策略。
圖 三十三. 與先前論文的查全率-查準率比較圖 (摘自 Etiz 2012,深藍色線為本系統實作結果)
‧
Contours 兩種風格下的結果，Canny Line 的比對時間較短，但以平均準確度來評 估後，我們選用 Suggestive Contours 來為我們的三維模型進行投影圖描繪。緊接投影圖描繪後，要將之特徵提取成特徵向量，本論文探討 篇論文[Fang 2015]中所使用的暹羅卷積網路是可以參考的架構。另一方面為模型
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
44
投影的角度，若是每一類別有其專有的角度，則可以在最少角度投影的情況下進 行描繪，又具備高準確度的特性。模型的後製為本系統的延伸，在使用者取得相 對應的三維模型後，可以根據喜好進行簡單的編修，並且輸出成一個新的模型檔。
又或者類似這篇論文[Daniel 2014] ，直接透過直覺性素描和得到的模型結果，產 生一段簡易的動畫。
對於評估系統優良的機制，期望不僅僅是依照平均準確度作衡量，除了數據 上的基準外，還可以針對使用者作測試與調查。可以透過此調查，加以調整本系 統的使用者介面及增加使用者想要得到的資訊。
‧
[1] A. Krizhevsky, I. Sutskever, and G. E. Hinton. ImageNet classification with deep convolutional neural networks. In NIPS, pages 1106–1114, 2012.
[2] Bay, H., Tuytelaars, T., And Gool, L. J. V. 2006. SURF: Speeded up robust features. In ECCV, 404–417.
[3] Canny, J. 1986. A computational approach to edge detection.
IEEE TPAMI 8, 6, 679–698.
[4] Cao, Y., Wang, H., Wang, C., Li, Z., Zhang, L., and Zhang, L. 2010. Mindfinder:
Finding images by sketching. In ACM Multimedia International Conference.
[5] Chen, D.-Y., Tian, X.-P., Shen, Y.-T., and Ouhyoung, M. 2003. On visual similarity based 3d model retrieval. Comput. Graph. Forum (Proc. Eurographics) 22, 3, 223–232.
[6] Chatfield, K., Simonyan, K., Vedaldi, A., and Zisserman, A. Return of the devil in the details: Delving deep into convolutional nets. In Proc. BMVC., 2014.
[7] Decarlo, D., Finkelstein, A., Rusinkiewicz, S., and Santella, A. 2003. Suggestive contours for conveying shape. ACM TOG (Proc. SIGGRAPH) 22, 3, 848–855.
[8] Dixon, D., Prasad, M., and Hammond, T. 2010. icandraw: Using sketch recognition and corrective feedback to assist a user in drawing human faces.
ACM CHI.
[9] Eitz, M., Richter, R., Boubekeur, T., Hildebrand, K., and Alexa, M. 2012.
Sketch-based shape retrieval. ACM Transactions on Graphics 31, 4, 31:1–31:10.
[10] Funkhouser, T., Min, P., Kazhdan, M., Chen, J., Halderman, A., Dobkin, D., and Jacobs, D. 2003. A search engine for 3D models. ACM TOG 22, 1, 83–105.
‧
[11] F. Wang, L. Kang, and Y. Li. Sketch-based 3d shape retrieval using convolutional neural networks. In arXiv preprint arXiv:1504.03504, 2015.
[12] H. Su, S. Maji, E. Kalogerakis, and E. G. Learned-Miller. Multi-view convolutional neural networks for 3D shape recognition. In ICCV, 2015.
[13] M. D. Zeiler and R. Fergus. Visualizing and understanding convolutional networks. CoRR, abs/1311.2901, 2013.
[14] J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. Fei-Fei. Imagenet: A large-scale hierarchical image database. In Proc. CVPR, 2009.
[15] J. Donahue, Y. Jia, O. Vinyals, J. Hoffman, N. Zhang, E. Tzeng, and T. Darrell.
Decaf: A deep convolutional activation feature for generic visual recognition.
CoRR, abs/1310.1531, 2013.
[16] Jun-Yan Zhu, Yong Jae Lee, Alexei A. Efros.2014 AverageExplorer: interactive exploration and alignment of visual data collections. ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2014 TOG Volume 33 Issue 4, July 2014
[17] Lee, Y., Zitnick, C., and Cohen, M. 2011. ShadowDraw: real-time user guidance for freehand drawing. ACM TOG (Proc. SIGGRAPH) 30, 4, 27:1–27:10.
[18] Li B., Lu Y., Godil A., Schreck T., Aono M., Johan H., Saavedra J. M., Tashiro S.: SHREC’13 track: Large scale sketch-based 3D shape
retrieval. In 3DOR (2013), pp. 1–9.
[19] L¨O Ffler, J. 2000. Content-based retrieval of 3D models in distributed web databases by visual shape information. In Int’l. Conf. Information Visualization, 82–87.
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
47
[20] Lowe, D. 2004. Distinctive image features from scale-invariant keypoints. IJCV 60, 2, 91–110.
[21] Potcharapol Suteparuk, Emmanuel Tsukerman .Geometric Modeling and Processing Project: Mesh Simplication and Expressive Rendering.2013 [22] Shilane, P., Min, P., Kazhdan, M., and Funkhouser, T. 2004. The Princeton
Shape Benchmark. In Proc. Shape Modeling International, 167–178.
[23] Siddhartha Chaudhuri , Vladlen Koltun, Data-driven suggestions for creativity support in 3D modeling, ACM SIGGRAPH Asia 2010 papers, December 15-18, 2010, Seoul, South Korea
[24] SIVIC, J., AND ZISSERMAN, A. 2003. Video Google: a text retrieval approach to object matching in videos. In ICCV, 1470– 1477.
[25] Squire, D., Mueller, W., Mueller, H., and Raki, J. 1999. Content-based query of image databases. In Scand. Conf. on Image Analysis, 143–149..
[26] Sykora ´ , D., Kavan, L., Cˇ Ad´Ik, M., Jamriska ˇ , O., Jacobson, A., Whited, B., Simmons, M., and Sorkinehornung, O. 2014. Ink-and-ray: Bas-relief meshes for adding global illumination effects to hand-drawn characters. ACM Trans.
Graphics 33.