基於深度學習之低解析度文字辨識 - 政大學術集成
79
0
0
全文
(2)
(3)
(4)
(5) 致謝. 謝. 立. 謝謝 VIPL. ⼀. 謝謝 謝謝 Viscovery. 法. ‧ y. Nat. io. sit. 研究. 謝謝. n. al. er. 及. 實驗. 論⽂. 學. ⼀. ‧ 國. 來. 政 治 大謝謝 謝 Maty 研究. Ch. engchi. i n U. v. 謝謝 ⼀個 研究. 謝謝.
(6) 摘要. 政 治 大及. 表. 立. ⽅法. 法. 別. io. ⽂. 圖. 類. 分研究 析. y. ⼀. ⼀⼀. ‧. ⼀個. Nat. 要. 結. 別. n. al. Ch. ⽂ 資料集 ⽂. 31,570. 與. ⽂. 圖. 架構. 及. 圖. 16x18. 關. ⽂. ⽂. 個. 析. i n U. 要. engchi ⽂. 圖. ⼀. v. 技術. ⽂. 別 與. ⽂. 分析研究 ⽂. ⽂ 來 ⽂. 圖. 及. 實驗. 參 top-1. 表. 學. 論⽂關. 研究 類. er. 分類. ‧ 國. 圖. 別. sit. 來. 1,530 類 分別. top-5. 析. ii. 71%. 87%. 析.
(7) Abstract. Recent advances in deep neural networks have changed the landscape of computer vision and pattern recognition research significantly. Convolutional neural networks (CNN), for example, have demonstrated outstanding capabilities in image classification, in many cases exceeding human performance. Many tasks that. 政 治 大. did not get satisfactory results using conventional machine learning approaches are. 立. now being actively re-examined using deep learning techniques.. ‧ 國. 學. This thesis is concerned with a well-investigated topic in computer vision, namely, optical character recognition (OCR). Our main focus, however, is a very specific. ‧. class of input: printed Chinese texts with very low resolution and a significant. sit. y. Nat. amount of distortion/interference. Whereas the recognition of high-resolution texts,. io. er. either printed or handwritten, has been successfully tackled using convolutional. al. neural networks, the analysis of very low-quality printed Chinese texts poses several. n. v i n C hstudy. Specifically,Uour dataset consists of 31570 text challenges that require further engchi images generated with dot-matrix printers, blurred texts, texts with missing strokes, and texts overlapping with other texts or graphs.To effectively address these difficulties, we have experimented with different deep neural networks with various combinations of network architectures and hyperparameters. The results are reported and discussed in order to obtain an optimal setting for the recognition task. The top-1 and top-5 accuracies are 71% and 87%, respectively, for input images with an average resolution of 16x18 pixels belonging to 1530 classes.. Keywords: text recognition, low resolution, convolution neural networks. iii.
(8) 目錄 摘要.......................................................................................................................................... ii. Abstract ................................................................................................................................... iii 目錄......................................................................................................................................... iv 表目錄..................................................................................................................................... vi 圖目錄..................................................................................................................................... viii. 第⼀章 緒論 ...................................................................................................................... 1. 政 治 大 ....................................................................................................... 立. 1.1 研究背景與 1.2 研究目. ............................................................................................ ‧ 國. 學. 1.3 論⽂架構........................................................................................................ 1 2 3. 第⼆章 技術背景與相關研究..................................................................................... 4 2.2 CNN. 背景與. ................................................................................ 4. ...................................................................................................... 6. ‧. 2.1. y. Nat. sit. 2.3 相關研究....................................................................................................... 12. n. al. er. io. 第三章 資料集 ................................................................................................................. 17 3.1. i n U. v. 集................................................................................................... 17. Ch. engchi. 3.2 CASIA-HWDB1.1 ........................................................................................ 18 3.3 Tesseract 資料集........................................................................................... 18. 第四章 研究⽅法及架構 .............................................................................................. 20 4.1. 及. ................................................................................... 20. 4.2 CNN 架構 ..................................................................................................... 20 4.3 Caffe solver ................................................................................................... 22 4.4 實驗. ....................................................................................................... 23. 第五章 實驗及分析 ........................................................................................................ 24 5.1 實驗⼀: CASIA 資料集 ............................................................................... 24 5.2 實驗⼆:. ........................................................................................ 25. 5.3 實驗三: padding 4 個. ........................................................................... 27. iv.
(9) 5.4 實驗四:. padding .................................................................................. 29. 5.5 實驗五:. ⽂. 5.6 實驗結. ................................................................................ 33. ....................................................................................................... 37. 第六章 結論與未來研究⽅向..................................................................................... 45 參考⽂獻................................................................................................................................. 46 附錄⼀ 5091 個類別........................................................................................................... 49. 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. v. i n U. v.
(10) 表目錄 圖. 表 4.1. [1]. 表 4.2. Zhang. 與. . . . . . . . . . . . . . . . . . . . . . . . . . . .. CASIA 資料集. 19. 架構 . . . . . . . . . . . . . . .. 21. [1] . . . . . . . . . . . . . . . . .. 21. 表 5.1 參. ⼀ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 30. 表 5.2 參. ⼆ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 31. 表 5.3 參. ⼀. 34. 表 5.4 參. ⼆. 表 5.5 參. ‧ 國. 表 3.1 ⽂. 架構. 政 治 .................. . . . . . . . . . . . . . . . .大 立 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 35. 學. 36. 表 5.6. CNN 架構 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 39. 表 5.7. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. ‧. 三 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. Nat. top-5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. al .. 圖. 43. er. 分類. n. 表 5.10. y. 表 5.9. 42. sit. top-1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. io. 表 5.8. v ni. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. Ch. engchi U. 42. 43. 表 0.1 ⽂. 類別:0∼223 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 49. 表 0.2 ⽂. 類別:224∼524 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 50. 表 0.3 ⽂. 類別:525∼825 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 51. 表 0.4 ⽂. 類別:826∼1126 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 52. 表 0.5 ⽂. 類別:1127∼1427 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 53. 表 0.6 ⽂. 類別:1428∼1728 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 54. 表 0.7 ⽂. 類別:1729∼2029 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 55. 表 0.8 ⽂. 類別:2030∼2330 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 56. 表 0.9 ⽂. 類別:2331∼2631 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 57. ⽂. 類別:2632∼2932 . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 58. 表 0.11 ⽂. 類別:2933∼3233 . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 59. 表 0.10. vi.
(11) 表 0.12. ⽂. 類別:3234∼3534 . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 60. 表 0.13. ⽂. 類別:3535∼3835 . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 61. 表 0.14. ⽂. 類別:3836∼4136 . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 62. 表 0.15. ⽂. 類別:4137∼4437 . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 63. 表 0.16. ⽂. 類別:4438∼4738 . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 64. 表 0.17. ⽂. 類別:4739∼5039 . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 65. 表 0.18. ⽂. 類別:5040∼5091 . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 66. 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. vii. i n U. v.
(12) 圖目錄 資料集 . . . . . . . . . . . . . . . . . . . . . . . . . . .. 2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 5. (Top5) . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 6. 圖 2.3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 7. 圖 2.4. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 8. CTR. 圖 1.2 資料集⽂ 圖 2.1. ILSVRC. 立 圖. 圖 2.10. . . . . . . . . . . . . . . . . . . . . . . . . . . .. 9. 圖. 圖 . . . . . . . . . . . . .. 9. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 10. 個. :. . . . . . . . . . . . . . . . . . . . . .. LeNet-5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. io. 圖 2.12. RCNN. 圖 2.13. a:. al. n. 圖 2.11 CNN 架構. 10. y. Nat. 圖 2.9. 8. ‧. 圖 2.8. 圖. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 學. 圖 2.6. ‧ 國. 圖 2.5. 圖 2.7. 政 治 大. sit. 圖 2.2. 與類. er. 圖 1.1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. Ch. v . . . n. i. . U. 景分析 . . . . . . . .. 11 11. . . . . . . . . . . . . . .. 12. [3] . . . . .. 13. i eng [2]c h b: Show and Tell. 圖 2.14. Tesseract. ⽂. . . . . . . . . . . . . . . . . .. 14. 圖 2.15. CASIA offline. ⽂. . . . . . . . . . . . . . . . . . . . .. 14. 圖 2.16. 分. 個⽅向. [4] . . . . . . . . . . . . . . . . . .. 15. [5] . . . . . . . . . . . . . . . .. 15. 圖. . . . . . . . . . . . . .. 17. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 18. 圖 2.17 圖 3.1. 析 五. 圖. ⽂ 研究. 圖 3.2. CASIA-HWDB1.1. 圖 3.3. Tesseract. 圖 4.1. 參考. tif. learning policy. box step. . . . . . . . . . . . . . . . . . . . . . . .. 18. . . . . . . . . . . . . . . . . . . . . . . . .. 22. viii.
(13) 圖 5.1 圖 5.2. padding 4 個 資料集圖. 圖 5.3. (. ). . . . . .. 24. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 25. 資料集 . . . . . . . . . . . . . . . . . . .. 25. Tesseract. 圖 5.4. 資料集. Tesseract. . . . . . . . . . . . . . .. 26. 圖 5.5. 資料集. 分類. 圖. . . . . . . . . . . . . . . . . . . . . . . .. 26. 圖 5.6. 資料集. 分類. 圖. . . . . . . . . . . . . . . . . . . . . . . .. 27. 資料集 . . . . . . . . . . . .. 27. . . . . . . . . . .. 28. . . . . . . . . . . . . . . . . . . . . . . .. 29. 圖 5.7. padding 4. 圖 5.8. paddind 4 個. 圖 5.9. 資料集. Tesseract. 分類. 圖. 政圖 治 . . . . . . . . . . . . . . . . . . . . . . . 大. 資料集. 分類. 圖 5.11. padding. 立Tesseract. 圖 5.12. padding padding. 29. 資料集 . . . . . . . . . . . . . . . . . .. 30. Tesseract. 資料集. ⼀ . . . . . . . . . . .. 31. Tesseract. 資料集. ⼆ . . . . . . . . . . .. 32. 學. ‧. 圖. . . . . . . . . . . . . . . . . . . . . . . .. 32. 資料集. 分類. 圖. . . . . . . . . . . . . . . . . . . . . . . .. 33. 圖 5.16. ⽂. 與背景. 圖 5.17. ⽂. 圖 5.18. ⽂. 圖 5.19. ⽂. Tesseract. io. sit. 圖 5.15. y. 分類. Nat. 資料集. 資料集 . . . . . . . . . . . . .. er. 圖 5.14. ‧ 國. 圖 5.10. 圖 5.13. 資料集. Tesseract. ⼀ . . . . . . . . . . . . . . . . . . . . . . . .. n. al. Ch. n U i engch. iv. 33 34. ⼆ . . . . . . . . . . . . . . . . . . . . . . . .. 35. 三 . . . . . . . . . . . . . . . . . . . . . . . .. 36. 圖 5.20. 分類. 圖. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 37. 圖 5.21. 分類. 圖. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 37. 圖 5.22. M6+ 架構與 M7-1. 圖 5.23 圖 5.24. bn bn4 與 M6+. 圖 5.25 圖 5.26. 資料集. . . . . . . . . . . . . . . . . . . . . . . . . . . . 與. 39. . . . . . . . . . . . . . . .. 40. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 41. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 41. . . . . . . . . . . . . . . . . . . . . . . .. 44. ix.
(14) 第⼀章. 研究背景與 景. 1950. 類⼀. 類. ⽅法 研究. 要目. 及. 立. 個. ‧ 國 Nat. 及. al. 類. 資料. 技. ⼀. Ch. ImageNet 資料集 ⽂. 別 i engch. ⼀. 28%. 及. ⽂. 目. 資料集 ⽂ 技術. 技術. v. (Convolutional. ⽂. 15%. ⽅. MNIST ⽂. 析. ⽂. ⽅ ⽂. 技術 (Optical Character Recognition, OCR) ⽂. 研究. i n U. ⽂ 資料集. 1%. 分. (Deep Learning). 景分析. Neural Network CNN). 分. 法. CPU. n 分析. ⼀. ⼀. er. io. GPU. 個. sit. 來. 分析. ‧. 未. 分析及 治 政 要 ⽅法 大表. 學. ⽅法. 考分析. 法分析. y. 1.1. 緒論. 與背景. 資料集. ⽂ 析. 研究. 1. ⽅. 圖. (CVSC-TNS.
(15) RESEARCH. 圖. CTR). 圖. CTR ⽅. 圖 1.1. ⽂. ⽂ ⽂. 析. 與. 章. 圖. 圖 1.2. 政 治 大. (a). (b). 學. ‧ 國. 立. (c). (d). 圖 1.1 CTR. 資料集. ‧. n. al. er. io. sit. y. Nat (a). (e). (b). C (c) h. i n U. e n g(d)c h i. v. (e). (f). (g). 圖 1.2 資料集⽂ 要 資料集;. 相. 資料集. ImageNet. 資料集. MNIST 圖. 100 ⽂ 類別. 1. 6. 資料集 圖. CTR. 法. 資料集. 1.2. 研究目 ⽂ ⽅法來. 析. 技術 ⽂. 法. 類. ⽂. 資料集 2. 圖.
(16) ⼀個. ⽅法 資料集. CTR. 論⽂ 分. ⼀來. 要. 來 析. ⽂. 析. ⽂. ⼀個⽂. 來. 論⽂架構. 1.3. 論⽂分. 六個章. 架構. 第⼀章. 第⼆章 技術背景與相關研究. 章. 立. 資料集 目 研究. 架構 實驗 架構及. 實驗結. 及. ‧. io. sit. y. Nat. n. Ch. engchi. 3. 與目. i n U. v. 第三章. 第五章. 第六章. 研究⽅向. al. 研究. 背景. 學. ⼀個章. 要. er. 資料集. 緒論. 政來 治 大相關 研究 ⽂ 資料集. 要. ‧ 國. 個. 來. 資料集. 資料集 實驗 結論. 分析 未.
(17) 第⼆章. 技術背景與相關研究 景. ⽅法. 法. 法 (k-nearest neighbors algorithm). K-. 集 (Clustering). 法 要. 與. 資料集. 個. 分. 技術 ⽅法. Echo Apple. 分類. 圖. 資料. Siri. Cortana. 別. 要. Facebook. ‧. Google. 資. al. n. :. 向. er. io. (Feature). 個. AlphaGo. y. 背. 別. :. 別⽅. ;. Nat. 別. 圖. 別⽅. :. 來. sit. 要. ⽅. 學. Amazon. 政 治 大. 立. ‧ 國. ⼀個. (Support Vector Machine. v ni. C h法 來 要 engchi U. 料. 資料. 資料. SVM). 分析及研究. 資. 表. 個 表資料. 個分 (Layer) ⼀. 法. 表. 背景與. 2.1 論 1943. Warren McCulloch. 實 及 Walter Pitts. Rosenblatt 類. 類. 1958. (Perceptron) 實. (Deep Neural Network). 集 4.
(18) 圖 2.1. (Active Function) 來 表. 類. ⼀. 分. 表. 類別. 結. ⼀. 來. ⼀. 來. 政 治 大 與類 立圖 2.1. ‧ 國. 學. 類. 類. 2006. ⼀⽅. al. GPU. sit. 圖. 分. Ch. 技. 技術. engchi. i n 法 U. 別 MNIST. 個. 資料集. 2010. 第⼀. ImageNet. Visual Recognition Challenge ILSVRC) 驗. 分. 第⼀. 來. v. 2010 0.3% 圖 120. 集 (Validation data) 15. (ILSVRC’10). 類. er. 研究. n. 技術. io. 及. ⼀⽅. ⽅法. [6]. y. Nat. 來. ‧. Deep Belief Networks DBN. Hinton. 別 圖. (ImageNet Large Scale 集 (Training data) 5. 集 (Testing data). 1,000 個類別 2010. Nippon Electric Company(NEC). -. ( University of Illinois at Urbana Champaign UIUC) 別分類. SVM 參. 28% [7] ILSVRC’12 ⼀. AlexNet. 5. Krizhevsky 15%. ⽅法 [8].
(19) 論⽂. ILSVRC’12 資料集. 類. 5.1%. [9]. 2015 3.57% [10]. ResNet 2016. Google. GoogLeNet-v4 3.08% [11]. 別. ILSVRC. 獻. ‧. ‧ 國. 學. n. Ch. er. io. sit. y. Nat 圖 2.2 ILSVRC. al 類. (Top5). i n U. i e n g c h架構. (Convolutional Neural Network CNN) ILSVRC ResNet. 圖 2.2. 政 治 大. 立. 2.2. ILSVRC’15. ILSVRC’12 資料集. ResNet. 4.94%. ⽅. (Recurrent Neural Network RNN) 2012. Google. v. Alex. GoogLeNet-v4. AlexNet 2015 CNN. CNN CNN. 1960. Hubel. 研究. Wiesel. ⽅向 CNN. 個. ⼀ 相. 6.
(20) 個. CNN. 要. :. (i) CNN. (Sparse Connectivity) 個. 要. 圖. 關. 相關 ⼀ ⼀. 來. 1000 × 1000. 析. 關. 向. 類. 圖 與. 1,000,000 ⼀. 1000000 × 1000000 = 1012. 參. 圖 2.3 治 政 大. 法. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. CNN 1000000 × 100 個參. C h 圖 2.3 engchi. i n U. 10 × 10 個. 個 來. 分. 7. ⼀. v. 相 圖 2.4.
(21) 圖 2.4. (ii). 政 治 大. 立. ⼀. 分. 分 ⼀. 與 分. 圖 2.3. 參. 100 個. CNN. y. Nat. sit. 圖 2.5. n. al. er. io. 及. 分. ‧. ⼀來. ‧ 國. ⼀. 圖. 學. 圖. 實. Ch. engchi. i n U. v. 圖 2.5. (iii) 100 個參. 1 個 100 × 100. 表 8. ⼀ 個圖 參 個. CNN 來.
(22) 個. 32 個. 圖 2.6. 32. 政 治 大. 圖 2.6. ⼀個. ⼀. 學. ‧ 國. 立. 圖 (feature map). 圖 2.7. ‧. n. er. io. sit. y. Nat. al. 圖 2.7. (iv). 圖. Ch 圖. e n g c h圖i. i n U. v. 個. 圖. (Pooling Layer) ⼀個. 96x96. 圖. ⼀個. 分類. 圖 來. 圖 2.8 (Average Pooling). ⼀個. 三. ⼀個 2. 個 2x2 (Max Pooling). 9.
(23) 圖 2.8. 政 治 大. 立. (v). ‧ 國. 來. 目. ⼀. ⼀. ⼀個 (low-level). ⼀. :. y. Nat. n. al. er. io. sit. 圖 2.9. Ch. 架構 LeCun. i n U. engchi. 圖 2.9. CNN 架構. ⼀. :. ‧. 來. 分類. 學. 實. v. :. ⼀個. CNN 架構 LeNet-5 LeNet. [12] 10. LeCun. 圖 2.10 要.
(24) 0 0.3%. 9. 集. MNIST(. (W − F )/S + 1 W 圖 2.10. ⼀. ‧ 國. 架構. CNN 架構 (AlexNet). y. 參. al. LeNet-5. sit. 第⼀. ‧. 技. n. 及. 分類. 學. io. 架構. pad S. 圖. (S2). LeNet-5. 圖 2.11. 152. ). 第⼀. OUTPUT). ⼀個. Nat. ResNet. 圖. 政 治 大 圖 2.10. ILSVRC’12. 10,000. P. 圖. ⼀ (F6. 立. CNN 架構. 32x32. 圖 (C1). LeNet-5. 集. F. ILSVRC. er. 14x14. 圖 ⼀. LeNet-5. 28x28. 驗. (W − F + 2P)/S + 1. 圖. 1%. 6. 圖. 60,000. C及hImageNet 分類U n i engchi. 圖 2.11 CNN 架構. 11. v. ⼀個. 5. 8 CNN.
(25) 相關研究. 2.3. 研究. CNN 圖 2.12. 目. CNN 研究. RCNN(Regions with CNN). ⼀. 政 治 大. 立. ⼀. RCNN. 景分析. RCNN. 要. :. Nat. 圖. io. CNN. n. al. SPPNET. 目. (CNN SVM 個架構 R-CNN. ). Ch. SPPNET. engchi. RCNN. SPPNET. Faster R-CNN. 相關研究. Shot MultiBox Detector) 架構 分. Faster R-CNN. Faster R-CNN 目. 圖 (Saliency map); Noh Neural Network) CNN ⽅. Faster R-CNN. ⽅. Simonyan. 參. Girshick. [14]. [17] 目. [18]. SSD(Single 目 Faster R-CNN. (Transposed Convolution. 分 [2]. 圖. : Redmon. Liu 分類. Fast. Faster R-CNN. [15]. [19]. 圖 ⼀. v. SPPNET. Faster R-CNN 架構. YOLO(You Only Look Once) 架構. [16]. CNN. i n U. Ren. CNN. [13]. sit. He. er. CNN. 圖. y. ‧ 國. 圖 2.12. ‧. ⼀. (b). 學. (a). 圖. 12. 表. 圖 2.13(a);. Vinyals 圖 2.13(b). [3].
(26) 圖. (a). 圖. 圖 2.13. 政 治 大 (b) Show and Tell [2] b: Show and Tell. 五. 立. a:. 及. 別. ⼀. 關. ⽅法. ‧. ‧ 國. 學. ⽂. 技術 (Optical Character Recognition, OCR). 相. ⽅ 法. al. 個. Tesseract. :. 法. y. ⽂. 要. ⽂. 類別 第⼆. e分n g c h i U. v ni. 與 ⽅法 個⽅. ⼀個 End-toEnd 實驗. HP. 1984. 目. 1994. 60 圖. 個⽅法. ⽂. Ch. 析. sit. ⽅. n. ⽂. ⽂. er. : 第⼀. io. ⽅法. 技術. ⽂. Nat. ⽂ 與背景. [3]. Tesseract ⽂. Tesseract. 析. 414x551. 圖. 背景與⽂. 及圖 ⽂. 圖 2.14. 結 技術. 析. Google. ⽂. ⽅. 要. ⽂. 資料集. 析. 及. 資料集. 技術 技術. 13. CNN. 圖.
(27) 圖. 要. 結構. 立. ⽂. 政 治 大. 分類⽅. 研究. ⽂資料集. 研究. Nat. ⽂. 3,912,017. 3,895,135. 圖. 資料分. 集. (offline). CASIA-OLHWDB(online) 1.0. a l CASIA-HWDB(offline)1.0 i v1.1 n Ch U i 資料集 圖 2.15 e n g c h 圖. 圖 2.15 CASIA offline [20] 類別. CASIA-HWDB1.0 圖. (National Laboratory of Pattern. 資料集. n. 集. CASIA. ⽂. 來. io. 資. ⼀個. 實驗. er. 集. Recognition NLPR). 別. ( Institute of Automation of Chinese. ‧. Academy of Sciences CASIA) 圖. ⽂資料集. 學. ‧ 國. CNN. ⽂. Tesseract. y. 圖 2.14. 結. (b) Tesseract. sit. (a). 120x120. 14. ⽂. 1,020 (online). 1.1 1.2 三個. 資料. 1.2 三個. 資料集. 3,755. ⽂. ⽂. CASIA-HWDB1.1 GoogLeNet. ⽂資料集. 架構. [4]. CASIA-.
(28) ⼀. HWDB1.0. 析. 64x64. 圖. CNN 架構 ⽂. 個⽅向向. 資. 分. 圖 資料集. 相關研究⽅. 29x29. n 與. ⽂. n C h圖 2.17 U i engch. 析 ⽂ 與. iv. ⽂. 研究. 相 :. 圖. 87%. 76 個類別. 68%. 析. 析 16x18 析. 1024x768. 析. [5] 與. ⽂. 研究. 資料集. 六. y. io. al. 圖 2.17 Jacobs. [5]. 76 個類別. 結. 68%. ⼀個. Jacobs. ⽂. 57,555 ⽂. ⽂. CASIA 資料集. sit. 10pt. Nat. ⽂. CASIA 資料集. er. ⽂. [4]. ‧. 析. ‧ 國. 64x64. 個⽅向 治 政 大. 學. 圖 2.15. 分. 立研究. ⽂. 相. 300 個類別. 圖 2.16. 圖 2.16. ⽂. 3,755 個類別. ⽂. 與. [5] ⽂. 研究 結. ⽂ ⽂. 15. 83%. 與 圖 2.17.
(29) ⽂⽂ 資料集 ⼀. 要. 個類別. 析. ⼀個. 立. 政 治 大. 學 ‧. ‧ 國 io. sit. y. Nat. n. al. er. 圖. ⽂⽂. 圖. Ch. engchi. 16. i n U. v.
(30) 第三章 MNIST ⼀個. 資料集 ILSVRC. 資料集. CASIA. 要相. 資料集. 研究. CASIA-HWDB1.1. Tesseract 資料集. 3.1. 集. ⽂. 類別. 類別. CTR 2,717 個 來. CNN 資. CTR. 1,530 類. ⽂. 資料. y. sit. n. er. io. al. (a). (b). 圖 3.1. Ch. 五. e n(c)g c h i. 圖. 要. i n U. v. (d). 研究. (e). 參考. 資料集. 資料集 ⽂. 要. 資料集. ⽂. ⽂ ⽂. 資料集. 資料集來. 17. 圖. 結. 資料集. ⽂. 2,040. 參考. 圖 3.1. 集. ‧. ‧ 國. 來. Nat. 集. 圖. 分別. 學. 31,570. 三個資料集. ⽅. 資料集 (testing data) 料集. 來. 分別. 立 587 個類別. 要. 政 52 治100 大 1,888. 三. CTR. 來. 別. 資料集來. ⽂ ⽂. 資料集.
(31) 3.2. CASIA-HWDB1.1 ⽂. ⽂. 圖. 資料集. 3,755 個類別 圖 3.2. 732,694. HWDB1.1. 資料集. CASIA-HWDB1.1. ⽂. 圖 3.2 CASIA-HWDB1.1. ‧. Nat. n. 集. 資料集 要. sit. ⽂. C要h. Tesseract ⼀個. ⽂. al. er. io. ⼀個. y. Tesseract 資料集 Tesseract. ⽅法. ⼀ engchi U. 圖. ⼀. tif. 18. 要 box tif. 圖3.3. 圖 3.3 Tesseract. 資料. iv n⽂. 及. (bounding box) ⽂. ⽂. 學. ‧ 國. 析. CASIA-. 政 治 大. 立. 3.3. 300 個. CASIA-HWDB1.1. box. tif. box.
(32) 要. CNN 資料集 ⽂. 資料集. 類別. 研究. ⽂. Tesseract. 類別. 參考附錄⼀. 7. 圖. 立. 來⽂. Tesseract. 表 3.1 ⽂. 圖. 與. 政 治 大. ‧ 國. 學 ‧. Unifont CSUR Medium. n. er. io. sit. y. Nat. ⽂. al. Ch. ⽂. engchi ⽂. 19. ⽂. 向 Unifont CSUR Medium. ⽂. 5,088 個. ⽅. : ⽂. ⽂. ⽂. CTR 類別. ⽂. Tesseract. i n U. v. ⽂ 圖. 表 3.1.
(33) 第四章. 研究⽅法及架構 及. 4.1. TensorFlow Torch Theano Keras Caffe MXnet 研究. Caffe Caffe CNN 與 RCNN. Dropout. 圖. 資料. Caffe. M11. al. 要. [21]. Ch. engchi. 架構. ⼀. 架構. M11. [1]. 表 4.2 5. i n U. M6+ 架構 M6+ M6+. ⼀. 97.4% ⼀. ⼀個. 7x7. ⼀個. 架構 3x3 Simonyan. ⼀個 個. 3(32 C2 ) = 27C2 個參. 3x3. 72 (C2 ) = 49C2 個參 參. M6+. 表 4.1. 驗. (kernel size). [22]. 個. CNN 架構. 架構. Krizhevsky Zeiler. 圖 3. cuDNN 5.1. v. 3x3. 11x11 [8]. C個. 24 個. 架構. [1]. 架構. NVIDIA GeForce GTX 1080. n. Zhang. HDF5. sit. io 研究. ReLU(Rectified Linear Units). 架構 CUDA 8. (iteration). CNN 架構. LEVELDB. Ubuntu 14.04 LTS. Caffe. er. 80. 4.2. LMDB. Nat. 架構. (fine-tune). ‧. NVIDIA. :. 學. ‧ 國. Softmax. ,. Python. Model Zoo. 政 治 大 Convolution Pooling Inner Product 立資料 : 圖. AlexNet, GoogLeNet, VGG 技術. Caffe. Matlab. y. 要. C++. ⼀. ⼀. 20. ⼀. 7x7.
(34) 表 4.1 M5 5 weight layers. M66 weight layers. conv3-64. conv3-32. CASIA 資料集. [1]. 架構. CNN Configurations M6 M6+ M7-1 M7-2 6 weight 6 weight 7 weight 7 weight layers layers layers layers input data (64x64 gray-scale image) conv3-64. conv3-80. conv3-64. M9 9 weight layers. M11 11 weight layers. conv3-64. conv3-64. conv3-64 conv3-64. conv3-128. conv3-128. conv3-128 conv3-128. conv3-256. conv3-256 conv3-256. conv3-256 conv3-256. conv3-512. conv3-512 conv3-512. conv3-512 conv3-512. maxpool conv3-128. conv3-64. conv3-128. conv3-160. conv3-128. maxpool conv3-128. conv3-256. conv3-320. conv3-256. conv3-512. 立. conv3-640. 學. al. Ch. 6. CIFAR10. 25%. CNN 架構. ⼀個. v. 架構. ReLU. MaxPooling. (Fully Conected Layer) [24]. y. engchi. [8]. Test Accuracy(%) Top-1 Top-5 95.7 99.1 96.6 99.5 96.9 99.5 97.0 99.6 97.1 99.6 96.8 99.6 97.2 99.6 97.3 99.6 98.1 99.7. i n U. 95.9 96.8 97.0 97.4 97.3 97.0 97.4 97.7 N/A. [1]. sit. Validation Accuracy(%). n. Krizhevsky. 架構. er. io. M5 M6M6 M6+ M7-1 M7-2 M9 M11 Ensemble. FC-1024. ‧. Nat. Model. Glorot. conv3-512 maxpool. FC-1024 FC-200/FC-3755 softmax. 表 4.2 Zhang. ReLU. conv3-256. 政 治 maxpool 大 conv3-512. ‧ 國. conv3-256. Dropout 法. 2. [23]. 個架構. 21. 2x2. dropout. xavier. CNN 架構. tanh. 0.5 法.
(35) xavier. 4.3. 法. Caffe solver CNN 架構. Caffe. ⼀個. (base learning rate). 表. (learning rate). ⼀. learning rate. 個參. ;learning policy Caffe. policy; gamma. 參. ; stepsize. step fixed sigmoid 表. 來表 learning. ⼀. 圖 4.1 step. learning policy step. 政 治 大 base_lr (base立 learning rate) ∗ gamma learning rate. 0.001 gamma. 學. ⼀. ‧ 國. ( f loor (iterations/stepsize)). 0.9 stepszie. ‧. n. al. er. io. sit. y. Nat ⼀. 6. 0.0009. Ch. 圖 4.1 fixed. 6. engchi. learning policy. 結. i n U. v. step sigmoid. sigmoid. 22.
(36) 實驗. 4.4. 實驗⼀. ⽂資料集 CASIA. ⽂. 實驗⼆ 資料集. 實驗⼆. 分類. 結. 實驗三 資料集⽂. • 實驗⼀:. 結. 分類. 圖. ⽂. 圖. 資料集. 政 治 大 CASIA 資料集 立 Tesseract. ⽂. 資料集. • 實驗三: padding 4 個. ‧ y. sit er. al. n. • 實驗結. ⽂. io. • 實驗五:. padding. Nat. • 實驗四:. ⽂. 與. 實驗三. 學. • 實驗⼆:. 圖. 資料集. 實驗四. ‧ 國. ⽂. 分類. padding 4 個. 與 實驗四. padding. ⽂. Tesseract. Ch. engchi. 23. i n U. v. 實驗五.
(37) 第五章. 實驗及分析. 章. 資料集. 資料集. 架構. 實驗結. 實驗⼀: CASIA 資料集. 5.1. 實驗⼀. CASIA-HWDB1.1 圖. 資料集分. 治 圖 政 (pixel) 大. 集. 驗. padding 4 個. 立. ‧ 國. ). er. sit. y. (. n. al. 3,755 個⽂. –. 圖 5.1. ‧. io • 資料集. 64x64. 集. 學. padding 4 個. Nat. 圖 5.1. 集. Ch. 類別. i n U. v. i e n析g c h64x64. –. 資料集. 508,703. 圖. – 驗. 資料集. 223,991. 圖. – 驗. 資料集. 91%. • 結. – 驗. 資料集. 資料集. 25% 資料集. 91% 與. 25% ⽂. 集 24. 資料.
(38) 5.2. 實驗⼆: 資料集. Tesseract. ⽂. ⽂ 背景. (a). (b). (c). (d). (e). 圖 5.2. (f). 圖 5.2. 資料集圖 治 政 大. 立 5. 16x16. 背景. –. : Salt and Pepper. –. :. io. :. n. al. :. Ch. engchi. er. 60∼150. –. –. sit. y. Nat. –. 32x32. ‧. 圖. :. –. 學. :. –. ‧ 國. •. i n U. v. (Opening). • 資料集 ⼀個類別. 7. 圖. 20. 圖 5.3. 圖 5.3. Tesseract. 25. 資料集. 30. 圖.
(39) –. 5,088 類. 析. –. 資料集. 595,131. 圖. – 驗. 資料集. 295,029. 圖. 32x32. • 結 (Learning Curve). –. 政 治 大. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. 圖 5.4. Ch. eTesseract ngchi. i n U. v. 資料集. – 資料集: Top-1. 22%. ; Top-5. 38%. – 分類 分類. 圖. ⽂. (a). 圖 5.5. 圖5.5. (b). (c). 資料集. 26. (d). 分類. (e). 圖.
(40) – 分類 分類. 圖. 圖. (a). (b). 圖 5.6. 資料集 與. 資料集. 與. ‧ 國. 立. (d). (e). 分類. 圖. 實驗三: padding 4 個 資料集. Tesseract. 資料集. ⼀. 分. 圖. 圖. ⼀. y. Nat. n. al. 圖 5.7. 圖. sit. ⼀. padding 4 個. er. io. 圖 5.7. ⽅. padding 4 個. ‧. 結. 資料集. 政 治資料集大. 學. 5.3. (c). 圖5.6. Ch. engchi. padding 4. i n U. v. Tesseract. 資料集. • 資料集. Tesseract 圖. 4個 –. :. 及 5. 27. ⼀. ⼀. ⼀.
(41) 圖. :. –. 16x16. 32x32. – 60∼150. –. 背景. –. : Salt and Pepper. –. :. :. 圖. –. padding 4 個. • 資料集 – 5,088 個類別. – 驗. 資料集. 圖. 295,208. 圖. 立. n. al. er. io. sit. y. Nat. –. 595,513. ‧. • 結. ‧ 國. 資料集. 32x32. 學. –. 政 治 大. 析. Ch. 圖 5.8 paddind 4 個. engchi. Tesseract. 28. i n U. v. 資料集.
(42) – 資料集 Top-1. 30%. ; Top-5. 47%. – 分類 資料集. padding 4 個. 圖. 分類. (a). (b). 圖 5.9. 立. 圖. 分類 分. 圖. 圖. ‧. ‧ 國. 相. (e). 學. – 分類. (d) 治 政 資料集 分類 大 (c). 析. 圖. n. er. io. sit. y. Nat. al. (a). Ch. (b). 圖 5.10. 資料集. e n g (c) chi 資料集. iv n U (d). 分類. (e). 圖. padding 4 個. 資料集. 資料集. 個 背景. 資料集. 5.4. 實驗四: ⼀. 實驗. padding 0. padding 結 10. 資料集 圖 5.11 29. ⽂. 與.
(43) 圖 5.11. padding. 資料集. Tesseract. • padding 0∼10 個. 立圖. :. 背景. ‧. • 資料集. 60∼150. :. y. Nat. – 5,088 個類別. io. 資料集. – 驗. 資料集. • 架構參 (i) 參 ⼀. al. 32x32. 595,785. n. –. 析. sit. –. 學. –. ‧ 國. –. 政 治 大 16x16 32x32. er. –. 圖. C h圖 engchi. 295,355. i n U. v. 與結 ⼀ learning policy. 參. step. 表 5.1 參. ⼀. 參 base learning rate learning policy gamma stepsize momentum. 0.001 step 0.1 100,000 0.9. 30. 表 5.1.
(44) –. 立. 政 治 大. ‧. ‧ 國. 學 er. io. sit. y. Nat. a padding Tesseract 資料集 iv l C n hengchi U. n. 圖 5.12. ⼀. – 資料集 Top-1 (ii) 參 參. 45%. ; Top-5. ⼆ 表5.2 表 5.2 參. ⼆. 參 base learning rate learning policy gamma stepsize momentum. 0.001 step 0.9 60,000 0.9. 31. 61%.
(45) –. 政 治 大. 立. n. al. 資料集. ⼆. sit. Tesseract. er. io. –. padding. y. ‧. ‧ 國. 學. Nat. 圖 5.13. Ch. 資料集 Top-1. e n g53% chi. iv n U ; Top-5. 69%. • 分類 ⽂. padding 分類. 與. 相. 來. (a). (b). 圖 5.14. (c). 資料集. • 分類 32. (d). 分類. (e). 圖.
(46) 分類. 圖. ⽂. (a). (b). (c). 圖 5.15. 資料集. (d). (e). 分類. 圖. 資料集⽂ ⽂. 資料集. 立 ⽂. 實驗五: ⽂. 政 治 大. 分析. ⽂. 圖. 分. 背景. padding. sit er. io. n. Ch ⽂. engchi 與背景. i n U. v. Tesseract. • padding 0∼10 個 圖. :. –. ⽂. y. Nat. al. 圖 5.16. –. 類別. ‧. 圖 5.16. ⽂. ⽂. 學. 分. ‧ 國. 5.5. 資料集. 16x16. 32x32. – –. ⽂. :. –. 背景. :⽂. 0∼200 +10∼255. • 資料集 33. 資料集.
(47) – 5,088 個類別. 析. 32x32. –. 資料集. 595,472. 圖. – 驗. 資料集. 295,208. 圖. –. 資料集. 124,278. 圖. • 架構參 (i) 參 參. 與結 ⼀ 表5.3. 治 ⼀ 表 5.3 參 政 大 參. 立 base learning rate. ‧ 國 n. al. er. io. sit. y. ‧. Nat. –. 學. learning policy gamma stepsize momentum. 0.001 step 0.1 80,000 0.9. Ch. 圖 5.17. engchi. ⽂. i n U. v. ⼀. 34.
(48) – 資料集 Top-1. *. 資料集 Top-1. * (ii) 參. ; Top-5 51%. 95%. ; Top-5. 67%. ⼆. 參. 表5.4. 立. 表 5.4 參. ⼆. 參 base learning rate learning policy gamma stepsize momentum. 0.001 step 0.9 60,000 0.9. Ch. i n U. 政 治 大. ‧. ‧ 國. 學. –. 89%. n. er. io. sit. y. Nat. al. engchi. 圖 5.18. ⽂. v. ⼆. – * *. 資料集 Top-1. 92%. 資料集 Top-1. ; Top-5 62%. 35. ; Top-5. 96% 76%.
(49) (iii) 參. 三 learning policy. sigmoid sigmoid. learning rate. 法. base_lr ∗ (1/(1 + exp(− gamma ∗ (iterations − stepsize)))) 表5.5 三. learning policy gamma stepsize momentum. sigmoid 0.9 80,000 0.9. 政參 治 大 base learning rate 0.001. 學 ‧. io. sit. y. Nat. –. ‧ 國. 立. 表 5.5 參. n. al. er. 參. Ch. 圖 5.19. engchi. ⽂. i n U. v. 三. – 36.
(50) 資料集 Top-1. *. 93%. 資料集 Top-1. *. ; Top-5 65%. 97%. ; Top-5. 80%. • 分類 ⽂. 背景. ⽂. 分類. (a). (b). (f) 政 (e)治 大. (c). (d). 立 圖 5.20. ‧ 國. 圖. 與. y. n. al. (b). (c). Ch. engchi (d). i n U. (e). 圖 5.21 分類. 5.6. 圖. sit. io. (a). ⽂. Nat. 圖. 析. er. 圖. 圖. ‧. 分. v. (f). (g). (h). 圖. 實驗結 資料集圖. 類. ⽂. 分別. (h). 學. • 分類. 分類. (g). ”. ” ”. M6+ 架構. ”. ”. 31,570. 三個類別 三個類別. ” 架構. 圖. 37. 1,530. 資料集 5,088 個類別 5,091 類別 資料集. • 資料集. 類別. :.
(51) – 5,091 個類別. 析. 32x32. –. 資料集. 595,826. 圖. – 驗. 資料集. 295,208. 圖. 資料集. –. 資料集. M6+ 架構分類. 資料集:. • M6+ –. 立. 政 治 大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. – 資料集. 資料集. Top-1. 71%. Top-3. 83% Top-5. 87% M6+ 架構 Normalization(. bn). 架構. M7-1 M9. 表 5.6. 38. M6+. Batch.
(52) 表 5.6. CNN Configurations bn1 bn2 bn3 conv3-80 conv3-80 conv3-80 bn bn bn maxpool conv3-160 conv3-160 conv3-160 bn bn maxpool conv3-320 conv3-320 conv3-320 bn maxpool. M7-1 conv3-64. conv3-128. conv3-256. conv3-512 maxpool. 立. conv3-640. 治 政 maxpool 大. ‧ 國. conv3-160 bn conv3-320 bn conv3-640 bn. M7-1 架構. 1. al. Ch. 圖 5.22. sit. 資料集. er. (a). 驗. y. ‧. M6+ 架構與 M7-1 架構. n. 80. conv3-640. FC-1024 FC-5091 softmax. io. M6+. conv3-640. Nat. 圖 5.22. conv3-512. bn4 conv3-80 bn. 學. • M7-1. CNN 架構. M7-1. engchi. i n U. ⼀. M6+ 架構與 M7-1 39. v 要3. 圖 (b). M7-1 M6+ 架構.
(53) • bn 致. Batch Normalization ⼀. 研究. bn. bn. 圖 5.23 圖 5.23(a). 圖 圖 5.23(b) 圖 5.23(c). 0.96. 圖. bn. 0.90 10. 來. 20. bn. 政 治 大. 立. ‧. ‧ 國. 學. n. al. er. io. sit. y. Nat bn. 法. Ch. engchi. 圖 5.23. bn. 架構. 實 圖圖. i n U. v. 與 M6+ 架構. 圖 5.24(b). 40. 要 0.90. 圖 5.24 圖 5.24(a) 1.0.
(54) 立. 4 個 bn. 架構 (bn4). ‧. ‧ 國. bn4 與 M6+. 學. 圖 5.24. M6+. 圖 5.25 8. ⽅. n. al. er. io. sit. y. Nat. rate,lr). 政 治 大. Ch. engchi. 圖 5.25. 41. i n U. v. (learning.
(55) 表 5.7 Model. Validation Accuracy. M6+ M7-1 bn1 bn2 bn3 bn4. 95% 94% 94% 94% 95% 94%. 架構. 分類. 表 5.7. 政 治 :大. 資料集分類 結. M6+ 圖. 立. : Top-1. 學. ‧ 國. 表 5.8 top-1 圖. 類別. 圖. 類別. ‧. io. sit. y. Nat. n. al. er. • 分類. 要. M6+. M6+ 架構. Test Accuracy Top-1 Top-5 71% 87% 71% 87% 61% 79% 57% 76% 54% 73% 58% 76%. Ch. engchi. 42. i n U. v. 資料集⽅. 目.
(56) • 分類. 圖. : Top-5 表 5.9 top-5 類別. 類別. ,. ,. top-5 , ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. • 分類. 立. 圖 圖. 類. 分類. 圖. ⽂. 相. io. al. ,. Ch. 圖 圖. ,. ,. ,. ,. ,. ,. n U i engch. iv. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. ,. 100. 圖. 類別 圖 5.26. 99% 資料集. 43. ⽂. 類別. top-5 , ,. ,. 資料集 56 個類別. 類別. n. top-5 ″, , ”,. 致. sit. Nat. 圖. 表 5.10 分類. 圖. y. 表 5.10. er. 圖. 分類. ‧. 析. 政 治 大. 學. Top-5. 資料集. 圖. top-5 , ,. ‧ 國. 圖. 料. (Transfer Learning).
(57) 政 治 大. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. 圖 5.26. engchi. 資料集. 44. i n U. v.
(58) 結論與未來研究⽅向 析. ⽂. 圖 要. Tesseract ⼀. 資料集. 資料集 Top-1 ⽂. 71%. 類別⽅. ⽂. ‧ 國. 類別. ⽂ ⽂. y. ‧. ⽂ 類別. 圖. 集. Ch. 資料集 目. engchi U ⽂. ⽂. ⽂. 45. v ni. 未來. ⽂. 資 法. er. 1. n. al. 87%. 57 個. 及. io. 資料集. 3500 個. ⽂. 資料集. 資料集. ;Top-5. 類別 ⽂. 資料集. 法. 83%. Nat. 目. 資料集 5,091 個類別. 類別. ⽂. 資. 資料集. 學. 類別. ⽂. 要目. 政 治 大. 立 ⽂. 研究. 分析與. ;Top-3. 分別 :. ⽂. ⽂. sit. 第六章. 資料集 ⼀來 集⼀.
(59) 參考⽂獻 [1] Yuhao Zhang. Deep convolutional network for handwritten chinese character recognition. CS231N course project. [2] Leon A Gatys, Alexander S Ecker, and Matthias Bethge. Image style transfer using convolutional neural networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2414–2423, 2016.. 政 治 大. [3] Oriol Vinyals, Alexander Toshev, Samy Bengio, and Dumitru Erhan. Show and tell: A. 立. neural image caption generator. In Proceedings of the IEEE Conference on Computer. ‧ 國. 學. Vision and Pattern Recognition, pages 3156–3164, 2015.. [4] Xu Chen. Convolution neural networks for chinese handwriting recognition.. ‧. [5] Charles Jacobs, Patrice Y Simard, Paul Viola, and James Rinker. Text recognition of low-. y. Nat. io. sit. resolution document images. In Eighth International Conference on Document Analysis. er. and Recognition (ICDAR’05), pages 695–699. IEEE, 2005.. al. n. v i n C h and Yee-Whye [6] Geoffrey E Hinton, Simon Osindero, Teh. engchi U. A fast learning algorithm for. deep belief nets. Neural computation, 18(7):1527–1554, 2006.. [7] Yuanqing Lin, Fengjun Lv, Shenghuo Zhu, Ming Yang, Timothee Cour, Kai Yu, Liangliang Cao, and Thomas Huang. Large-scale image classification: fast feature extraction and svm training. In Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on, pages 1689–1696. IEEE, 2011. [8] Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton. Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems, pages 1097–1105, 2012.. 46.
(60) [9] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification. In Proceedings of the IEEE International Conference on Computer Vision, pages 1026–1034, 2015. [10] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. IEEE, pages 770 – 778, 2016. [11] Christian Szegedy, Sergey Ioffe, and Vincent Vanhoucke. Inception-v4, inception-resnet and the impact of residual connections on learning. arXiv preprint arXiv:1602.07261, 2016.. 政 治 大. [12] Yann LeCun, LD Jackel, Léon Bottou, Corinna Cortes, John S Denker, Harris Drucker,. 立. Isabelle Guyon, UA Muller, E Sackinger, Patrice Simard, et al. Learning algorithms for. ‧ 國. 學. classification: A comparison on handwritten digit recognition. Neural networks: the statistical mechanics perspective, 261:276, 1995.. ‧. [13] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Spatial pyramid pooling in. y. Nat. sit. deep convolutional networks for visual recognition. In European Conference on Computer. er. io. Vision, pages 346–361. Springer, 2014.. al. n. v i n [14] Ross Girshick. Fast r-cnn. In CProceedings U International Conference on Comh e n g cofhthei IEEE puter Vision, pages 1440–1448, 2015.. [15] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster r-cnn: Towards realtime object detection with region proposal networks. In Advances in neural information processing systems, pages 91–99, 2015. [16] Joseph Redmon, Santosh Divvala, Ross Girshick, and Ali Farhadi. You only look once: Unified, real-time object detection. arXiv preprint arXiv:1506.02640, 2015. [17] Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, and Scott Reed. Ssd: Single shot multibox detector. arXiv preprint arXiv:1512.02325, 2015.. 47.
(61) [18] Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps. arXiv preprint arXiv: 1312.6034, 2013. [19] Hyeonwoo Noh, Seunghoon Hong, and Bohyung Han. Learning deconvolution network for semantic segmentation. In Proceedings of the IEEE International Conference on Computer Vision, pages 1520–1528, 2015. [20] Zhuoyao Zhong, Lianwen Jin, and Zecheng Xie. High performance offline handwritten chinese character recognition using googlenet and directional feature maps. In Document. 政 治 大. Analysis and Recognition (ICDAR), 2015 13th International Conference on, pages 846–. 立. 850. IEEE, 2015.. ‧ 國. 學. [21] Karen Simonyan and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014.. ‧. [22] Matthew D Zeiler and Rob Fergus. Visualizing and understanding convolutional networks.. y. Nat. er. io. sit. In European conference on computer vision, pages 818–833. Springer, 2014. [23] Nitish Srivastava, Geoffrey E Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan. al. n. v i n Salakhutdinov. Dropout: a simple C h way to preventUneural networks from overfitting. Jourengchi nal of Machine Learning Research, 15(1):1929–1958, 2014.. [24] Xavier Glorot and Yoshua Bengio. Understanding the difficulty of training deep feedforward neural networks. In Aistats, volume 9, pages 249–256, 2010.. 48.
(62) 附錄⼀ 5091 個類別 類別:0∼223. 表 0.1 ⽂. n y. r. A. 政 治⽅ 大. Ch. 3. 景. engchi. C. 49. / ⽂. L. 6. 5 12 19 26 33 40 47 54 61 68 75 82 89 96 103 110 117 124 131 138 145 152 159 166 173 180 187 194 201 208 215 222. a. V. 5. ‧. io. G d 附. al. R. 4 11 18 25 32 39 46 53 60 67 74 81 88 95 102 109 116 123 130 137 144 151 158 165 172 179 186 193 200 207 214 221. y. 立. B. 學. 7. 9. H. 3 10 17 24 31 38 45 52 59 66 73 80 87 94 101 108 115 122 129 136 143 150 157 164 171 178 185 192 199 206 213 220. 4. sit. 8. ) 0. 2 9 16 23 30 37 44 51 58 65 72 79 86 93 100 107 114 121 128 135 142 149 156 163 170 177 184 191 198 205 212 219. er. ( 1. Y. ‧ 國. o 致. 1 8 15 22 29 36 43 50 57 64 71 78 85 92 99 106 113 120 127 134 141 148 155 162 169 176 183 190 197 204 211 218. Nat. 0 7 14 21 28 35 42 49 56 63 70 77 84 91 98 105 112 119 126 133 140 147 154 161 168 175 182 189 196 203 210 217. i n U. v. 第. S. 6 13 20 27 34 41 48 55 62 69 76 83 90 97 104 111 118 125 132 139 146 153 160 167 174 181 188 195 202 209 216 223. v. O ≥ -. 2. U w.
(63) 表 0.2. al. n. u b %. Q. g l E. 227 234 241 248 255 262 269 276 283 290 297 304 311 318 325 332 339 346 353 360 367 374 381 388 395 402 409 416 423 430 437 444 451 458 465 472 479 486 493 500 507 514 521. 228 235 242 249 256 263 270 277 284 291 298 305 312 319 326 333 340 347 354 361 368 375 382 389 396 403 410 417 424 431 438 445 452 459 466 473 480 487 494 501 508 515 522. ⼆. 五. 政 治 大六. Ch. engchi U h c ?. 50. t m T. y. D. sit. N. 229 236 243 250 257 264 271 278 285 292 299 306 313 320 327 334 341 348 355 362 369 376 383 390 397 404 411 418 425 432 439 446 453 460 467 474 481 488 495 502 509 516 523. ‧. ‧ 國. 立. io. M 四. 226 233 240 247 254 261 268 275 282 289 296 303 310 317 324 331 338 345 352 359 366 373 380 387 394 401 408 415 422 429 436 443 450 457 464 471 478 485 492 499 506 513 520. er. ̃. 類別:224∼524. 學. 集. 225 232 239 246 253 260 267 274 281 288 295 302 309 316 323 330 337 344 351 358 365 372 379 386 393 400 407 414 421 428 435 442 449 456 463 470 477 484 491 498 505 512 519. Nat. 224 231 238 245 252 259 266 273 280 287 294 301 308 315 322 329 336 343 350 357 364 371 378 385 392 399 406 413 420 427 434 441 448 455 462 469 476 483 490 497 504 511 518. ⽂. v ni. p n =. . : W &. P. 230 237 244 251 258 265 272 279 286 293 300 307 314 321 328 335 342 349 356 363 370 377 384 391 398 405 412 419 426 433 440 447 454 461 468 475 482 489 496 503 510 517 524. 三 ,. ⼀. s e i.
(64) 表 0.3. J. 529 536 543 550 557 564 571 578 585 592 599 606 613 620 627 634 641 648 655 662 669 676 683 690 697 704 711 718 725 732 739 746 753 760 767 774 781 788 795 802 809 816 823. 政 治 大. Ch. engchi. 51. 530 537 544 551 558 565 572 579 586 593 600 607 614 621 628 635 642 649 656 663 670 677 684 691 698 705 712 719 726 733 740 747 754 761 768 775 782 789 796 803 810 817 824. 分. sit. y. ‧. n. al. 技. 528 535 542 549 556 563 570 577 584 591 598 605 612 619 626 633 640 647 654 661 668 675 682 689 696 703 710 717 724 731 738 745 752 759 766 773 780 787 794 801 808 815 822. er. 立. io. X. 527 534 541 548 555 562 569 576 583 590 597 604 611 618 625 632 639 646 653 660 667 674 681 688 695 702 709 716 723 730 737 744 751 758 765 772 779 786 793 800 807 814 821. 類別:525∼825. 學. 526 533 540 547 554 561 568 575 582 589 596 603 610 617 624 631 638 645 652 659 666 673 680 687 694 701 708 715 722 729 736 743 750 757 764 771 778 785 792 799 806 813 820. ‧ 國. 相. Nat. 525 532 539 546 553 560 567 574 581 588 595 602 609 616 623 630 637 644 651 658 665 672 679 686 693 700 707 714 721 728 735 742 749 756 763 770 777 784 791 798 805 812 819. ⽂. i n U. v. 未. 531 538 545 552 559 566 573 580 587 594 601 608 615 622 629 636 643 650 657 664 671 678 685 692 699 706 713 720 727 734 741 748 755 762 769 776 783 790 797 804 811 818 825.
(65) 表 0.4. io. 政 治 大. n. al. ”. 830 837 844 851 858 865 872 879 886 893 900 907 914 921 928 935 942 949 956 963 970 977 984 991 998 1005 1012 1019 1026 1033 1040 1047 1054 1061 1068 1075 1082 1089 1096 1103 1110 1117 1124. Ch. ]. engchi. ;. 52. 及. i n U. 831 838 845 852 859 866 873 880 887 894 901 908 915 922 929 936 943 950 957 964 971 978 985 992 999 1006 1013 1020 1027 1034 1041 1048 1055 1062 1069 1076 1083 1090 1097 1104 1111 1118 1125. I. y. sit. 析. >. 829 836 843 850 857 864 871 878 885 892 899 906 913 920 927 934 941 948 955 962 969 976 983 990 997 1004 1011 1018 1025 1032 1039 1046 1053 1060 1067 1074 1081 1088 1095 1102 1109 1116 1123. ‧. ‧ 國. 立. f. |. er. 料. 828 835 842 849 856 863 870 877 884 891 898 905 912 919 926 933 940 947 954 961 968 975 982 989 996 1003 1010 1017 1024 1031 1038 1045 1052 1059 1066 1073 1080 1087 1094 1101 1108 1115 1122. 類別:826∼1126. 學. 827 834 841 848 855 862 869 876 883 890 897 904 911 918 925 932 939 946 953 960 967 974 981 988 995 1002 1009 1016 1023 1030 1037 1044 1051 1058 1065 1072 1079 1086 1093 1100 1107 1114 1121. Nat. 826 833 840 847 854 861 868 875 882 889 896 903 910 917 924 931 938 945 952 959 966 973 980 987 994 1001 1008 1015 1022 1029 1036 1043 1050 1057 1064 1071 1078 1085 1092 1099 1106 1113 1120. ⽂. v. 考. 向 k. F. <. 832 839 846 853 860 867 874 881 888 895 902 909 916 923 930 937 944 951 958 965 972 979 986 993 1000 1007 1014 1021 1028 1035 1042 1049 1056 1063 1070 1077 1084 1091 1098 1105 1112 1119 1126. [.
(66) 表 0.5 ⽂. 1131 1138 1145 1152 1159 1166 1173 1180 1187 1194 1201 1208 1215 1222 1229 1236 1243 1250 1257 1264 1271 1278 1285 1292 1299 1306 1313 1320 1327 1334 1341 1348 1355 1362 1369 1376 1383 1390 1397 1404 1411 1418 1425. 章. 治 背 政 大. n. Ch. engchi. ′ #. 53. i n U. 1132 1139 1146 1153 1160 1167 1174 1181 1188 1195 1202 1209 1216 1223 1230 1237 1244 1251 1258 1265 1272 1279 1286 1293 1300 1307 1314 1321 1328 1335 1342 1349 1356 1363 1370 1377 1384 1391 1398 1405 1412 1419 1426. y. ‧. io. *. al. 研. 1130 1137 1144 1151 1158 1165 1172 1179 1186 1193 1200 1207 1214 1221 1228 1235 1242 1249 1256 1263 1270 1277 1284 1291 1298 1305 1312 1319 1326 1333 1340 1347 1354 1361 1368 1375 1382 1389 1396 1403 1410 1417 1424. sit. 立. ″. 學. 究. 1129 1136 1143 1150 1157 1164 1171 1178 1185 1192 1199 1206 1213 1220 1227 1234 1241 1248 1255 1262 1269 1276 1283 1290 1297 1304 1311 1318 1325 1332 1339 1346 1353 1360 1367 1374 1381 1388 1395 1402 1409 1416 1423. er. 目. 1128 1135 1142 1149 1156 1163 1170 1177 1184 1191 1198 1205 1212 1219 1226 1233 1240 1247 1254 1261 1268 1275 1282 1289 1296 1303 1310 1317 1324 1331 1338 1345 1352 1359 1366 1373 1380 1387 1394 1401 1408 1415 1422. ‧ 國. 法. Nat. 1127 1134 1141 1148 1155 1162 1169 1176 1183 1190 1197 1204 1211 1218 1225 1232 1239 1246 1253 1260 1267 1274 1281 1288 1295 1302 1309 1316 1323 1330 1337 1344 1351 1358 1365 1372 1379 1386 1393 1400 1407 1414 1421. 類別:1127∼1427. v. x. 1133 1140 1147 1154 1161 1168 1175 1182 1189 1196 1203 1210 1217 1224 1231 1238 1245 1252 1259 1266 1273 1280 1287 1294 1301 1308 1315 1322 1329 1336 1343 1350 1357 1364 1371 1378 1385 1392 1399 1406 1413 1420 1427. }.
(67) 表 0.6 ⽂. io. n. al. 政 治 大. Ch. engchi. 54. i n U. 1433 1440 1447 1454 1461 1468 1475 1482 1489 1496 1503 1510 1517 1524 1531 1538 1545 1552 1559 1566 1573 1580 1587 1594 1601 1608 1615 1622 1629 1636 1643 1650 1657 1664 1671 1678 1685 1692 1699 1706 1713 1720 1727. y. sit. j. 1432 1439 1446 1453 1460 1467 1474 1481 1488 1495 1502 1509 1516 1523 1530 1537 1544 1551 1558 1565 1572 1579 1586 1593 1600 1607 1614 1621 1628 1635 1642 1649 1656 1663 1670 1677 1684 1691 1698 1705 1712 1719 1726. er. ‧ 國. 立. 1431 1438 1445 1452 1459 1466 1473 1480 1487 1494 1501 1508 1515 1522 1529 1536 1543 1550 1557 1564 1571 1578 1585 1592 1599 1606 1613 1620 1627 1634 1641 1648 1655 1662 1669 1676 1683 1690 1697 1704 1711 1718 1725. ‧. 1430 1437 1444 1451 1458 1465 1472 1479 1486 1493 1500 1507 1514 1521 1528 1535 1542 1549 1556 1563 1570 1577 1584 1591 1598 1605 1612 1619 1626 1633 1640 1647 1654 1661 1668 1675 1682 1689 1696 1703 1710 1717 1724. 學. 1429 1436 1443 1450 1457 1464 1471 1478 1485 1492 1499 1506 1513 1520 1527 1534 1541 1548 1555 1562 1569 1576 1583 1590 1597 1604 1611 1618 1625 1632 1639 1646 1653 1660 1667 1674 1681 1688 1695 1702 1709 1716 1723. Nat. 1428 1435 1442 1449 1456 1463 1470 1477 1484 1491 1498 1505 1512 1519 1526 1533 1540 1547 1554 1561 1568 1575 1582 1589 1596 1603 1610 1617 1624 1631 1638 1645 1652 1659 1666 1673 1680 1687 1694 1701 1708 1715 1722. 類別:1428∼1728. v. 1434 1441 1448 1455 1462 1469 1476 1483 1490 1497 1504 1511 1518 1525 1532 1539 1546 1553 1560 1567 1574 1581 1588 1595 1602 1609 1616 1623 1630 1637 1644 1651 1658 1665 1672 1679 1686 1693 1700 1707 1714 1721 1728. 要.
(68) 表 0.7 ⽂. 1733 1740 1747 1754 1761 1768 1775 1782 1789 1796 1803 1810 1817 1824 1831 1838 1845 1852 1859 1866 1873 1880 1887 1894 1901 1908 1915 1922 1929 1936 1943 1950 1957 1964 1971 1978 1985 1992 1999 2006 2013 2020 2027. 政 治 大. Ch. engchi. 55. i n U. 1734 1741 1748 1755 1762 1769 1776 1783 1790 1797 1804 1811 1818 1825 1832 1839 1846 1853 1860 1867 1874 1881 1888 1895 1902 1909 1916 1923 1930 1937 1944 1951 1958 1965 1972 1979 1986 1993 2000 2007 2014 2021 2028. y. sit. er. n. al. 1732 1739 1746 1753 1760 1767 1774 1781 1788 1795 1802 1809 1816 1823 1830 1837 1844 1851 1858 1865 1872 1879 1886 1893 1900 1907 1914 1921 1928 1935 1942 1949 1956 1963 1970 1977 1984 1991 1998 2005 2012 2019 2026. ‧. ‧ 國. 立. io. @. 1731 1738 1745 1752 1759 1766 1773 1780 1787 1794 1801 1808 1815 1822 1829 1836 1843 1850 1857 1864 1871 1878 1885 1892 1899 1906 1913 1920 1927 1934 1941 1948 1955 1962 1969 1976 1983 1990 1997 2004 2011 2018 2025. 學. 1730 1737 1744 1751 1758 1765 1772 1779 1786 1793 1800 1807 1814 1821 1828 1835 1842 1849 1856 1863 1870 1877 1884 1891 1898 1905 1912 1919 1926 1933 1940 1947 1954 1961 1968 1975 1982 1989 1996 2003 2010 2017 2024. Nat. 1729 1736 1743 1750 1757 1764 1771 1778 1785 1792 1799 1806 1813 1820 1827 1834 1841 1848 1855 1862 1869 1876 1883 1890 1897 1904 1911 1918 1925 1932 1939 1946 1953 1960 1967 1974 1981 1988 1995 2002 2009 2016 2023. 類別:1729∼2029. v. 1735 1742 1749 1756 1763 1770 1777 1784 1791 1798 1805 1812 1819 1826 1833 1840 1847 1854 1861 1868 1875 1882 1889 1896 1903 1910 1917 1924 1931 1938 1945 1952 1959 1966 1973 1980 1987 1994 2001 2008 2015 2022 2029. K.
(69) 表 0.8 ⽂. z. 政 治 大. !. n. Ch. engchi. 56. ’. i n U. 2035 2042 2049 2056 2063 2070 2077 2084 2091 2098 2105 2112 2119 2126 2133 2140 2147 2154 2161 2168 2175 2182 2189 2196 2203 2210 2217 2224 2231 2238 2245 2252 2259 2266 2273 2280 2287 2294 2301 2308 2315 2322 2329. y. sit. io. al. 2034 2041 2048 2055 2062 2069 2076 2083 2090 2097 2104 2111 2118 2125 2132 2139 2146 2153 2160 2167 2174 2181 2188 2195 2202 2209 2216 2223 2230 2237 2244 2251 2258 2265 2272 2279 2286 2293 2300 2307 2314 2321 2328. er. ‧ 國. 立. 表. 2033 2040 2047 2054 2061 2068 2075 2082 2089 2096 2103 2110 2117 2124 2131 2138 2145 2152 2159 2166 2173 2180 2187 2194 2201 2208 2215 2222 2229 2236 2243 2250 2257 2264 2271 2278 2285 2292 2299 2306 2313 2320 2327. ‧. 2032 2039 2046 2053 2060 2067 2074 2081 2088 2095 2102 2109 2116 2123 2130 2137 2144 2151 2158 2165 2172 2179 2186 2193 2200 2207 2214 2221 2228 2235 2242 2249 2256 2263 2270 2277 2284 2291 2298 2305 2312 2319 2326. 學. q. 2031 2038 2045 2052 2059 2066 2073 2080 2087 2094 2101 2108 2115 2122 2129 2136 2143 2150 2157 2164 2171 2178 2185 2192 2199 2206 2213 2220 2227 2234 2241 2248 2255 2262 2269 2276 2283 2290 2297 2304 2311 2318 2325. Nat. 2030 2037 2044 2051 2058 2065 2072 2079 2086 2093 2100 2107 2114 2121 2128 2135 2142 2149 2156 2163 2170 2177 2184 2191 2198 2205 2212 2219 2226 2233 2240 2247 2254 2261 2268 2275 2282 2289 2296 2303 2310 2317 2324. 類別:2030∼2330. v. �. 2036 2043 2050 2057 2064 2071 2078 2085 2092 2099 2106 2113 2120 2127 2134 2141 2148 2155 2162 2169 2176 2183 2190 2197 2204 2211 2218 2225 2232 2239 2246 2253 2260 2267 2274 2281 2288 2295 2302 2309 2316 2323 2330. ^.
(70) 表 0.9 ⽂. {. 政 治 大. n. Ch. engchi. $. 57. i n U. 2336 2343 2350 2357 2364 2371 2378 2385 2392 2399 2406 2413 2420 2427 2434 2441 2448 2455 2462 2469 2476 2483 2490 2497 2504 2511 2518 2525 2532 2539 2546 2553 2560 2567 2574 2581 2588 2595 2602 2609 2616 2623 2630. y. sit. io. al. 2335 2342 2349 2356 2363 2370 2377 2384 2391 2398 2405 2412 2419 2426 2433 2440 2447 2454 2461 2468 2475 2482 2489 2496 2503 2510 2517 2524 2531 2538 2545 2552 2559 2566 2573 2580 2587 2594 2601 2608 2615 2622 2629. er. ‧ 國. 立. 2334 2341 2348 2355 2362 2369 2376 2383 2390 2397 2404 2411 2418 2425 2432 2439 2446 2453 2460 2467 2474 2481 2488 2495 2502 2509 2516 2523 2530 2537 2544 2551 2558 2565 2572 2579 2586 2593 2600 2607 2614 2621 2628. ‧. 2333 2340 2347 2354 2361 2368 2375 2382 2389 2396 2403 2410 2417 2424 2431 2438 2445 2452 2459 2466 2473 2480 2487 2494 2501 2508 2515 2522 2529 2536 2543 2550 2557 2564 2571 2578 2585 2592 2599 2606 2613 2620 2627. 學. 2332 2339 2346 2353 2360 2367 2374 2381 2388 2395 2402 2409 2416 2423 2430 2437 2444 2451 2458 2465 2472 2479 2486 2493 2500 2507 2514 2521 2528 2535 2542 2549 2556 2563 2570 2577 2584 2591 2598 2605 2612 2619 2626. Nat. 2331 2338 2345 2352 2359 2366 2373 2380 2387 2394 2401 2408 2415 2422 2429 2436 2443 2450 2457 2464 2471 2478 2485 2492 2499 2506 2513 2520 2527 2534 2541 2548 2555 2562 2569 2576 2583 2590 2597 2604 2611 2618 2625. 類別:2331∼2631. v. 摘. 2337 2344 2351 2358 2365 2372 2379 2386 2393 2400 2407 2414 2421 2428 2435 2442 2449 2456 2463 2470 2477 2484 2491 2498 2505 2512 2519 2526 2533 2540 2547 2554 2561 2568 2575 2582 2589 2596 2603 2610 2617 2624 2631.
(71) 表 0.10. 2635 2642 2649 2656 2663 2670 2677 2684 2691 2698 2705 2712 2719 2726 2733 2740 2747 2754 2761 2768 2775 2782 2789 2796 2803 2810 2817 2824 2831 2838 2845 2852 2859 2866 2873 2880 2887 2894 2901 2908 2915 2922 2929. 2636 2643 2650 2657 2664 2671 2678 2685 2692 2699 2706 2713 2720 2727 2734 2741 2748 2755 2762 2769 2776 2783 2790 2797 2804 2811 2818 2825 2832 2839 2846 2853 2860 2867 2874 2881 2888 2895 2902 2909 2916 2923 2930. 政 治 大. engchi. 58. y. sit. er. n. Ch. 架. i n U. 2637 2644 2651 2658 2665 2672 2679 2686 2693 2700 2707 2714 2721 2728 2735 2742 2749 2756 2763 2770 2777 2784 2791 2798 2805 2812 2819 2826 2833 2840 2847 2854 2861 2868 2875 2882 2889 2896 2903 2910 2917 2924 2931. ‧. io. al. Z. 類別:2632∼2932. 學. 2634 2641 2648 2655 2662 2669 2676 2683 2690 2697 2704 2711 2718 2725 2732 2739 2746 2753 2760 2767 2774 2781 2788 2795 2802 2809 2816 2823 2830 2837 2844 2851 2858 2865 2872 2879 2886 2893 2900 2907 2914 2921 2928. 立. ‧ 國. \. 2633 2640 2647 2654 2661 2668 2675 2682 2689 2696 2703 2710 2717 2724 2731 2738 2745 2752 2759 2766 2773 2780 2787 2794 2801 2808 2815 2822 2829 2836 2843 2850 2857 2864 2871 2878 2885 2892 2899 2906 2913 2920 2927. Nat. 2632 2639 2646 2653 2660 2667 2674 2681 2688 2695 2702 2709 2716 2723 2730 2737 2744 2751 2758 2765 2772 2779 2786 2793 2800 2807 2814 2821 2828 2835 2842 2849 2856 2863 2870 2877 2884 2891 2898 2905 2912 2919 2926. ⽂. v. 2638 2645 2652 2659 2666 2673 2680 2687 2694 2701 2708 2715 2722 2729 2736 2743 2750 2757 2764 2771 2778 2785 2792 2799 2806 2813 2820 2827 2834 2841 2848 2855 2862 2869 2876 2883 2890 2897 2904 2911 2918 2925 2932.
(72) 表 0.11 ⽂. 政 治 大. n. Ch. engchi. 59. i n U. 2938 2945 2952 2959 2966 2973 2980 2987 2994 3001 3008 3015 3022 3029 3036 3043 3050 3057 3064 3071 3078 3085 3092 3099 3106 3113 3120 3127 3134 3141 3148 3155 3162 3169 3176 3183 3190 3197 3204 3211 3218 3225 3232. y. sit. io. al. 2937 2944 2951 2958 2965 2972 2979 2986 2993 3000 3007 3014 3021 3028 3035 3042 3049 3056 3063 3070 3077 3084 3091 3098 3105 3112 3119 3126 3133 3140 3147 3154 3161 3168 3175 3182 3189 3196 3203 3210 3217 3224 3231. ‧. ‧ 國. 立. _. 2936 2943 2950 2957 2964 2971 2978 2985 2992 2999 3006 3013 3020 3027 3034 3041 3048 3055 3062 3069 3076 3083 3090 3097 3104 3111 3118 3125 3132 3139 3146 3153 3160 3167 3174 3181 3188 3195 3202 3209 3216 3223 3230. er. +. 2935 2942 2949 2956 2963 2970 2977 2984 2991 2998 3005 3012 3019 3026 3033 3040 3047 3054 3061 3068 3075 3082 3089 3096 3103 3110 3117 3124 3131 3138 3145 3152 3159 3166 3173 3180 3187 3194 3201 3208 3215 3222 3229. 學. 2934 2941 2948 2955 2962 2969 2976 2983 2990 2997 3004 3011 3018 3025 3032 3039 3046 3053 3060 3067 3074 3081 3088 3095 3102 3109 3116 3123 3130 3137 3144 3151 3158 3165 3172 3179 3186 3193 3200 3207 3214 3221 3228. Nat. 2933 2940 2947 2954 2961 2968 2975 2982 2989 2996 3003 3010 3017 3024 3031 3038 3045 3052 3059 3066 3073 3080 3087 3094 3101 3108 3115 3122 3129 3136 3143 3150 3157 3164 3171 3178 3185 3192 3199 3206 3213 3220 3227. 類別:2933∼3233. v. 2939 2946 2953 2960 2967 2974 2981 2988 2995 3002 3009 3016 3023 3030 3037 3044 3051 3058 3065 3072 3079 3086 3093 3100 3107 3114 3121 3128 3135 3142 3149 3156 3163 3170 3177 3184 3191 3198 3205 3212 3219 3226 3233.
(73) 表 0.12. 政 治 大. n. Ch. engchi. 60. i n U. 3239 3246 3253 3260 3267 3274 3281 3288 3295 3302 3309 3316 3323 3330 3337 3344 3351 3358 3365 3372 3379 3386 3393 3400 3407 3414 3421 3428 3435 3442 3449 3456 3463 3470 3477 3484 3491 3498 3505 3512 3519 3526 3533. y. sit. io. al. 3238 3245 3252 3259 3266 3273 3280 3287 3294 3301 3308 3315 3322 3329 3336 3343 3350 3357 3364 3371 3378 3385 3392 3399 3406 3413 3420 3427 3434 3441 3448 3455 3462 3469 3476 3483 3490 3497 3504 3511 3518 3525 3532. er. ‧ 國. 立. 3237 3244 3251 3258 3265 3272 3279 3286 3293 3300 3307 3314 3321 3328 3335 3342 3349 3356 3363 3370 3377 3384 3391 3398 3405 3412 3419 3426 3433 3440 3447 3454 3461 3468 3475 3482 3489 3496 3503 3510 3517 3524 3531. ‧. 3236 3243 3250 3257 3264 3271 3278 3285 3292 3299 3306 3313 3320 3327 3334 3341 3348 3355 3362 3369 3376 3383 3390 3397 3404 3411 3418 3425 3432 3439 3446 3453 3460 3467 3474 3481 3488 3495 3502 3509 3516 3523 3530. 類別:3234∼3534. 學. 3235 3242 3249 3256 3263 3270 3277 3284 3291 3298 3305 3312 3319 3326 3333 3340 3347 3354 3361 3368 3375 3382 3389 3396 3403 3410 3417 3424 3431 3438 3445 3452 3459 3466 3473 3480 3487 3494 3501 3508 3515 3522 3529. Nat. 3234 3241 3248 3255 3262 3269 3276 3283 3290 3297 3304 3311 3318 3325 3332 3339 3346 3353 3360 3367 3374 3381 3388 3395 3402 3409 3416 3423 3430 3437 3444 3451 3458 3465 3472 3479 3486 3493 3500 3507 3514 3521 3528. ⽂. v. 3240 3247 3254 3261 3268 3275 3282 3289 3296 3303 3310 3317 3324 3331 3338 3345 3352 3359 3366 3373 3380 3387 3394 3401 3408 3415 3422 3429 3436 3443 3450 3457 3464 3471 3478 3485 3492 3499 3506 3513 3520 3527 3534.
(74) 表 0.13. 政 治 大. n. Ch. engchi. 61. i n U. 3540 3547 3554 3561 3568 3575 3582 3589 3596 3603 3610 3617 3624 3631 3638 3645 3652 3659 3666 3673 3680 3687 3694 3701 3708 3715 3722 3729 3736 3743 3750 3757 3764 3771 3778 3785 3792 3799 3806 3813 3820 3827 3834. y. sit. io. al. 3539 3546 3553 3560 3567 3574 3581 3588 3595 3602 3609 3616 3623 3630 3637 3644 3651 3658 3665 3672 3679 3686 3693 3700 3707 3714 3721 3728 3735 3742 3749 3756 3763 3770 3777 3784 3791 3798 3805 3812 3819 3826 3833. er. ‧ 國. 立. 3538 3545 3552 3559 3566 3573 3580 3587 3594 3601 3608 3615 3622 3629 3636 3643 3650 3657 3664 3671 3678 3685 3692 3699 3706 3713 3720 3727 3734 3741 3748 3755 3762 3769 3776 3783 3790 3797 3804 3811 3818 3825 3832. ‧. 3537 3544 3551 3558 3565 3572 3579 3586 3593 3600 3607 3614 3621 3628 3635 3642 3649 3656 3663 3670 3677 3684 3691 3698 3705 3712 3719 3726 3733 3740 3747 3754 3761 3768 3775 3782 3789 3796 3803 3810 3817 3824 3831. 類別:3535∼3835. 學. 3536 3543 3550 3557 3564 3571 3578 3585 3592 3599 3606 3613 3620 3627 3634 3641 3648 3655 3662 3669 3676 3683 3690 3697 3704 3711 3718 3725 3732 3739 3746 3753 3760 3767 3774 3781 3788 3795 3802 3809 3816 3823 3830. Nat. 3535 3542 3549 3556 3563 3570 3577 3584 3591 3598 3605 3612 3619 3626 3633 3640 3647 3654 3661 3668 3675 3682 3689 3696 3703 3710 3717 3724 3731 3738 3745 3752 3759 3766 3773 3780 3787 3794 3801 3808 3815 3822 3829. ⽂. v. 3541 3548 3555 3562 3569 3576 3583 3590 3597 3604 3611 3618 3625 3632 3639 3646 3653 3660 3667 3674 3681 3688 3695 3702 3709 3716 3723 3730 3737 3744 3751 3758 3765 3772 3779 3786 3793 3800 3807 3814 3821 3828 3835.
(75) 表 0.14. 政 治 大. n. Ch. engchi. 62. i n U. 3841 3848 3855 3862 3869 3876 3883 3890 3897 3904 3911 3918 3925 3932 3939 3946 3953 3960 3967 3974 3981 3988 3995 4002 4009 4016 4023 4030 4037 4044 4051 4058 4065 4072 4079 4086 4093 4100 4107 4114 4121 4128 4135. y. sit. io. al. 3840 3847 3854 3861 3868 3875 3882 3889 3896 3903 3910 3917 3924 3931 3938 3945 3952 3959 3966 3973 3980 3987 3994 4001 4008 4015 4022 4029 4036 4043 4050 4057 4064 4071 4078 4085 4092 4099 4106 4113 4120 4127 4134. er. ‧ 國. 立. ˇ. 3839 3846 3853 3860 3867 3874 3881 3888 3895 3902 3909 3916 3923 3930 3937 3944 3951 3958 3965 3972 3979 3986 3993 4000 4007 4014 4021 4028 4035 4042 4049 4056 4063 4070 4077 4084 4091 4098 4105 4112 4119 4126 4133. ‧. 3838 3845 3852 3859 3866 3873 3880 3887 3894 3901 3908 3915 3922 3929 3936 3943 3950 3957 3964 3971 3978 3985 3992 3999 4006 4013 4020 4027 4034 4041 4048 4055 4062 4069 4076 4083 4090 4097 4104 4111 4118 4125 4132. 類別:3836∼4136. 學. 3837 3844 3851 3858 3865 3872 3879 3886 3893 3900 3907 3914 3921 3928 3935 3942 3949 3956 3963 3970 3977 3984 3991 3998 4005 4012 4019 4026 4033 4040 4047 4054 4061 4068 4075 4082 4089 4096 4103 4110 4117 4124 4131. Nat. 3836 3843 3850 3857 3864 3871 3878 3885 3892 3899 3906 3913 3920 3927 3934 3941 3948 3955 3962 3969 3976 3983 3990 3997 4004 4011 4018 4025 4032 4039 4046 4053 4060 4067 4074 4081 4088 4095 4102 4109 4116 4123 4130. ⽂. v. 3842 3849 3856 3863 3870 3877 3884 3891 3898 3905 3912 3919 3926 3933 3940 3947 3954 3961 3968 3975 3982 3989 3996 4003 4010 4017 4024 4031 4038 4045 4052 4059 4066 4073 4080 4087 4094 4101 4108 4115 4122 4129 4136.
(76) 表 0.15. 政 治 大. n. Ch. engchi. 63. i n U. 4142 4149 4156 4163 4170 4177 4184 4191 4198 4205 4212 4219 4226 4233 4240 4247 4254 4261 4268 4275 4282 4289 4296 4303 4310 4317 4324 4331 4338 4345 4352 4359 4366 4373 4380 4387 4394 4401 4408 4415 4422 4429 4436. y. sit. io. al. 4141 4148 4155 4162 4169 4176 4183 4190 4197 4204 4211 4218 4225 4232 4239 4246 4253 4260 4267 4274 4281 4288 4295 4302 4309 4316 4323 4330 4337 4344 4351 4358 4365 4372 4379 4386 4393 4400 4407 4414 4421 4428 4435. er. ‧ 國. 立. 4140 4147 4154 4161 4168 4175 4182 4189 4196 4203 4210 4217 4224 4231 4238 4245 4252 4259 4266 4273 4280 4287 4294 4301 4308 4315 4322 4329 4336 4343 4350 4357 4364 4371 4378 4385 4392 4399 4406 4413 4420 4427 4434. ‧. 4139 4146 4153 4160 4167 4174 4181 4188 4195 4202 4209 4216 4223 4230 4237 4244 4251 4258 4265 4272 4279 4286 4293 4300 4307 4314 4321 4328 4335 4342 4349 4356 4363 4370 4377 4384 4391 4398 4405 4412 4419 4426 4433. 類別:4137∼4437. 學. 4138 4145 4152 4159 4166 4173 4180 4187 4194 4201 4208 4215 4222 4229 4236 4243 4250 4257 4264 4271 4278 4285 4292 4299 4306 4313 4320 4327 4334 4341 4348 4355 4362 4369 4376 4383 4390 4397 4404 4411 4418 4425 4432. Nat. 4137 4144 4151 4158 4165 4172 4179 4186 4193 4200 4207 4214 4221 4228 4235 4242 4249 4256 4263 4270 4277 4284 4291 4298 4305 4312 4319 4326 4333 4340 4347 4354 4361 4368 4375 4382 4389 4396 4403 4410 4417 4424 4431. ⽂. v. 4143 4150 4157 4164 4171 4178 4185 4192 4199 4206 4213 4220 4227 4234 4241 4248 4255 4262 4269 4276 4283 4290 4297 4304 4311 4318 4325 4332 4339 4346 4353 4360 4367 4374 4381 4388 4395 4402 4409 4416 4423 4430 4437. ‘.
(77) 表 0.16. 政 治 大. n. Ch. engchi. 64. i n U. 4443 4450 4457 4464 4471 4478 4485 4492 4499 4506 4513 4520 4527 4534 4541 4548 4555 4562 4569 4576 4583 4590 4597 4604 4611 4618 4625 4632 4639 4646 4653 4660 4667 4674 4681 4688 4695 4702 4709 4716 4723 4730 4737. y. sit. io. al. 4442 4449 4456 4463 4470 4477 4484 4491 4498 4505 4512 4519 4526 4533 4540 4547 4554 4561 4568 4575 4582 4589 4596 4603 4610 4617 4624 4631 4638 4645 4652 4659 4666 4673 4680 4687 4694 4701 4708 4715 4722 4729 4736. er. ‧ 國. 立. 4441 4448 4455 4462 4469 4476 4483 4490 4497 4504 4511 4518 4525 4532 4539 4546 4553 4560 4567 4574 4581 4588 4595 4602 4609 4616 4623 4630 4637 4644 4651 4658 4665 4672 4679 4686 4693 4700 4707 4714 4721 4728 4735. ‧. 4440 4447 4454 4461 4468 4475 4482 4489 4496 4503 4510 4517 4524 4531 4538 4545 4552 4559 4566 4573 4580 4587 4594 4601 4608 4615 4622 4629 4636 4643 4650 4657 4664 4671 4678 4685 4692 4699 4706 4713 4720 4727 4734. 類別:4438∼4738. 學. 4439 4446 4453 4460 4467 4474 4481 4488 4495 4502 4509 4516 4523 4530 4537 4544 4551 4558 4565 4572 4579 4586 4593 4600 4607 4614 4621 4628 4635 4642 4649 4656 4663 4670 4677 4684 4691 4698 4705 4712 4719 4726 4733. Nat. 4438 4445 4452 4459 4466 4473 4480 4487 4494 4501 4508 4515 4522 4529 4536 4543 4550 4557 4564 4571 4578 4585 4592 4599 4606 4613 4620 4627 4634 4641 4648 4655 4662 4669 4676 4683 4690 4697 4704 4711 4718 4725 4732. ⽂. v. 4444 4451 4458 4465 4472 4479 4486 4493 4500 4507 4514 4521 4528 4535 4542 4549 4556 4563 4570 4577 4584 4591 4598 4605 4612 4619 4626 4633 4640 4647 4654 4661 4668 4675 4682 4689 4696 4703 4710 4717 4724 4731 4738.
(78) 表 0.17. 政 治 大. n. Ch. engchi. 65. i n U. 4744 4751 4758 4765 4772 4779 4786 4793 4800 4807 4814 4821 4828 4835 4842 4849 4856 4863 4870 4877 4884 4891 4898 4905 4912 4919 4926 4933 4940 4947 4954 4961 4968 4975 4982 4989 4996 5003 5010 5017 5024 5031 5038. y. sit. io. al. 4743 4750 4757 4764 4771 4778 4785 4792 4799 4806 4813 4820 4827 4834 4841 4848 4855 4862 4869 4876 4883 4890 4897 4904 4911 4918 4925 4932 4939 4946 4953 4960 4967 4974 4981 4988 4995 5002 5009 5016 5023 5030 5037. er. ‧ 國. 立. 4742 4749 4756 4763 4770 4777 4784 4791 4798 4805 4812 4819 4826 4833 4840 4847 4854 4861 4868 4875 4882 4889 4896 4903 4910 4917 4924 4931 4938 4945 4952 4959 4966 4973 4980 4987 4994 5001 5008 5015 5022 5029 5036. ‧. 4741 4748 4755 4762 4769 4776 4783 4790 4797 4804 4811 4818 4825 4832 4839 4846 4853 4860 4867 4874 4881 4888 4895 4902 4909 4916 4923 4930 4937 4944 4951 4958 4965 4972 4979 4986 4993 5000 5007 5014 5021 5028 5035. 類別:4739∼5039. 學. 4740 4747 4754 4761 4768 4775 4782 4789 4796 4803 4810 4817 4824 4831 4838 4845 4852 4859 4866 4873 4880 4887 4894 4901 4908 4915 4922 4929 4936 4943 4950 4957 4964 4971 4978 4985 4992 4999 5006 5013 5020 5027 5034. Nat. 4739 4746 4753 4760 4767 4774 4781 4788 4795 4802 4809 4816 4823 4830 4837 4844 4851 4858 4865 4872 4879 4886 4893 4900 4907 4914 4921 4928 4935 4942 4949 4956 4963 4970 4977 4984 4991 4998 5005 5012 5019 5026 5033. ⽂. v. 4745 4752 4759 4766 4773 4780 4787 4794 4801 4808 4815 4822 4829 4836 4843 4850 4857 4864 4871 4878 4885 4892 4899 4906 4913 4920 4927 4934 4941 4948 4955 4962 4969 4976 4983 4990 4997 5004 5011 5018 5025 5032 5039. ‰.
(79) 政 治 大. Ch. engchi. 66. 5044 5051 5058 5065 5072 5079 5086. i n U. 5045 5052 5059 5066 5073 5080 5087. y. 5043 5050 5057 5064 5071 5078 5085. sit. ‧ 國. n. al. 類別:5040∼5091. ‧. io. 5042 5049 5056 5063 5070 5077 5084. ⽂. 學. ǁ. 5041 5048 5055 5062 5069 5076 5083 5090. Nat. 5040 5047 5054 5061 5068 5075 5082 5089. 表 0.18. er. 立. v. 5046 5053 5060 5067 5074 5081 5088.
(80)
相關文件
Wang, Solving pseudomonotone variational inequalities and pseudocon- vex optimization problems using the projection neural network, IEEE Transactions on Neural Networks 17
Wang (2006), Solving pseudomonotone variational inequalities and pseudoconvex optimization problems using the projection neural network, IEEE Trans- actions on Neural Networks,
For example, Ko, Chen and Yang [22] proposed two kinds of neural networks with different SOCCP functions for solving the second-order cone program; Sun, Chen and Ko [29] gave two
Wang, A recurrent neural network for solving nonlinear convex programs subject to linear constraints, IEEE Transactions on Neural Networks, vol..
In this paper, we build a new class of neural networks based on the smoothing method for NCP introduced by Haddou and Maheux [18] using some family F of smoothing functions.
SG is simple and effective, but sometimes not robust (e.g., selecting the learning rate may be difficult) Is it possible to consider other methods.. In this work, we investigate
{ Title: Using neural networks to forecast the systematic risk..
Ongoing Projects in Image/Video Analytics with Deep Convolutional Neural Networks. § Goal – Devise effective and efficient learning methods for scalable visual analytic
