第四章 研究過程與結果分析
4.3 成果分析以及探討
pre-trained model 於最後 Fine tune faster_rcnn_inception_resnet_v2_atrous model 的 mAP 0.862 來看，是可以適用於衛星影像船體或是俯視圖的船
‧
GAN(Generative Adversarial Network) [27]的方式來生成圖片，因為我們 認為衛照影像之特性是有變化邏輯性可循的，例如角度，翻轉、投影變‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4.19 各軍艦類型差異太大示意
4. 加入別的國家的艦船判斷是可行的
本研究之資料集主要是蒐集本國以及中國大陸的船體為主，但我們想嘗 試如果是國外的船體測試是否可行，我們在測試的資料集中特別加入了 日本的部分港口之民船圖片，答案是可行的，民船大部分還是可以被偵 測且框選出來，所以本研究最後優化之模組達成的民船 mAP 0.902 其實 納入了幾張日本港口(包含了橫須賀港、青森港、橫濱港、東京港、大 阪港、北九州港、千葉港共 40 艘民船資料），至於軍艦的部分因為標 註人員對於日本軍艦較不熟稔，所以我們只在測試集中加入幾張日本的 港口民船測試(如圖 4.20 所示)，其結果是針對民船之船體，就算為不同 國籍之民船也是可以透過本研究所訓練的模組進行偵測，但有一點值得 我們所關注的，就是對於日本民船誤判為軍艦的機率相對於我國以及中 國大陸的機率還要高，我們推測應該是有些日籍的民間船的形體比較類 似我們軍艦，而導致這樣的結果發生。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4.20 千葉港民船偵測示意圖
5. 橋、港口停靠之卸貨機器會影響到船體的偵測。
我們的研究發現船體上方如果有物體遮蔽例如卸貨的機器，或是橋等會 把船切分成好幾個部分的狀況，透過模組偵測會影響相關的判斷(如圖 4.21 所示)，如果船體比較大，上方所遮蔽的物體相對比較小且剛好又 切割船體，那麼所偵測出來的結果是會被誤認為多個小船，船體上方的 物體遮蔽的範圍較廣，船體只有一部分的話就無法被偵測出來，如果是 船剛好經過橋的狀況也會發生類似的情事。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4.21 船體被卸貨機器切分的示意圖
不過在資料的前處理中我們有提到，我們不用這樣的訓練集訓練，是怕 這些船體不完整的樣本反而會影響到完整的船體，我們認為這樣反而會 因小失大。
6. SSD 的模組較不適用於衛星影像船艦判斷。
最後的模組比較中，我們選擇了幾個 faster_rcnn 的模組以及一個 SSD 的模組，主要的用意就是要用來比較 One Stage 以及 Two Stage 哪 種類型的演算法比較適合於衛星影像中的船體偵測，於比較時有提到 SSD 針對小物體的偵測較差，另本研究發現，因為船於港口停靠時，會 有很多船體會靠得很近，所以在 SSD 這方面的表現就不如 faster_rcnn 好(民船如圖 4.22 所示，軍艦如 4.23 所示)。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4.22 左為 faster_rcnn_inception_resnet_v2_atrous 所判斷之民船，圖右 為 ssd_mobilenet_v2 判斷之圖
圖 4.23 左為 faster_rcnn_inception_resnet_v2_atrous 所判斷之軍艦，圖右 為 ssd_mobilenet_v2 判斷之圖
7. 不同尺度的預測
本研究對於衛星影像中對於不同尺度的船體都有加入資料訓練集中，所 以本研究最後 fine tuned 之 faster_rcnn_inception_resnet_v2_atrous 模組可
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
以針對不同的尺度(約略 20 x 15 pixel ~1000 x 500 pixel)之船體都能偵測 (如圖 4.24 所示)。
圖 4.24 不同尺度的船體偵測示意
‧
用別人 pre-trained 之物體偵測模組為基礎，經過模組的重新訓練以及調校，可以 得到 mAP 0.862 之判斷成效，其偵測之成效已經遠遠高於原先工作中所接觸之利‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
與無人飛機拍攝或是錄影之影像整合，除了可以協助戰略應用外，於需 要時更可以針對特定之設施進行監控或是破壞。
5. 資料增益方式
本研究有提及利用資料增益之方式來增進模組之準確率，但對於部分衛 照圖未能擷取到之軍艦，未來可規劃利用軍艦之 CGI(computer generated imagery)或是 3D 模組作為訓練資料集，藉以提高部分無法取得或是資 料較少的軍艦判斷率。
‧
[1] ImageNet Large Scale Visual Recognition Challenge form http://www.image-net.org/challenges/LSVRC/
[2] Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems. 2012.
[3] The PASCAL Visual Object Classes form ttp://host.robots.ox.ac.uk/pascal/VOC/
[4] ImageNet data set from http://image-net.org/
[5] Cocodataset form http://cocodataset.org/#home
[6] Ren, Shaoqing, et al. "Faster r-cnn: Towards real-time object detection with region proposal networks." Advances in neural information processing systems.
2015.
[7] He, Kaiming, et al. "Mask r-cnn." Computer Vision (ICCV), 2017 IEEE International Conference on. IEEE, 2017.
[8] Liu, Wei, et al. "Ssd: Single shot multibox detector." European conference on computer vision. Springer, Cham, 2016.
[9] Redmon, Joseph, et al. "You only look once: Unified, real-time object detection."
Proceedings of the IEEE conference on computer vision and pattern recognition.
2016.
[10] Lin, Tsung-Yi, et al. "Focal loss for dense object detection." arXiv preprint arXiv:1708.02002 (2017).
[11] Girshick, Ross. "Fast r-cnn." arXiv preprint arXiv:1504.08083 (2015).
‧
network." Int. J. Comput. Autom. Control Inf. Eng 10 (2016): 1055-1059.[15] Albert, Adrian, Jasleen Kaur, and Marta C. Gonzalez. "Using convolutional networks and satellite imagery to identify patterns in urban environments at a large scale." Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM, 2017.
[16] Van Etten, Adam. "You Only Look Twice: Rapid Multi-Scale Object Detection In Satellite Imagery." arXiv preprint arXiv:1805.09512 (2018).
[17] You Only Look Twice — Multi-Scale Object Detection in Satellite Imagery With Convolutional Neural Networks from
https://medium.com/the-downlinq/you-only-look-twice-multi-scale-object-detect ion-in-satellite-imagery-with-convolutional-neural-38dad1cf7571
[18] Google Earth from https://earth.google.com/web/
[19] arcgis-earth from http://www.esri.com/software/arcgis-earth [20] ESRI from https://www.esri.com/en-us/home
[21] labelImg from https://github.com/tzutalin/labelImg [22] Tensorflow from https://www.tensorflow.org/
[23] Keras from https://github.com/keras-team/keras
[24] Pan, Sinno Jialin, and Qiang Yang. "A survey on transfer learning." IEEE Transactions on knowledge and data engineering 22.10 (2010): 1345-1359.
[25] Huang, Jonathan, et al. "Speed/accuracy trade-offs for modern convolutional
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
segmentation." arXiv preprint arXiv:1706.05587 (2017).
[27] Goodfellow, Ian, et al. "Generative adversarial nets." Advances in neural information processing systems. 2014.