道路破損檢測

4.2.1 實驗流程

道路破損檢測的部分，由於一開始的資料不足，但希望能先評估以類神 經網路進行模型建構可能的成效，因此先採用了新北市政府網站上所提供之 照片作為訓練資料集。數量上總數為3314 張照片。而根據文獻[23]上之實驗 數據，可以預想到使用類神經網路對整張照片進行預測其結果並沒有辦法達 到如同閥栓辨識之效果。

分類以 2.2.2 節之中表 2-1 為基準，在將紅黃線與白線破損等以顏色為 基準區分開來。由於種類過多，若將種類名稱直接置於表格中將會造成判讀 困難，因此以下將種類以縮寫表示。

表 4-15 道路破損種類縮寫對應表

WL White line damaged

P Potholes

RL Red line damaged

CD Crosswalk damaged

YD Yellow line damaged

BC Block crack

TC Transverse crack

AC Alligator crack

LC Longitudinal liner crack

而在本實驗中，由於使用了YOLOv3 的網路架構，原本的實驗設備不足 以運行此一網路架構，因此使用了另外一套設備：GPU 為 NVDIA GTX1080Ti 11G、CPU 為 AMD Ryzen5 1600、RAM 配置為 16G。而道路破損部分有分 為縱向裂紋和橫向裂紋，因此實驗將不採用隨機旋轉照片進行網路訓練。圖 4-4 是訓練流程圖。

圖 4-4 道路破損模型訓練流程圖

4.2.2 實驗結果與討論

 使用 YOLOv3-tiny 網路

最早依循著先前閥栓巡檢系統的經驗，希望使用YOLOv3-tiny 的網 路即可完成模型訓練，並獲得較高之精準度，因此先以此一神經網路進 行了神經網路的訓練。TP 為 285，FP 為 245，FN 為 1073。Precision 為 53.77%，Recall 為 20.99%。

表 4-16 YOLOv3-tiny 模型訓練結果

WL P RL CD YL BC TC AC LC None

WL 43 0 0 0 0 0 0 0 0 208

P 0 72 0 0 0 0 0 3 0 161

RL 0 0 7 0 3 0 0 0 0 104

CD 0 0 0 0 0 0 0 0 0 4

YL 0 0 0 0 32 0 0 0 0 243

BC 0 0 0 0 0 0 0 0 0 0

TC 0 0 0 0 0 0 0 0 0 3

AC 0 0 0 0 1 0 0 131 1 331

LC 0 0 0 0 0 0 0 0 0 19

None 73 10 12 0 69 0 0 73 0 x

 使用 YOLOv3 網路

根據上一個實驗結果，可以發現到YOLOv3-tiny 在道路破損偵測這 方面表現十分不好，因此再來使用了YOLOv3 網路進行訓練，期望較大 型的類神經網路架構可以獲得較好的成果。TP 為 377，FP 為 344，FN 為960。Precision 為 52.29%，Recall 為 28.20%。就實驗結果而言，雖然 在Precision 從 53.77%微幅降至 52.29%，但 Recall 從 20.99%大幅提升至 28.20%。由此一結果本研究道路破損的部份決定採用 YOLOv3 作為網 路架構。

表 4-17 YOLOv3 模型訓練結果

WL P RL CD YL BC TC AC LC None

WL 73 0 0 0 0 0 0 0 0 178

P 0 113 0 0 0 0 0 3 0 120

RL 0 1 11 0 4 0 0 0 0 98

CD 1 1 0 0 0 0 0 0 0 2

YL 0 0 0 0 54 0 0 0 0 221

BC 0 0 0 0 0 0 0 0 0 0

TC 0 0 0 0 0 0 0 0 0 3

AC 0 0 0 0 1 0 0 143 1 319

LC 0 0 0 0 0 0 0 0 0 19

None 104 12 15 0 72 0 0 111 0 x

 使用 YOLOv3 網路，追加上街景車照片

取得街景車照片後追加進訓練資料。相較於新北市政府網站上之照 片，其照片大小固定為4000*6000 pixel，照片解析度極高，由於照片解 析度過高會造成進行訓練用之電腦負荷不了，因此需先將照片進行縮放 至2000*3000 pixel。TP 為 1486，FP 為 1341，FN 為 5507。Precision 為 52.56%，Recall 為 21.25%。

表 4-18 使用新北市政府網站照片加上街景車照片訓練結果

WL P RL CD YL BC TC AC LC None

WL 110 0 0 0 0 0 0 3 0 997

P 1 627 0 0 0 0 0 1 0 263

RL 0 0 3 0 1 0 0 0 0 87

CD 1 0 0 0 0 0 0 0 0 3

YL 1 0 2 0 72 0 0 0 0 715

BC 0 0 0 0 0 0 0 0 0 0

TC 0 0 0 0 0 0 21 0 1 434

AC 0 1 0 0 0 0 5 658 8 2165

LC 0 2 0 0 0 0 0 2 44 843

None 247 166 12 0 183 0 44 495 119 x

 使用 YOLOv3 網路，使用分割辨識，資料集重設

在使用街景車照片之前提下，檢查結果照片發現相較於整張街景車 照片，較小目標(約 50x50 pixel 以下)幾乎無法辨識，因此本研究預計採 用一簡單之分割方法，將畫面分為四等分以及九等分。如圖4-5 所示。

圖 4-5 分割示意圖

包含原本圖像，共進行十四次辨識。之所以同時使用四等分與九等 分，是為了避免在分割時發生目標物被切割開來之狀況。在分類結果部 分，四等分與九等分所辨識出來的區域會先分別計算每個類別中目標框 與目標框之間的 IOU。當 IOU 大於 80%時，則會捨棄兩目標框中 Objectness 較低之目標框，用以避免重複判定之情況。並且考量到資料 集數量中，Block Crack 數量較少，決定在本次實驗中移除此項。Tranverse Crack 和 Longitudinal Liner Crack 此二項數量也較少，一為縱向一為橫 向，將此併為一項 Liner Crack。最後是 Crosswalk Damage 併至 White Line Damage 中，並將 Red Line Damage 跟 Yellow Line Damage 一同併 至White Line Damage，重新定義為 Line Damage。最後標籤內容剩下四 項Potholes、Alligator Crack、Line Damage、Liner Crack。TP 為 644，FP 為540，FN 為 1646。Precision 為 54.39%，Recall 為 28.12%。

表 4-19 使用分割辨識結果

 使用 YOLOv3 網路，限縮照片區域

本研究檢查上一實驗所產生之結果照片，發現較小目標物被檢測出 來，但是來自於其他種類的誤判，如電線桿上之電線，或者是樹枝影子 等等，數量也提升許多。為了抑制此一類誤判，因此使用了限縮街景車 照片區域之作法，如圖 4-1 所示，將範圍限縮於照片 1/4 的區域，此一 區域基本上僅含有道路區塊，且不含有街景車以及天空等不需要之資訊。

TP 為 694，FP 為 389，FN 為 1603。Precision 為 64.08%，Recall 為 30.21%。

圖 4-6 照片區域變更示意圖

P AC LD LC NONE

P 294 0 0 2 568

AC 0 237 0 0 387

LD 1 0 36 2 93

LC 7 0 3 77 598

NONE 186 291 15 33 x

表 4-20 限縮照片區域進行訓練結果

實驗結果整體上而言表現較差，本研究推測出幾種可能會造成此一結果 的原因：

(1) 標籤條件不一：由於本次研究，道路破損辨識的部分是與日陞空間資 訊合作，標籤的部分是由日陞空間資訊負責，同時請了好幾個人進行 標籤，標籤的定義不一。類似的龜裂標籤狀況分成了兩種，一種是標 了整塊，一種是分成了好幾塊。

(2) 計算方式與現實狀況不符：計算預測是否為實際標籤的時候，使用的 計算是預測與實際標籤的 IOU 大於 80%，但由於第一項所提到的問 題，造成預測可能只判斷了某一小塊，而標籤是一大塊，IOU 低於 80%，

因此將此一預測判定為FP 或 FN。

P AC LD LC NONE

P 328 0 0 2 534

AC 0 233 0 0 391

LD 0 0 42 1 90

LC 3 0 3 91 588

NONE 144 191 14 31 x