實驗結果與討論

本研究對近照以及混合近照及遠景照片分別進行建模，每個模型均隨機 抽選80%資料作為訓練集，剩餘資料作為測試集，以訓練集訓練模型直到模 型誤差率(Average Loss)持續 3000 代變動小於 0.02 時，即得到本組模型。輸 入之照片將被分類為制水閥或是消防栓。

表 4-1 混淆矩陣範例

本研究將會將結果呈現如表 4-1 一般之混淆矩陣形式。TP 為 True Positive，表示預測結果正確；FP 表示 False Positive 表示預測結果錯誤；TN 表示True Negative，表示沒有從沒有物體的地方辨識出結果；FN 表示 False Negative，表示應辨識出而未辨識出結果。由於近照和遠景照中，並沒有不 含目標的照片，所以在近照和遠景照分類結果中，不會有TN 的類別產生。

最後在本實驗中，由於實際外業中常會出現閥栓與門牌照片錯置的狀況，因 此還會測試將門牌照輸入閥栓辨識模型以及將閥栓輸入門牌辨識模型等兩 個項目 ，確 認是 否 符合實 際上 作業 之 需求。 而一 般目 標 檢測模 型會 以 Precision (精確率)以及 Recall (召回率)作為判斷模型效率的依據，本研究也 將會以此兩指標作為模型效率判斷。

Precision = ^𝑇𝑃

𝑇𝑃+𝐹𝑃 (4.1)

Recall = ^𝑇𝑃

𝑇𝑃+𝐹𝑁 (4.2)

辨識為制水閥 辨識為消防栓 辨識為無目標

實際為制水閥 TP FP FN

實際為消防栓 FP TP FN

實際上無目標 FP FP TN

式4.1 及式 4.2 分別為 Precision 和 Recall 的計算公式。Precision 表示模 型對目標的判定精確度，也就是所辨認出來的目標中正確率有多少；Recall 表示模型對目標的召回率，也就是在全部的目標中，模型可以辨認出多少目 標來。

 訓練集使用制水閥與地下式消防栓近照

首先，本研究僅使用了制水閥與地下式消防栓近照來進行訓練。TP 為 514，FN 為 6，FP 為 4，其中並沒有出現制水閥被錯認為消防栓或者式 消防栓被錯認為制水閥的狀況。Precision 為 99.23%，Recall 為 98.84%。

表 4-2 近照模型結果

為了模擬第 1.2 節中所提到實際上作業可能會遇到之照片錯置狀況，將 測試將門牌與街牌照片輸入閥栓辨識模型。結果如表4-3 所示。本辨識模型 僅在兩張照片上誤判出地下式消防栓。值得注意的是地下式消防栓的誤檢出 也不是來自於門牌街牌，而是門牌與街牌旁的背景。如圖4-2 所示。

表 4-3 近照辨識模型模擬照片錯置測試結果

辨識為制水閥 辨識為消防栓 辨識為無目標

實際為制水閥 309 0 5

實際為消防栓 0 205 1

實際上無目標 4 0 0

辨識為制水閥 辨識為消防栓 辨識為無目標

實際為門牌 0 0 140

實際為街牌 0 0 99

實際上無目標 0 2 0

圖 4-2 辨識錯誤實際圖像

由於近照辨識模型準確率以及召回率都有著相當高的數值，因此本實驗 嘗試使用了近照辨識模型嘗試辨識遠景照，但是結果發現近照辨識模型無法 辨識遠景照。經由本實驗結果，可認為近照辨識模型無法辨識遠景照，因此 下一個模型訓練同時使用了近照以及遠景照進行訓練。

表 4-4 使用近照辨識模型辨識遠景照結果

辨識為制水閥 辨識為消防栓 辨識為無目標

實際為制水閥 0 0 250

實際為消防栓 0 0 107

實際上無目標 0 0 0

 訓練集同時使用地下式消防栓與制水閥之近照與遠景照

TP 為 584，FN 為 15，FP 為 27，Precision 為 95.58%，Recall 為 97.5%。實際上結果相較於僅使用近照所建立的模型較差。究其原因主 要是來自於遠照中目標物相較全圖而言小了許多，辨識不易。以及容易 因為過小之光影變化產生誤判。

表 4-5 同時使用近照及遠景照訓練模型結果

同樣測試將門牌與街牌照片輸入本次實驗建立之閥栓辨識模型，結 果顯示本辨識模型檢出了四個目標，其中三個為地下式消防栓，一個為 制水閥。而有一張照片是同時誤檢出一個制水閥與地下式消防栓，因此 實際上誤判之照片數量為三張。與前一模型測試結果相同，地下式消防 栓的誤檢出也不是來自於門牌街牌，而是門牌與街牌旁的背景。

表 4-6 近照及遠景照模型模擬照片錯置測試結果

辨識為制水閥 辨識為消防栓 辨識為無目標

實際為制水閥 326 0 13

實際為消防栓 0 258 2

實際上無目標 18 7 0

辨識為閥 辨識為栓 辨識為無目標

實際為門牌 0 0 140

實際為街牌 0 0 99

實際上無目標 1 3 0

由於實際上準確率相較近照模型略差，因此在參考先人作法後，決 定在訓練集中加入負面訓練資料集。所謂負面訓練資料集是指不含有任 何目標的照片，本次實驗所訓練的閥栓辨識中，所使用的負面訓練資料 集為作業人員所拍攝到一般不含有閥栓或是門牌的街景照片。

 訓練集同時使用地下式消防栓與制水閥近照和遠照再加上負面訓練資 料集

TP 為 489，FN 為 110，FP 為 12。Precision 為 97.6%，Recall 為 81.63%。在同時使用近照以及遠照的狀況下，再加上負面訓練資料集進 行訓練，原先預期加上負面訓練資料後可以提升抗異常輸入之能力。但 在本次實驗結果中顯示，False Negative 的比例大幅上升。經過查看成果 後，推測是由於加入了負面訓練資料，大幅提升了判定門檻，因此造成 Recall 降低。

表 4-7 近遠照混和加上負面訓練資料集分類結果

辨識為制水閥 辨識為消防栓 辨識為無目標

實際為制水閥 271 0 68

實際為消防栓 0 218 42

實際上無目標 10 2 0

 訓練集使用門牌與街牌照片

TP 為 214，FN 為 15，FP 為 9。Precision 為 95.96%，Recall 為 93.45%。

門牌與街牌的標籤，依照先前實驗結果，若加入負面訓練資料集會提升 判定門檻。而實際上作業時，門牌與街牌需要能清晰辨識其上文字才算 做合格的照片，因此門牌與街牌標籤將會採取比較嚴格的標準，若門牌 與街牌之照片不夠清晰，則此一門牌與閥栓並不會被標籤出來而是做為 負面訓練資料集加入訓練，如圖4-3 所示。結果的部分，有出現單一張 將街牌辨識為門牌的情況，但此一個案是將街牌同時辨識為門牌與街牌。

出現False Positive 的情況來自某些照片中的廣告牌以及或是社區牌等此 類的物體會造成辨認錯誤。

表 4-8 門牌與街牌分類結果

圖 4-3 不合格的門牌照片實例

辨識為門牌 辨識為街牌 辨識為無目標

實際為門牌 135 0 5

實際為街牌 1 84 14

實際上無目標 10 8 10

 將閥栓照片輸入門牌與街牌辨識模型

表4-11 為測試非相關照片之結果，非相關照片是採用了訓練中所使 用之負面訓練資料集，照片內容為一般之街景照片，其中不包含門牌街 牌以及閥栓之照片。用來測試之照片總數為478 張，誤檢出為門牌兩張，

街牌七張，其中並沒有不夠清晰之街牌或門牌。誤判的結果與將閥栓照 片輸入門牌街牌辨識模型此一測試之結果相似，皆是來自一部份廣告牌 等。在較大範圍之綠色背景等較為容易產生誤判。

表 4-11 門牌街牌辨識模型測試非相關照片結果

辨識為門牌 辨識為街牌 辨識為無目標

實際上無目標 2 7 469

在經過上面實驗與測試後，本研究認為此次系統先以單獨使用近照的辨 識模型作為本次研究之目標，因此在此一模型的基礎之上，再追加了後續的 地上式消防栓的照片。

 訓練集使用制水閥、地下式與地上式消防栓近照

在後續追加上了地上式消防栓的種類，並進行訓練。TP 為 682，FP 為11，FN 為 15。Precision 為 98.41%，Recall 為 97.85%。在追加上了地 上式消防栓後，跟原本單以制水閥與地下式消防栓近照進行訓練相比，

Percision 從 99.23%降至 98.41%，Recall 從 98.84%降至 97.85%。雖然降 幅微小，但實際上在加入了地上式消防栓後，有略為影響到原本對制水

 訓練集使用制水閥、地下式與地上式消防栓近照以及門牌與街牌 照片

在閥栓巡檢系統實驗的最後，為了希望單以一個模型進行辨識用以 節省系統辨識時間，將會嘗試將所有的種類皆加入訓練。TP 為 896，FP 為 64，FN 為 32；Precision 為 93.33%，Recall 為 96.55%。在本次實驗 結果中，發現到地下式消防栓被判為制水閥的狀況增加。實際確認照片 成果發現，此一情況發生時皆為多重判定，也就是同一個目標同時被判 為地下式消防栓與制水閥。為了抑制這種情況，在最後一個模型中，本 研究選擇再多增加一個類別置信度的門檻值。此一門檻值原先預設為 0.25，此一門檻也是為原論文作者中所使用之門檻值。在本研究中，True Positive 的類別置信度平均為 88.64%，考慮到類別置信度高低不一之問 題，最終使用了75%作為類別置信度門檻。修改過門檻值後，TP 變成了 880，FP 為 30，FN 為 48；Precision 為 96.70%，Recall 為 94.83%。在犧 牲掉了1.72%的 Recall 後，Precision 提升了 3.37%。以數量上而言，False Positive 的數量減少了一半以上。表 4-13 及表 4-14 為使用 25%以及 75%

作為門檻值之混淆矩陣。

表 4-13 使用所有種類照片訓練，門檻值為 25%結果

表 4-14 使用所有種類照片訓練，門檻值為 75%結果