研究方法

為了提升農作物航空影像的判釋準確率，研 究採用兩種深度學習影像辨識技術及傳統透過 作物特性的機器學習方法，進行火龍果及荔枝航 照影像判釋。第一是透過深度學習影像分類方法，

第二是使用深度學習影像分割方法，第三則是藉 由作物的紋理、形狀大小、色彩分布及 11 種植 物植生指標特徵搭配隨機森林 (Breiman, 2001) 分類器分類。

3.1 基本架構說明

圖 4 為基礎的 CNN 架構模式示意圖，用以 說明以影像分類判釋法進行火龍果、荔枝及其他 作 物 影 像 判 釋 架 構 。 以 不 同 層 數 的 卷 積 層 (Convolution Layer)、池化層 (Pooling Layer) 及 全連接層 (Fully Connected layer) 的組合，建構 多層不同大小的網路進行影像訓練。這些網路模 型，請參考引用文獻。首先將原始影像依地籍大 小切分當作訓練、測試及驗證樣本，再透過 CNN

深度學習架構的七種演算法 (2D-CNN、AlexNet、

VGG16、ResNet50、Inception-v1、Inception-v3、

InceptionResNet-v2) 進行訓練和判釋。透過多層 的卷積層、池化層網路連接全連接層進行分類，

最後輸出各類別作物的判釋機率值。

圖 5 則是說明影像分割判釋方法的基本架構，

首先，先將原始影像依照固定大小 (1024×1024) 分割成數張圖像，作為輸入訓練、測試及驗證樣 本，提供給深度學習影像分割演算法 FCN 和 Mask R-CNN 使用。此類模型再依據作物的地籍 範圍分割訓練物件，進行物件標註 (Labeling / Annotation)。將標註後產出的訓練物件 (json 格 式)，進行模型訓練，最後在目標航照圖上，找出 類似目標作物的位置。

最後的作物特性判釋方法(圖 6)，則是預先提 取作物特徵的判釋分類方法，利用作物的紋理、

大小形狀、色彩及 11 項植生指標向量空間建構 訓練指標，再比較特徵值的重要性，選擇最佳特 徵和特徵組合，提供給隨機森林分類器分類，提 升判釋準確率。

圖 4 農作物航照影像判釋架構示意圖 (影像分類判釋法)

圖 5 農作物航照影像判釋架構示意圖 (影像分割判釋法)

圖 6 農作物航照影像判釋架構示意圖 (作物特性判釋法)

3.2 深度學習 (卷積神經網路 判釋法)

卷 積 神 經 網 路 (Convolutional Neural Network) 在視覺識別上的表現令人稱奇。因為這 些神經網路往往是帶有上百萬參數和許多隱含 層的「龐然怪物」，其訓練深度可以從數層到數 百層之多。像是 AlexNet，VGG，Inception 和 ResNet 等是近幾年所提出的 CNN 網路。影像分 類傳統的作法分成兩個模塊，一個是特徵提取，

另一個則是分類。特徵提取的方式有很多，諸如，

前述中提到的紋理特徵、色彩特徵等。常用的分 類器則有隨機森林 (Random Forest, RF) 和支持 向量機 (Support vector machine, SVM)。這類作法 有一個問題需要被討論，就是特徵提取不能根據 圖像和其標籤進行調整。如果選擇的特徵缺乏一 定的代表性來區分各個類別，模型的準確性就大 打折扣，無論採用什麼樣的分類策略。

透過 CNN 深度學習訓練網路提取特徵的好 處就是可以經由許多參數的訓練來識別圖像的 特徵，再根據標籤數據進行分類。透過反覆性的 參數調整，找出最佳的特徵提取演算法。唯一需 要注意的是訓練過度擬合 (Overfitting) 的問題，

不過這類問題已有許多檢測和防止方法可以預

防。以本研究為例，採用 Early Stopping 方法，在 每一個 Epoch 結束時計算驗證集 (validation data) 的準確率，當準確率不再提高就停止訓練。

本研究透過使用 ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 競賽中幾種具 權威性的 CNN 架構模型作為判釋模型。從模型 規模較小 (層數少) 的 AlexNet 到規模較大 (層 數多) 的 ResNet 和 InceptionResNet。不同的作物 在不同規模的訓練模型下，表現仍有差異。

本研究中使用的七種深度學習方法主要差 別在於訓練深度/層數的不同，其主要架構還是以 Convolution、Max Pooling 去建立 Feature Map 特 徵分類的基礎。最後透過全連接層分類器的激活 函式 (activation function) 算出機率最大的類別，

作為判釋結果。

3.3 預先提取農作物特徵判釋 方法

有別於傳統以人力判釋農作物的方式，本 研究透過統計方法進行農作物航照影像特徵提 取 (分述如下)，包含 11 項植物植被指數 (NDVI、

TVI、IPVI……)、色彩分布 (Color Histogram)、

紋理 (Haralick、Local Binary Pattern) 及形狀大 小 (Hu moments)。最後，再透過隨機森林分類 器進行判釋。

30 航測及遙測學刊 第二十五卷 第一期 民國 109 年 3 月 空間 (RGB、HSV、HSL、YCbCr 、LUV……

等)，並將 Bin 值設高一點，可以得到更多維度 (Local Binary Pattern, LBP) (Ojala et al., 2002) 兩

種方式計算作物的紋理特徵。

Haralick et al. (1973) 從 灰 度 共 生 矩 陣 GLCM (grey-level co-occurrence matrix) 計算影 像紋理在相對位置下像素間的灰階值關係，排

表 2 14 項 Haralick 紋理特徵計算公式

紋理特徵 計算公式 備註

二階度動量

(Angular Second Moment)

(Sum of Squares)

2

4 ( ) ( , | , )

i j

F 



(Inverse Different Moment) (Information Measures of Correlation)

(Maximal Correlation Coefficient)