國立臺灣大學生農學院生物產業機電工程學系 碩士論文
Department of Bio-Industrial Mechatronics Engineering College of Bioresources and Agriculture
National Taiwan University Master Thesis
應用於植物病害偵測之手持式多光譜影像裝置 A Handheld Device for
Plant Disease Detection Using Multispectral Imaging
徐嘉君 Chia-Chun Hsu
指導教授:林達德 博士 Advisor: Ta-Te Lin, Ph.D.
中華民國 105 年 8 月
誌謝
謝謝這兩年在實驗室所學到的知識與經驗,特別感謝我的指導老師 林達德 教授,在論文的方向以及分析的探討上給予我很多的建議跟指導,感謝老師每週開 會時給予分析結果進一步的未來方向。謝謝鍾嘉綾老師很認真的批改論文以及告 知一些植物病害等等的論文寫作方法,謝謝郭彥甫老師在題目上碰到的瓶頸給予 很多建議與指教。
感謝我父母的支持,念研究所讓我覺得非常值得,學習到很多東西,感謝父母 讓我有機會學習,並在我忙碌的時候給予協助與照顧;也謝謝姊姊在我忙碌的時候 會提醒我學校的一些大小雜事,讓我不至於錯過。
實驗方面上,謝謝葉育惠學姊在高光譜影像技術上的指導,以及分析的方法給 予很多建議,也對手持式裝置以及實驗的研究目標跟方向給予很大的幫助,也謝謝 李胡丞跟陳立銘兩位學弟協助幫忙實驗的進行,以及郁文的育苗跟接種。
實驗室的夥伴們,謝謝張家瑋、翁立剛和李榕修三位學長常常在我學習上、研 究上以及各種雜事上指引方向跟鼓勵我別氣餒,也告訴我很多碩二需要注意的事 情,有這些提醒讓我能夠在未來走的更平順。謝謝蔡靜偉總是在硬體上給予我很大 的協助,也謝謝黃揚文總是急著把事情做完,也會連帶的提醒到我跟靜偉,讓我們 兩個會趕快完成需要趕到的進度。特別感謝桂芝從大二以來就不斷的替我們的研 究用品報帳,更感謝桂芝總是願意聽我訴苦跟聊心事,並鼓勵我在實驗不斷失敗時,
繼續加油跟努力。
感謝所有曾經給予我建議跟幫助的所有人,陪我走過研究所這條路。
摘要
近年來,氣候變遷對於農業生產造成重大影響,如何維持農作物的產量儼然為 農業領域上的一大課題。高溫以及降雨的改變使得植物的病害更為嚴重,而提前得 知植物病害的發病狀況有助於避免病害擴散。由高光譜影像技術可以提前偵測到 潛伏期的病徵,進而避免草莓炭疽病的蔓延。為了改善植物病害的辨識效率,本研 究致力於建立一套手持式多光譜影像裝置以檢測植物病害。此裝置使用嵌入式系 統當作系統的控制器,藉由放置於微型攝影機之前的濾鏡,可以擷取到所需要的特 徵波段影像。藉由這些影像的資訊,可以得到不同波段的染病資訊。手持式多光譜 裝置擷取四個波段的影像後,經過白校正影像處理以降低光線不均勻的影響後,藉 由觀察接種炭疽病孢子液後的草莓葉片,由多光譜以及 RGB 影像資訊,可以分析 不同時期的發病狀況。在本研究當中,我們首先以手持式多光譜裝置辨識草莓葉片 的健康期以及病徵期兩種狀態,然後再進一步進行草莓葉片的健康期、潛伏期和病 徵期三種狀態的辨識。在葉片平整的狀況下,本研究利用 SVM 模型在兩類病害分 析上可以到達 90.0%以上的準確率,而在三類病害分析上則可以在健康期、潛伏期 以及染病期上面得到 92.2%、68.6%和 97.9%的準確率。染病草莓葉片以多光譜裝 置取像後可以利用假彩色的方式呈現不同時期的病害症狀,讓使用者簡單且準確 的得知染病植物的狀況,以採取適當防治措施。由於不平整葉片上的陰影會嚴重影 響多光譜影像裝置的病害分析辨識率,因此我們進一步提出一個透過影像組合的 方法來降低陰影所造成辨識率降低的影響。經過觀察多光譜影像彼此之間的關聯 後,建立了四個較具有判別陰影、病徵以及健康區域的組合影像。以新的組合影像 進行 SVM 訓練,健康期的辨識率由 71.3%提高到 95.7%,而病徵期的辨識率由 82.3%提高到 88.9%。
Abstract
In recent years, the climate change has significantly affected the agricultural production. Maintaining the crop production is one of main concerns in agriculture. High temperature and changes of rainfall patterns enhance the spread of plant diseases. Hence it is desirable to seek for early detection of plant disease, and thus to control the spread of plant disease. Hyperspectral imaging has been proved to be an efficient tool for early detection of strawberry Anthracnose. To improve the efficiency of plant disease detection, this research aims to build a handheld multispectral imaging device for strawberry Anthracnose detection. This device uses an embedded system as the controller of the device. By placing filters in front of four miniature cameras, the images of four characteristic wavelengths are acquired. After capturing images using the handheld multispectral imaging device, images are processed to correct the effect of uneven lighting. Then by further processing the multispectral images and incorporating the RGB image of inoculated strawberry leaves, we are able to analyze the status of strawberry leaves at various infection stages. In this research, we first used the multispectral imaging device to classify the healthy and symptomatic areas in strawberry leaves. Then we further attempted to classify the status into three categories: healthy, incubation and symptomatic. SVM model was applied for classification of infection stages. For
classification of healthy and symptomatic status, detection accuracy is above 90%. For classification between healthy, incubation, and symptomatic status, the accuracies are 92.2%, 68.6%, and 97.9%, respectively. The classification result of strawberry Anthracnose infection is further displayed on the handheld device as pseudo-color image so the user can easily observe the plant health condition, and so the disease management can be applied if necessary. Since the detection accuracy can be affected by lighting and shadow due to uneven surface of strawberry leaves. We propose a method to amend the effect of shadow on status classification. Through observations of the original four images and their association, a new set of images derived from the original four images was selected and tested to rectify the shadow effect. Using this new set of derived images and trained with SVM, classification accuracy for healthy status increased from 71.3% to 95.7%
and the classification accuracy for symptomatic status also increased from 82.3% to 88.9%.
Keywords: Multispectral Imaging, Strawberry Anthracnose, Non-destructive Plant
Disease Assessment, Shadow Correction.
目錄
誌謝 ... i
摘要 ... iii
Abstract ... v
圖目錄 ... xi
表目錄 ... xv
第一章 緒論 ... 1
1.1 前言 ... 1
1.2 研究目的 ... 3
第二章 文獻探討 ... 5
2.1 植物病害 ... 5
2.1.1 草莓炭疽病 ... 5
2.2 植物病害檢測方法 ... 6
2.2.1 植物病害檢測方法 ... 6
2.2.2 前處理方法 ... 6
2.2.3 特徵擷取方法 ... 9
2.3 高光譜影像系統 ... 10
2.3.1 高光譜科技 ... 10
2.3.2 高光譜影像技術 ... 10
2.3.3 高光譜影像檢測之應用 ... 11
2.5 分類方法 ... 14
2.5.1 支持向量機 ... 14
第三章 研究設備與方法 ... 17
3.1 實驗材料 ... 17
3.1.1 植物栽培 ... 17
3.1.2 葉片前處理及固定 ... 17
3.1.3 接種處理 ... 19
3.1.4 後續保濕作業 ... 20
3.2 實驗器材 ... 21
3.2.1 拍攝彩色影像裝置 ... 21
3.2.2 多光譜影像儀器使用器材 ... 22
3.2.3 手持式多光譜影像儀器 ... 27
3.2.4 多光譜拍攝裝置使用流程 ... 27
3.3 手持式裝置硬體設計 ... 28
3.3.1 手持式硬體設計 ... 28
3.3.2 燈光電路 ... 32
3.3.3 人機介面軟體設計 ... 33
3.4 多光譜數據處理 ... 35
3.4.1 多光譜資料拍攝流程 ... 36
3.4.2 資料前處理 ... 40
3.4.3 資料對應與去除背景 ... 46
3.4.4 多光譜資料特徵點擷取 ... 48
3.5 多光譜資料分類 ... 50
3.5.1 兩類病害分析 ... 50
3.5.2 三類病害分析 ... 57
3.6 實驗樣本與分析樣本 ... 58
第四章 結果與討論 ... 61
4.1 多光譜軟體數據處理跟分析 ... 61
4.1.1 白校正參考圖校正 ... 61
4.1.2 對位歪曲結果 ... 68
4.1.3 多光譜影像去背 ... 70
4.1.4 多光譜圖片與 RGB 彩色圖對位 ... 73
4.1.5 特徵選點程式 ... 76
4.1.6 病徵點判別 ... 79
4.1.7 建立 SVM 分類模型 ... 80
4.2 二類病況分類效果 ... 83
4.2.1 交叉驗證結果 ... 83
4.2.2 假彩色結果 ... 84
4.3 三類病況分類效果 ... 88
4.3.1 炭疽病潛伏期辨識結果 ... 88
4.3.2 留一驗證 (LOOCV) 結果 ... 91
4.4 陰影處理效果 ... 96
4.4.1 前處理結果之陰影效果比較 ... 96
4.4.2 前處理結果之假彩色效果 ... 98
第五章 結論與建議 ... 103
5.1 結論 ... 103
5.2 建議 ... 105
參考文獻 ... 107
圖目錄
圖 2-1 支持向量機最大邊際差距示意圖 ... 15
圖 3-1 葉片放置方式 ... 18
圖 3-2 固定環尺寸 ... 18
圖 3-3 接種流程圖 ... 20
圖 3-4 拍攝 RGB 裝置圖 ... 21
圖 3-5 Raspberry Pi 2 ... 22
圖 3-6 微型相機 ... 22
圖 3-7 影像擷取卡 ... 22
圖 3-8 手持式監測裝置硬體架構圖 ... 23
圖 3-9 相機擺放與重疊區域示意圖 ... 23
圖 3-10 第一代相機與濾鏡固定架 ... 24
圖 3-11 濾鏡放於固定架上的相對位置關係圖 ... 25
圖 3-12 第二代方便拆卸之相機、濾鏡固定組 ... 25
圖 3-13 第一代系統拍攝架設圖 ... 26
圖 3-14 第二代系統拍攝架設圖 ... 26
圖 3-15 手持式裝置設計圖 ... 27
圖 3-16 多光譜裝置拍攝流程 ... 28
圖 3-17 第一代相機跟濾鏡固定架 ... 29
圖 3-18 相機與濾鏡固定架固定方式 ... 29
圖 3-19 第二代相機固定架 ... 30
圖 3-20 手持式裝置尺寸與配置圖 ... 31
圖 3-21 手持式拍攝實體 ... 31
圖 3-23 電路設計簡圖 ... 32
圖 3-24 時間調整功能 ... 33
圖 3-25 多光譜數據拍攝介面 ... 34
圖 3-26 去背遮罩微調機制介面圖 ... 34
圖 3-27 假彩色程式介面 ... 35
圖 3-28 數據處理流程圖 ... 36
圖 3-29 軟體參考對位流程圖 ... 38
圖 3-30 預備實驗參考圖片拍攝結果 ... 39
圖 3-31 對位用色板 ... 39
圖 3-32 新型實驗拍攝對位圖 ... 40
圖 3-33 白校正用圖片 ... 41
圖 3-34 經過白校正後的樣本圖 ... 42
圖 3-35 濾鏡下所拍攝到的圖片 ... 46
圖 3-36 葉片經過侵蝕跟膨脹的過程 ... 47
圖 3-37 NDVI 圖片 ... 48
圖 3-38 利用3 × 3樣本點訓練的結果 ... 49
圖 3-39 擷取各濾波圖的單一像素 ... 49
圖 3-40 將四張像素圖合併成一個1 × 4的像素圖 ... 50
圖 3-41 降解析度的 RGB 彩圖跟灰階圖對照圖 ... 52
圖 3-42 病斑跟陰影灰階比較 ... 52
圖 3-43 HSV 色彩空間對照 ... 53
圖 3-44 符合範圍值的病徵圖 ... 53
圖 3-45 選點結果跟標示方法 ... 56
圖 4-1 白校正前後的光亮度明顯差異處 ... 62
圖 4-2 原始多光譜影像跟白校正參考圖比較 ... 62
圖 4-3 不同型態的白校正狀況 ... 63
圖 4-4 第二次試驗自動型態與固定型態白校正差異性 ... 68
圖 4-5 經過白校正後的多光譜影像圖 ... 69
圖 4-6 經過歪曲校正後的多光譜影像圖 ... 70
圖 4-7 去背結果 ... 72
圖 4-8 葉片去背後的結果 ... 72
圖 4-9 多光譜拍攝軟體 (去背可微調參數) ... 73
圖 4-10 RGB 彩圖對位程式 ... 74
圖 4-11 選點對應程式 ... 75
圖 4-12 RGB 圖與多光譜影像對應圖 ... 76
圖 4-13 RGB 圖跟多光譜影像疊合狀況 ... 76
圖 4-14 RGB 跟多光譜影像選點對照 ... 78
圖 4-15 選特徵點之程式視窗 ... 79
圖 4-16 經過程式選點標出的病徵區 ... 79
圖 4-17 二類分類於其中三個波段的分布情形 ... 81
圖 4-18 三類分類於其中三個波段的分布情形 ... 82
圖 4-19 第二組實驗接種 8 號的預測狀況(接種後五日) ... 84
圖 4-20 第三組實驗接種 3 號的預測狀況 (接種後五日) ... 85
圖 4-21 第三組實驗健康 1 號的預測狀況(接種後五日) ... 86
圖 4-22 第一組實驗健康 4 號的預測狀況 (接種後 6 日) ... 86
圖 4-23 潛伏期對照 (II. June 19) ... 89
圖 4-24 潛伏期對照 (II. June 21) ... 89
圖 4-25 潛伏期對照 (I. May 14) ... 90
圖 4-26 潛伏期對照 (I. May 15) ... 90
圖 4-27 原特徵點假彩色預測狀況 ... 98
圖 4-28 處理過後的特徵點預測 ... 99
圖 4-29 處理過後的特徵點預測 ... 100
圖 4-30 第三組實驗健康 1 號的預測狀況(接種後 5 日) ... 101
圖 4-31 第三組實驗接種 3 號的預測狀況(接種後 5 日) ... 101
圖 4-32 第二組實驗接種 8 號的預測狀況(接種後 5 日) ... 102
圖 4-33 第二組實驗接種 1 號的預測狀況(接種後 5 日) ... 102
表目錄
表 2-1 依感測器解析度分類光譜類型對應表 ... 10
表 2-2 利用逐步分析法分析出的特徵波段 (Yeh et al., 2013b) ... 11
表 2-3 高光譜辨識植物的重要波長與應用之彙整 (Chung, 2013)... 12
表 3-1 Camera MO-S5788Z-3D-E 規格 ... 23
表 3-2 濾鏡規格表 ... 24
表 3-3 LED 光源規格表 ... 26
表 3-4 3D 列印裝置製程方式 ... 31
表 3-5 影像前處理定義跟其圖片代號 ... 43
表 3-6 健康期圖片經過前處理後的結果 ... 44
表 3-7 有病徵的圖片經過前處理後的結果 ... 45
表 3-8 多光譜拍攝圖與 RGB 彩圖規格比較 ... 56
表 3-9 對位完成後的圖表資訊 ... 57
表 3-10 草莓炭疽病拍攝預備實驗參數設置 ... 59
表 4-1 第一次試驗 (固定常數型態隨機採點) ... 64
表 4-2 第一次試驗 (自動常數型態隨機採點) ... 65
表 4-3 第二次試驗 (固定常數型態固定採點) ... 66
表 4-4 第二次試驗 (自動常數型態固定採點) ... 67
表 4-5 二類分類訓練數目 ... 81
表 4-6 三類分類訓練數目 ... 81
表 4-7 SVM 參數設置 ... 82
表 4-8 兩類分類交叉驗證每組結果 ... 83
表 4-9 兩類分類交叉驗證結果 ... 83
表 4-11 三類分類留一驗證誤差矩陣 ... 91
表 4-12 第二組實驗接種八號三類病害ν值測試對照表 ... 92
表 4-13 假彩色結果(ν =0.3,第二組實驗,接種 8 號) ... 93
表 4-14 第三組實驗接種三號三類病害ν值測試對照表 ... 94
表 4-15假彩色結果(ν =0.3,第三組實驗,接種 3 號) ... 95
表 4-16 原圖原特徵波長交叉驗證之混淆矩陣 ... 96
表 4-17 前處理波長特徵值交叉驗證之混淆矩陣 ... 96
表 4-18 前處理特徵值與原四個特徵值交叉驗證之混淆矩陣 ... 97
表 4-19 原特徵值進行預測後之混淆矩陣 ... 97
表 4-20 前處理特徵值含原特徵值之混淆矩陣 ... 97
表 4-21 前處理特徵值值預測之混淆矩陣 ... 97
表 4-22 選擇後的前處理特徵值值預測之交叉分析混淆矩陣 ... 100
第一章 緒論
1.1 前言
近年來全球氣候變遷,對農業生產的影響也越來越明顯,高溫、降雨型態改變,
甚至是酸雨、二氧化碳、紫外線的變化,都會影響植物的生長狀況,造成在農業豐 收或是歉收情況 (黃與蕭,2011)。顧及到露天栽培的農業很難掌握環境的各個變 因,因此如何提早發現植物發生病害越顯重要。
基於經濟作物多是大量種植於同一區域,病害的產生容易互相影響和傳染,如 果未能即時發現,可能會擴及整片的植栽 (黃與彭,2008)。傳統的農產品人工檢測 方式需要消耗掉許多人力,而且也需要有經驗的人方能判斷;另外,人工檢測也會 因人為誤差,形成標準不一致的狀況,造成品質參差不齊,並不建議作為判斷農作 物健康狀況的標準。然而農業作物以經濟生產為考量,加上檢測時期可能植物尚未 成熟,如果檢測方式會破壞植物本身,在經濟考量下,會增加額外的成本,因此非 破壞病害檢測成為目前檢測農作物的主要目標之一。
非破壞性研究大致可分為聲波、超音波、X-ray、近紅外光、電磁波等檢測方 式。聲波可以由敲擊收集聲波或震動訊號,以記錄後收集各個植物的特徵進行農產 品的鑑別。超音波則可用不同的超音波散射狀況檢測植物內部的空洞等等。利用 X 光的原理,可以檢測出水果內部的密度差異,其密度差異可能包含了植物的含水量、
硬質組織和病蟲害所造成的孔道、空洞或腐敗。近紅外光則是利用農產品分子間不 同能階造成吸收率依不同波長而異的特性,可以辨別出檢測物內部中的特徵值。如 果能夠建立各個物質或病害特徵對應其波長的關係,那我們就可以建立一套系統 對應並檢測病害 (林,2010)。
高光譜影像 (Hyperspectral image) 將影像分成多個不同波段的個別資訊,這些 資訊可以幫助我們觀察到比較細微的波段差異,高光譜系統可以記錄植物在不同 波段下的圖像,從影像中的光譜特性,可以用來確認物體的組成成分。由於目前的 商用高光譜檢測硬體體積和重量都比較大也價值不菲,在農業上的使用必須要克 服地形限制或人力的資源才能夠使用。如果希望能夠將檢測系統推廣到所有領域 都可以適用,便於攜帶和易使用的裝置是不可或缺的。
草莓為重要的經濟作物之一,世界各地都有分布,也是分布最廣的水果。草莓 炭疽病 (strawberry anthracnose) 是草莓的主要病害來源之一,主要由炭疽孢子所造 成的,當環境適於孢子生長時,整株植株都會被破壞掉,葉片、花朵甚至果實等等 都會受影響,也會因此造成相當高的農作物損失 (Howard et al., 1992)。好發期為 高溫多濕的季節,最佳防治期則為未發病之前,並應隨時清理罹病的組織,以減少 感染源的產生,因此如果可以提早發現炭疽病,即可提早杜絕孢子擴散到其他的植 株或感染到整株農作物 (鐘等人,2012)。
目前已有研究可以利用高光譜影像的技術針對草莓葉片炭疽病及青江菜黑斑 病進行研究,並成功證實高光譜影像技術於植物病害偵測上的可行性和實用性,並 且找到病害出現前用來判斷染病的特徵波長。藉由這些特徵波長 (Yeh et al., 2013a),
我們可以將特徵波長應用在手持式監測裝置上,轉化成多光譜的檢測模式,讓檢測 植物病害變得更簡單,也更專一性。
為了能夠協助辨別炭疽病病害的發展狀況,我們需要一套分類的方法。Support Vector Machine (SVM) 是一種支持多維度的分類方法,可以藉由輸入的一系列數 據,協助建立起一套輸入跟輸出的對應關係,藉由使用者匯入跟定義不同類別的樣 本,SVM 可以針對這些類別做區分,並用於未來預測其餘檢測物的類別。目前 SVM 也被廣泛運用在檢測植物的病害上,因此該分類模式可以協助我們察覺或預測植 物病害的情況 (Karimi et al., 2008)。
1.2 研究目的
本研究目的在於建立一套簡易的手持式系統,這套手持式裝置將應用於協助 檢測植物病害上,可以讓使用者易於攜帶跟拍攝,增加檢測的便利性跟可行性。經 過拍攝後的結果可以藉由數據分析後,立即得到植物染病的結果,由於多光譜系統 需要拍攝的時間較短,而且可以針對需要的波長進行討論即可,本研究的多光譜濾 波波段是根據高光譜儀器進行實驗後挑選出來的重要波段來選擇的。經由濾鏡濾 過後的特徵波段,我們可以由個別波段的訊息,得知這株植物的染病程度,並設計 此多光譜系統搭配四個微型攝影機,跟四個不同波段的濾鏡來進行檢測。
藉由連續性的拍攝待測植物樣本,可以觀察到植物由健康的狀態漸漸轉為有 病斑等等的症狀,我們將已有病斑的歸類為有病徵,定義隔天才出現明顯病斑的區 塊為潛伏期區塊,其餘的則定義為健康的區塊,希望能夠藉由這樣的分類,協助以 後拍攝後即可得到該植物的染病狀態,分類完成後,希望能夠在植物初有症狀時,
就藉由潛伏期的偵測來提前發現,如此一來可以避免植物病害的擴散跟惡化。
茲將主要欲達成目標條列如下:
1. 測試多光譜影像的判別炭疽病的適應性以及建立一套處理模式處利多光 譜影像的接合、校正問題。
2. 將植物病害分為兩類:有病徵跟健康期;將植物病害分為三類:有病徵、
潛伏期跟健康期,並比較跟高光譜系統的準確差異性。
3. 設計手持式裝置的硬體,須達成:方便手持、可以快速判定染病結果並將 結果顯示於螢幕上給使用者確認。
4. 去除因葉片凹凸不平所造成的陰影問題,建立前處理方式消除陰影的影 響。
第二章 文獻探討
2.1 植物病害
引起植物病害主要可以分為三種:真菌性病害、細菌性病害和病毒病害。由於 台灣位於溫暖潮濕的亞熱帶,這種環境對各種病害的發展跟蔓延都十分適合,基本 上這些病原要發生跟蔓延,需要同時具有病原菌、感病性寄主和適宜的環境才行。
最簡單且有效的病害防治對策為將病株、病葉、雜草隨手摘除,並將病株帶離以降 低種植區的病原菌的密度 (鄭與陳,2000)。
2.1.1 草莓炭疽病
草 莓 炭 疽 病 (anthracnose) 是 一 種 由 真 菌 感 染 的 植 物 病 害 , 在 台 灣 以 Colletotrichum gloeosporioides 病原菌為主,此炭疽病可感染草莓的果實、走莖、葉
部跟莖冠基部。明顯的染病徵兆包括葉面上的黑斑,走莖上面的環斑,如果莖的基 部感染會造成草莓植株凋萎甚至死亡。葉片在感染初期,會產生黑色的小型病斑,
後期葉片會漸趨乾燥跟枯萎 (費與王,2007)。草莓炭疽病在一年四季均可存活於 草莓病株上,育苗期 (約每年十二月到翌年三月) 可於葉片、葉柄、走莖上發現病 徵,此時不會對植株造成太嚴重的傷害,但在隔年四月氣溫升高時,帶病植株就會 大量死亡,影響草莓產量甚鉅。近年來,因為常下起瞬間豪大雨跟出現酷熱的天氣,
更使得炭疽病更加猖狂,草莓苗的存活率只剩下約六七成 (李等人,1992)。
2.2 植物病害檢測方法
2.2.1 植物病害檢測方法
植物病害檢測的方式依照是否直接由植物本體內取得樣本可以分為兩大類,
直接檢測跟非直接檢測方式,直接檢測方式領域諸如血清學 (Serological methods) 跟分子生物學方面 (Molecular methods),此類的檢測方式為利用催化、流式細胞 (Flow cytometry)、聚合酶連鎖反應 (Polymerase chain reaction, PCR) 和 DNA 晶片 (DNA array) 等等方式來進行檢測。非直接檢測方式則利用基於生物性指標檢測方 式、植物特性等等做判定,諸如氣體代謝反應、植物代謝反應、高光譜、螢光影像 技術等等 (Sankaran et al., 2010)。
2.2.2 前處理方法
圖像彩色轉換
為了避免在尋找植物病害的特徵點時,誤判植物葉片的葉脈為病斑,可以利 用色彩轉換來改善誤判的情形,因為葉脈主要是光強度的不同,而病斑則為顏色 的不同 (Chaudhary et al., 2012)。
YCbCr 是一種廣泛應用於數位影片的顏色模型,Y 代表發光 (luminance) 的 成分,Cb 和 Cr 則代表顏色的成分,Cb 是藍色成分的差異性,Cr 是紅色成分的差 異性。其中 YCbCr 與 RGB 彩色模型的轉換公式為 (式 2-1)。
{
Y = 0.2999 × R + 0.587 × G + 0.114 × B Cb = −0.168 × R − 0.311 × G + 0.500 × B Cr = 0.500 × R − 0.418 × G − 0.081 × B
(式 2-1)
HSI ( Hue Saturation Intensity) 色彩模型,則是一種建立於人類色彩認知的模 型,H (Hue) 代表純色並與光線的波段有關,S (Saturation) 代表飽合度,I (Intensity) 代表強度。其與 RGB 色彩模型的轉換公式如 (式 2-2):
{
H = { 𝜃 𝑖𝑓 𝐵 ≤ 𝐺 360 − 𝜃 𝑖𝑓 𝐵 > 𝐺 S = 1 −3 × min (R, G, B)
(R + G + B) I = 1
3(𝑅 + 𝐺 + 𝐵)
(式 2-2)
其中θ = cos−1{
1
2[(𝑅−𝐺)+(𝑅−𝐵)]
[(𝑅−𝐺)2+(𝑅−𝐵)(𝐺−𝐵)]
1 2
} (式 2-3) YCbCr 顏色模型中 Cr 成分與 HIS 顏色模型的 H 成分對於葉片的斑點偵測效 果有好有壞,隨著葉片主要背景的顏色而有所差異。
CIELAB 則是一個由 CIE 針對人類視覺所定義出來的色彩模型,L 代表顏色 的亮度,A 代表綠色到紅色的廣度,B 則代表藍色到黃色的顏色廣度,將 RGB 轉 換成 LAB 的公式為 (式 2-4)。
{L = 0.2126 × R + 0.7152 × G + 0.0722 × B A = 1.4749 × (0.2213 × R − 0.3390 × G + 0.1177 × B) + 128 B = 0.6245 × (0.1949 × R + 0.6057 × G − 0.8006 × B) + 128
(式 2-4)
Chaudhar 等人利用 CIELAB 對水稻葉片做偵測,研究顯示 A 成分在所有受測 葉片上均可以偵測到葉片上的斑點,準確率頗高。
圖片平滑化
由於相機拍攝照時可能產生部分的雜訊問題,這些雜訊問題可能會影響判別 植物的病害,可以利用平均濾波器 (Mean Filter) 和中值濾波器 (Median Filter) 改 善雜訊的現象 (Geng et al., 2009)。
平均濾波器是一種線性濾波器,藉由計算區域內的平均值,以取代該中心點的 數值,如此一來單一雜點會因為區域內其他數值而將雜點消除掉。計算公式如 (式 2-5) 所示。
Result(x, y) = 1
𝑀 ∑ 𝑓(𝑥, 𝑦)
(𝑥,𝑦)∈𝑆
(式 2-5)
Result(x,y) 為最終算出來的結果,S 為區域內的所有點,M 則為 S 內的點的 總數。
中值濾波器則為非線性的濾波器,相較於平均濾波器,平均濾波器適合消除密 度不是很高的雜訊,但對於密度很高的雜訊,如椒鹽雜訊 (salt-and-pepper) 等的效 果就不是很好 (Gonzalez & Woods, 2008)。中值濾波器的濾波手法是將所選區域內 的像素值依照大小排列,選擇最中間的數值當做該區域中心的數值。
白校正
若使用濾鏡進行光譜拍攝,仔細觀察可以發現有明暗交替的光環出現,此原因 由濾鏡之金屬鍍膜與鏡片玻璃折射光指數不同所引起的薄透鏡效應。對影像中的 修正方式可以利用公式 (式 2-6 ) 做標準化修正
𝐷𝑁𝑠 = 𝐷𝑁 + (128 − 𝐷𝑁𝑚) (式 2-6 ) 其中𝐷𝑁𝑠為標準化後的灰度值,𝐷𝑁為原始影像的灰度值,𝐷𝑁𝑚為每張原始影 像的平均灰度值。進行標準化作業後,在藉由標準化的白板影像為修正依據,用差 值取代的方式修正明暗光環,修正公式如 (式 2-7) 所示。
𝐷𝑁𝑠𝑐 = 𝐷𝑁𝑠+ (128 − 𝐷𝑁𝑤𝑠) (式 2-7) 式中的𝐷𝑁𝑠𝑐為進行明暗修正後的灰度值,𝐷𝑁𝑠則為 (式 2-6 ) 中所計算出來的 標準化後的灰度值,𝐷𝑁𝑤𝑠則為標準化白板上的灰度值 (申與李,2002)。
2.2.3 特徵擷取方法
二值化 (Thresholding)
二值化是一種分割圖像的方式,圖片轉換為灰階後,將大於所設臨界值的灰階 值轉換為灰階最大值,小於臨界值的像素灰度則設為灰度最小值。簡易的二值化可 以用來找出葉片的範圍,但並不適合用來計算病害的區塊,因為病害區塊的特徵值 變化比較大,可利用三角二值化 (Triangle Thresholding) 來進行修正,並得到得病 害的區塊 (Marathe & Kothe, 2013)。三角二值化的技術將整張圖像的灰階直方圖 (Histogram) 的最大點𝑏𝑚𝑎𝑥跟最低點𝑏𝑚𝑖𝑛互相連接,計算這條線到各直方圖數值的 距離,一直到找到最大距離為止,而找到距離的該直方圖數值則定為此次二值化的 分界點 (Zack et al., 1977)。三角二值化因為具有隨選取範圍的直方圖變動的特性,
因此可以用來作為比較有效的特徵擷取方式。
選取植被部分
一般為了正確得到圖像當中植物的部分,會利用 NDVI (Normalized Difference Vegetation Index) 做為判定,其中 NDVI 的定義如 (式 2-8)。
𝑁𝐷𝑉𝐼 =𝑁𝐼𝑅 − 𝑅
𝑁𝐼𝑅 + 𝑅 (式 2-8) NIR 代表近紅外區段 (740-760 nm),而 R 代表紅色波段區域 (620-640 nm) ,
Moshou 等人即以 NDVI 做為判定地表植被地區的分布狀況,以利後續的光譜特徵 區塊選取及處理 (Moshou et al., 2005)。Shi 等人則以 NDVI 為基本公式做變形,代 入兩個特徵波長取代原本的 NIR 區塊跟 R 區塊,檢測稻米的波段以利推估土壤中 的砷含量 (Shi et al., 2016)。
2.3 高光譜影像系統
2.3.1 高光譜科技
光譜資訊在物理、化學跟生物的應用上多用來研究物質的成分跟輻射,陸地、
水跟大氣環境中的分子和物質可吸收、反射、散射輻射能量的波長範圍界定在 400- 2500 奈米光譜波段 (Green et al., 1998)。
2.3.2 高光譜影像技術
高光譜系統是一項將光譜 (Spectra) 資訊和空間 (Spatial) 資訊結合的新技術,
也讓光譜系統從二維空間晉升到三維空間 (Green et al., 1998)。我們可以將高光譜 系統想成一個三維的立方體,其中第三維度代表幾百張的連續光譜帶,有些高光譜 的頻帶資訊可以當作光譜的特徵點 (Chang, 2003)。
全彩的感測器若要檢測跟分辨物體,需要的是極高的空間辨識率,而高光譜的 感測器則是倚賴光譜的解析率,其中光譜解析度定義為 ∆λ
λ,其中Δλ為測試波長的 最小波長差值,λ為測試的波長,因此高光譜影像的感測器可以依照光譜解析度分 為如表 2-1 的三種型式:
表 2-1 依感測器解析度分類光譜類型對應表 光譜解析度 (∆𝛌
𝛌) 分光光譜數 名稱
0.1 10-50 多光譜 (Multispectral)
0.01 50-1000 高光譜 (Hyperspectral)
0.001 10-100 超光譜 (Ultraspectral)
2.3.3 高光譜影像檢測之應用
高光譜影像檢測在水果病害偵測上有相當廣泛的應用,檢測葡萄柚的腐爛情 形,並可以藉由主成分分析 (PCA) 得知特徵波段為 553 nm、677 nm、718 nm 和 858 nm (Qin et al., 2008)。Zhang 利用遙測影像搭載高光譜影像裝置快速得到大面 積的番茄感染晚疫病的狀況,可將病況分為五種不同等級 (Zhang et al., 2003)。
Yeh 利用高光譜儀器拍攝染有炭疽病的草莓葉片,並記錄每一天的葉片狀況,
利用點對點的預測模式,並在兩類分析上面可以得到 95%的準確率,並利用逐步 分析方法可以得到特徵波長,由表 2-2 可以看出逐步分析法 (Stepwise Discriminant Analysis) 分類出不同波段對於分類效果的不同準確性 (Yeh et al., 2013b);本研究 主要利用 Yeh 的研究作為基礎,選擇合適的特徵波段。
Chung 利用高光譜影像拍攝青江菜跟草莓葉片,可將植物病害辨識為二類或 三類,並整理不同辨識模式下所需要的特徵波長 (表示如表 2-3),本實驗的葉片分 析設置實驗,主要參照 Chung 所使用的實驗方法。
表 2-2 利用逐步分析法分析出的特徵波段 (Yeh et al., 2013b)
表 2-3 高光譜辨識植物的重要波長與應用之彙整 (Chung, 2013)
波長 (nm) 應用 辨識率(%) 預測正確率
(%)
458, 918 背景去除
467、617、622、630、648、
653、701、715、754、830、
870、940
青江菜黑斑病分兩類:
健康期與病斑可見期 98.3 91.7
467、591、622、635、666、
701、706、754、865
青江菜黑斑病分兩類:
健康期與發病前 12 小時 96.0 75.6
622、715、754、865
青江菜黑斑病分三類:
健康期、發病前 12 小時與 病斑可見期
77.4 59.6
560、785 草莓炭疽病分兩類:
健康期與病斑可見期 98.5 100
551、577、595、692、701、
710、723、737、750、754、
830、856
草莓炭疽病分兩類:
健康期與發病前 24 小時 92.5 73.3
489、524、538、569、595、
688、701、706、732、746、
763、790、843、847、865、
914
草莓炭疽病分三類:
健康期、發病前 24 小時 與病斑可見期
89.3 77.8
2.4 多光譜影像系統
多光譜影像系統是一套藉由不同波段建構起來的多張影像,最常見的多光譜 影響即為彩色影像,因為彩色影像可分別得到 R、G、B 三個通道的數值,等同於 擁有三張不同色光下的光譜影像,也可藉由彩色影像的三個不同通道建立跟檢測 物的相關性,如 RGB 影像中,紅色 (R) 的部分最可以反應荔枝重量損失的變化 (柯等人,1999)。
多光譜影像的擷取可利用多個濾鏡拍攝同一張影像,以建立起多光譜影像,利 用 CCD 攝影機跟更換濾鏡模組,達到以非破壞、非接觸的方式擷取蕹菜之多光譜 影像,並建立不同波段互相的對應關係跟回歸直線分析 (李汪盛,2013)。
Blasco 等人利用多光譜電腦視覺方式分析橘子病害狀況,利用拍攝的 RGB 圖 片,轉換成不同的色彩區域 (Color Space) ,如 XYZ、HSI、La*b*等等,並拍攝近 紅外光、螢光、紫外光等等的非可視圖片做病害分類。發現不同的影像所能辨識出 來的東西大不相同,只有近紅外光可以辨識出炭疽病 (anthracnose) 和 煤煙病 (sooty mold),而只有紫外光可以檢測出蒂腐病 (stem-end injury),而綠黴病 (green mold) 則只能由螢光檢測到 (Blasco et al., 2007)。
除了用作病害分析之外,也有研究將近紅外光光譜儀用在檢測不同基因種類 的小麥,並利用資料點建立模型預測接下來的資料點會被分到哪一個基因類別 (Delwiche & Graybosch, 2002)。
2.5 分類方法
2.5.1 支持向量機
支持向量機 (Support Vector Machine, SVM) 是一種同時能運用線性跟非線性 資料的分類演算法,主要的概念是在一群特徵當中尋找一個決定的方程式,並將這 些特徵分成兩類或是更多類。
輸入的資料點是一系列一共 p 樣本點的 𝑥矩陣,每個𝑥點都有一個對應的標籤值:
(𝑥1, 𝑦1), (𝑥2, 𝑦2), (𝑥3, 𝑦3), … , (𝑥𝑝, 𝑦𝑝)
其中 {𝑦𝑘 = 1 當 𝑥𝑘 ∈ 𝑐𝑙𝑎𝑠𝑠 𝐴
𝑦𝑘 = −1 當 𝑥𝑘∈ 𝑐𝑙𝑎𝑠𝑠 𝐵 (式 2-9 ) 在這些資料當中,我們希望能夠在該空間中,找到一個具有最大實際的超平面 (Maximum Marginal Hyperplane),我們將資料轉到更高維度的空間中,從這些維度 當中,尋找最大的超平面,且此平面可以將資料切成許多群組。如果超平面的中線 距離兩邊的數據點邊際線越遠,代表該超平面具有越好的分類效果,如圖 2-1 所 示,(a) 的超平面距離邊界的距離比較小,(b) 的距離比較大,因此會比 (a) 具有 更好的分類效果。
(a) (b) 圖 2-1 支持向量機最大邊際差距示意圖
(參考自 (Cortes & Vapnik, 1995))
目前已有許多研究利用 SVM 當作方類的方式,例如:高光譜遙測影像的分類 系統 (Bazi & Melgani, 2006)、高光譜波長選定 (Wang et al., 2005),或是利用 SVM 的技術來評估農作物的各種參數,或是依照此分類學習法建立檢測與預測系統 (Karimi et al., 2008)。Rumpf 於 2010 年利用 SVM 進行植物病害的早期預測,可以 在角斑病 (cercospora leaf spot)、甜菜銹病 (sugar beet rust) 和白粉病 (powdery mildew) 得到相當高的準確率 (Rumpf et al., 2010)。
第三章 研究設備與方法
3.1 實驗材料
本研究的草莓葉片,是由國立台灣大學植物病理與微生物學系 鍾嘉綾 助理 教授實驗室幫忙種植並接種草莓炭疽病病原菌
3.1.1 植物栽培
本研究所用的草莓品種為桃園三號,是由日本引進“豐香”育種為桃園一號 後,經自然雜交實生後代中產生 (李窓明,2014)。草莓栽培於室內的植物生長箱當 中,草莓母株種植於裝有培養土的塑膠盆中 (直徑 9 cm) 。用於種植草莓的培養土 成分為泥炭土 (Peat)、珍珠岩 (Perlite) 與蛭石 (Vermiculite),混合的體積比為 1:1:1,環境溫度為 25 ℃,60~70%的濕度,光週期為每天 24 小時當中,16 小 時的光照。施肥方法為每天稀釋 3000 倍的花寶 2 號。子株分離自母株的匍匐莖,
子株種植環境為攝氏 25 度,相對溼度 60%的環境,光週期為 8 小時。經過 12~13 天後,每株植物會有 4 到 5 片葉子,而摘取第二與第三位置的葉片以進行後續的 實驗,整個種植實驗的流程所需天數為 30 天。
3.1.2 葉片前處理及固定
因為目前的實驗需要固定的樣本,並且能夠預測葉片在不同時期的發病情形,
因此我們將葉片剪下來,放入直徑 15 公分的無菌培養皿,底部平舖三層已滅菌的 擦手紙,利用 pipet 滴入 7 mL 的無菌水保濕。最後將草莓葉片平鋪於培養皿中。
為了延緩葉片的枯萎速度,葉片下方莖部的切口以無菌濕潤擦手紙包覆保濕,如圖 3-1。
圖 3-1 葉片放置方式
另外,因葉片會有捲曲的現象,我們製作一黑色固定環圈,其環圈的材質是以 黑色霧面壓克力所製成,環圈的厚度為 5 mm,外徑直徑 138 mm,內徑直徑 130 mm,詳細尺寸如圖 3-2 所示。並使用線徑 0.2 mm 透明釣魚線綁在環圈內側的凸 型槽上,固定環完成後,為避免透明釣魚線會造成反光,我們將釣魚線以鐵樂士 109 黑色系列的噴漆噴黑,盡量減少光照造成的反光,為了避免掉漆,我們一共噴漆兩 次,繼第一次噴完漆後,等漆全乾後,再噴第二次漆。最後整個固定環消毒後,方 在壓在葉片上方,以利利用釣魚線將葉片壓平。
圖 3-2 固定環尺寸
3.1.3 接種處理
本研究所使用之病原菌為草莓炭疽病菌,菌株分離自苗栗草莓田間,為確保病 原性的一致性,每次實驗的接種源均固定取用同一批保存於攝氏-80 度之菌株,炭 疽病菌由冷凍管取出後,先以馬鈴薯瓊脂培養於室溫下,並給予一天 12 小時的光 照,培養病原菌 7~10 天使其產生大量的孢子,加入 0.02% Tween 20 之無菌水收 取病原菌孢子,經四層紗布過濾後,以血球計數器計算孢子濃度,並將最後的濃度 調整到106 spore/c.c.。
病原接種的方式有二:一為噴霧式接種法 (Spray inoculation),過將製備好的 孢子懸浮液,以 10~15 psi (1 atm = 14.7 psi) 之強度進行每一葉面的噴灑;對照組 則以 0.02% Tween 20 的無菌水依實驗組同樣的方式進行噴灑處理。另一種接種方 式則為點接方式 (Spot inoculation),在無菌操作台環境下,切取病原菌產孢之菌塊,
平貼於植物葉面上,對照組則切取無菌之馬鈴薯瓊脂洋菜膠塊,同樣平貼於葉片表 面上。兩種接種處理方式完成後,為營造一個適合病原菌生長的環境,將接種完後 的葉片利用封口膜。將培養皿密封,放置於攝氏 25 度,光照時間 12 小時的生長箱 中。我們將封條剪成一長條,尺寸約為12 mm × 120 mm。
封條具有彈性,上文所提及的尺寸為目前測試最佳裁減長度,可以繞整整一個 直徑為 140 mm 的培養皿一圈,如果封條剪太細,會造成封條容易被拉斷,也不易 將培養皿隙縫封住。
上述兩種染病方法,由於噴灑孢子液的接種方式比較接近於大自然環境中的 病原菌傳播方式,而且也不會如同點接方式,太容易預測到發病區塊,因此後續實 驗我們均採用噴霧式接種法處理。茲將上述的接種方式整理成流程圖於圖 3-3。
圖 3-3 接種流程圖
3.1.4 後續保濕作業
隨著拍攝的時間拉長,擦手紙會沒有濕度,如果不繼續加水,葉片會乾掉,因 此我們會定期 (每日乙次) 幫擦手紙加水,加水的方式為對每一個樣本分別加些許 水,使用 Pipet 吸取 800 μl 的二次水,分散在樣本的四周跟包覆莖部的擦手紙,
不滴水在葉片上。
3.2實驗器材
3.2.1 拍攝彩色影像裝置
我們需要 RGB 的圖像來協助我們了解每一片葉子每天的變化情形,因此我們 使用數位相機紀錄植物葉片在不同時段的表面變化狀況,拍攝 RGB 圖片所使用的 數位相機為 Canon 500D。
考慮到拍攝的時候的精準性跟光源所造成的陰影,利用鋁擠型設計相機支架,
解決相機拍攝時候的晃動、陰影問題。圖 3-4 為相機固定架,兩側固定鹵素燈泡來 提供拍攝時的固定光源,為了避免外在光源造成拍攝情況受影響,因此在另外設置 黑色布幕將拍攝儀器罩起來。
圖 3-4 拍攝 RGB 裝置圖
編號 1 為使用的數位相機 Canon 500D,編號 2 跟編號 3 為鹵素燈泡,編號 4 為待測物的擺放位置。
3.2.2 多光譜影像儀器使用器材
本實驗的目的在於建立一套手持式多光譜影像系統,因此選用體積較小的硬 體 Raspberry Pi 2 當作系統的主控器,如圖 3-5 所示。Raspberry Pi 是一種嵌入式 系統,其功能就如同一台小電腦一般。
圖 3-5 Raspberry Pi 2
感測器方面,選用微型攝影機當作我們的擷取裝置,我們選用圖 3-6 升洋資 訊公司出產的 MO-S5788Z-3D-E 黑白微型相機,因為主控器為 USB 埠的接口,因 此我們搭配轉為圖 3-7 的 USB 影像擷取卡做轉換。實驗的設計理念是利用四組搭 配不同波段濾鏡的微型攝影機同時擷取影像,因為微型攝影機體積小的優勢,四個 微型攝影機拍到的畫面的重疊區域可以到達最大值,可以得到該重疊區域的四個 不同波段的資訊,微型攝影機的規格如表 3-1 所示。
圖 3-6 微型相機 圖 3-7 影像擷取卡
表 3-1 Camera MO-S5788Z-3D-E 規格
Resolution 640× 𝟒𝟖𝟎
Sensor
1/4" B/W CCIQ II
X-ray eyes Camera
Size 8.6 × 8.6 × 8.6 mm3
綜合我們上述的硬體裝置,我們將這些裝置合併使用,建立基本的擷取影像裝 置。因為 Raspberry Pi 就如同一台小電腦,接下來可以在系統上建立更多影像合成 和辨識的功能,以方便日後做程式的修改和顯示出病害的範圍。硬體架構圖如圖 3-8 所示。目前預設我們將採用四個濾鏡同時檢測植物的病害,其中相機擺放的配 置方式如圖 3-9 採用田字型方式排列,讓四個相機可拍攝重疊面積達到最大值。
圖 3-8 手持式監測裝置硬體架構圖
圖 3-9 相機擺放與重疊區域示意圖
以實驗室高光譜檢測而得的草莓炭疽病檢測波段,可以比較並綜合出草莓炭 疽病的特徵波段,這幾個特殊波段在判斷草莓葉片是否有感染炭疽病,有較明顯的 判別率。因此選用這幾種草莓特徵波段來當多光譜的檢測波段。目前選擇的濾鏡規 格如表 3-2 所示。
表 3-2 濾鏡規格表
濾鏡主波段 (nm) 濾鏡模式 濾鏡直徑 (mm) 最小穿透率 (%) 568
Bandpass Filter
10 nm 12.5 85
700 750 830
為了達到每次拍攝時,拍攝的四張影像能夠有同樣的相對對應位置,因此需要 設置濾鏡跟相機固定架協助固定拍攝系統。設計的理念是盡量讓四個微型攝影機 之間的距離越小越好,並在四周有內螺絲可以協助鎖緊微型攝影機跟濾鏡,設計圖 如圖 3-10 所示,該設計圖為與銓州光電討論後由銓州光電協助設計畫設計圖。
圖 3-10 第一代相機與濾鏡固定架
此固定架用來固定相機跟濾鏡,以確保每次拍攝時,相 機間的間距都一樣
實驗所擺放各不同波段濾鏡的位置,是以由左到右,由上到下的優先順序擺放 各個濾鏡,各濾鏡的擺放相對位置如圖 3-11 所示,接下來本論文當中若有四張一 其拍攝圖的圖片也將以圖 3-11 的相對位置關係擺放,以方便互相對照。
568 nm 700 nm
750 nm 830 nm
圖 3-11 濾鏡放於固定架上的相對位置關係圖
此濾鏡固定架在設計上面以體積最小化為宗旨,因此將濾鏡跟相機固定採用 不可分離式的方式架設,但為了實驗需求,我們又另外設計一款能夠將濾鏡跟相機 快速分離的設計,可以免去每次拍攝的時後需要將四個濾鏡卸下的耗時耗力問題,
設計圖如圖 3-12。
(a) (b)
圖 3-12 第二代方便拆卸之相機、濾鏡固定組 (a) 相機固定座 (b) 濾鏡固定座
在分析上我們先力求實驗數據的一致性,因此我們先建立一套測試的系統,以 便建立植物病害的特徵資料庫,當資料庫跟分類方法完整後,再進一步轉換到使用 者測試上。
因此我們利用鋁擠型架設一個如圖 3-13 所示的簡單支撐架,將微型攝影機固
試系統架於實驗用的黑箱中,以確保每次拍攝的條件均相同。第一代的測是系統燈 光選擇僅 5W 的鹵素燈泡,以避免燈光太強反而會使圖像產生過曝或強烈的反射,
而影響到資料的擷取。
第二代的測試系統如圖 3-14 所示,考慮到鹵素燈的尺寸過大,所跨的波段領 域也不夠理想,因此第二代的燈光選擇改用窄波段的 LED 燈提供,因為 LED 燈不 如鹵素燈所跨的波段範圍長,因此我們需要三個 LED 燈才能夠供給我們需要的特 徵波段光源,LED 光源的規格如表 3-3 所示。
圖 3-13 第一代系統拍攝架設圖 圖 3-14 第二代系統拍攝架設圖 表 3-3 LED 光源規格表
LED 光源顏色 金黃光 IR (近紅外光) IR (近紅外光)
主波長 580 – 585 nm 730-740 nm 850 nm
操作電流 700 mA 700 mA 350 mA
額定功率 3W 3W 1W
操作時電壓 3.4 - 3.8 V 1.6 - 2.0 V 1.5 - 1.7 V
3.2.3 手持式多光譜影像儀器
為了達到能夠快速並輕便的判斷草莓炭疽病的產生跟病變狀況,我們設計一 套手持式裝置。考慮到硬體的大小跟散熱問題,如圖 3-15 示,以整體的結構能夠 先放入硬體為考量,同時需要考慮到提供的光源的散熱問題,因此我們在手持式裝 置的前方另外有開散熱孔協助散熱。
(a) (b)
圖 3-15 手持式裝置設計圖
(a) 手持式裝置內部零件對應圖 (b) 手持式裝置尺寸圖
3.2.4 多光譜拍攝裝置使用流程
草莓葉片在接種一天後,我們會開始進行多光譜的拍攝,使用第一代相機固定 座的拍攝流程如圖 3-16 所示,拍攝多光譜的對位參考位置圖是以拍攝色板為參考 圖,由於參考圖是彩色的,因此事後我們將濾鏡裝上,並利用兩張 A4 紙當成白校 正基準圖片拍攝白校正圖,最後才拍攝樣本的多光譜圖。
圖 3-16 多光譜裝置拍攝流程
3.3 手持式裝置硬體設計
手持式裝置的基本要求為具有可攜性,硬體方面需要配合現有的裝置尺寸跟 體積大小問題,還需要兼顧人體工學等設計讓使用者方便操作跟使用。
3.3.1 手持式硬體設計
多光譜影像的實行上最重要的部分為多光譜影像之間的對位關係,所以必須 確保濾鏡跟微型相機彼此之間的相對位置保持不變,第一代的設計硬體為了讓相 機彼此之間的距離能越小越好,如此一來相機之間所拍攝到的重疊畫面才會越大,
考量到手持式裝置的體積大小,我們一開始設計其固定架為一體成形,如圖 3-17 所示。
圖 3-17 第一代相機跟濾鏡固定架
為了確保相機跟濾鏡不會因為外在因素在實驗過程中發生位置變動的狀況,
在固定架四周設有內六角螺絲可以協助鎖住濾鏡跟相機位置。為了讓拍攝時每次 的條件一致,軟體跟硬體方面的相對位置上的濾鏡波段都會採用一致性的擺放方 式,裝設濾鏡跟相機的示意圖如圖 3-18。
圖 3-18 相機與濾鏡固定架固定方式
第一代相機濾鏡固定架經過幾次拍攝後發覺由於整個實驗需要拍攝未加濾鏡 的對位參考圖片,此時濾鏡跟相機的固定座為一體成形,反而在實驗時變得很不方 便。考慮到多光譜需要校正位置的問題。我們將相機固定架做了部分修正,將兩個 部分分開來,但也因為拆成兩部分,體積有比原本得稍大。
第二代相機濾鏡固定架的設計可以快速的將四個濾鏡跟相機一起分開,相機
對相機的一些擠壓問題,第二代的實際硬體圖如圖 3-19 所示,扣除固定相機跟濾 鏡的本體之外,中間使用四根金屬柱將兩個本體固定,如此當我們需要將濾鏡卸下 來拍攝對位參考圖時,可以快速將四個濾鏡卸除下來,也比較不會有碰到濾鏡產生 指紋的問題。
圖 3-19 第二代相機固定架
手持式裝置的設計,第一代設計的理念為先能夠將以上相機濾鏡固定架以及 3.2.5 所提及的使用器材完全置入手持式裝置中,並且同時能夠將螢幕顯示在機體 之上,燈光電源的設置採用跟主電路分開的模式,如此一來在進行觀測發病程度或 是調整程式設定時,才不會過度耗費電力,其手持式裝置尺寸跟系統配置架構如圖 3-20 所示。目前第二組跟第三組實驗皆為使用此手持式裝置進行拍攝,手持式實 體裝置為利用 3D 印表機進行列印所架設而成的,其 3D 列印的製程方式表示如表 3-4 所示,選用黑色的原因為避免多餘的光線反射問題,圖 3-21 為 3D 列印的實體 圖,以及實際拍攝時的畫面。
表 3-4 3D 列印裝置製程方式
製程 材質 顏色 層厚
FDM ABS 黑 0.15 mm
(a) (b)
圖 3-20 手持式裝置尺寸與配置圖
(a) 手持式尺寸對照圖 (b) 手持式系統配置圖
(a) (b)
圖 3-21 手持式拍攝實體
(a) 手持式實體整體外觀 (b) 手持式實體拍攝運作狀況
3.3.2 燈光電路
燈光的光源由 LED 燈提供,為了確保 LED 的燈光不會隨著發熱而改變其電 流值,在 LED 的燈光前面需要增加穩流器,提供 LED 燈穩定的電流。隨著 LED 燈使用的時間,LED 會產生相當多的熱能,因此除了 LED 焊接於鋁基板上協助散 熱之外,我們也在鋁基板背後塗上散熱膏並在後面加上散熱片,並在儀器旁邊多開 幾個洞協助散熱,LED 燈裝置設計圖跟實體放置圖如圖 3-22,圖 3-23 則是電池、
穩壓模組和 LED 的接線簡圖。
圖 3-22 LED 放置位置圖
圖 3-23 電路設計簡圖
3.3.3 人機介面軟體設計
考慮到搭配 Raspberry Pi 的螢幕介面大小,我們僅設計界面視窗跟 Raspberry Pi 的螢幕所能呈現的尺寸一致,顯示尺寸為:640 × 480 pixels,因為螢幕為電阻 式觸控螢幕,設計的螢幕按鈕需要盡可能的大才能夠方便使用者操作。由於 Raspberry Pi 一旦關機無法繼續記錄現在的時間,多光譜系統拍攝的區域也不一定 有網路可以進行時間同步,因此設計使用者手動輸入開啟程式後的時間,如此一來 拍攝的時候程式就可以依照程式所計算到的時間進行存檔跟紀錄。
圖 3-24 紅色框處為設置時間的地方,綠色框則提供使用者當場觀看程式的時 間設置是否有正常顯示。
圖 3-24 時間調整功能
因為螢幕本體很小,能觀看的範圍不大,若一次顯示多張影像很難辨識出影像 拍攝的狀況是否正常,因此我們利用圖 3-25 紅框的調整框更改不同張照片顯示在 頁面上,現場拍攝完的圖片將會以程式上顯示的時間進行自動存檔。
(a) (b) 圖 3-25 多光譜數據拍攝介面
(a) 拍攝校正圖畫面 (b) 拍攝 Sample 圖畫面,可藉由紅色框處選擇要 看第幾張波段的影像圖。
拍攝完成後程式會自動將參考圖的相對位置關係套用在多光譜樣本影像 上,因為每片葉子的顏色還是稍有不同,為了增加適應性在程式右方 (圖 3-26) 附上滑動條讓使用者可以快速更改遮罩的選取範圍,另外也附有調整框可以做 較為細部的微調。
圖 3-26 去背遮罩微調機制介面圖
當拍攝跟遮罩都設定完畢後,進行到最後一個步驟,可以直接預測當前葉片病 害狀況結果,按下 Step 4 的 Predict 按鈕後 (圖 3-27),程式會自動使用 SVM 預測 剛剛選取出來的葉片範圍,並將最終以假彩色的方式顯示在程式上。
圖 3-27 假彩色程式介面
3.4 多光譜數據處理
為了確保多光譜資料的數據跟實際的病害狀況有正確且互相的對應資訊,在 收集多光譜數據的時,也同時記錄了不同的參考圖片,以便我們能夠在數據處理上 得到更好的結果。數據處理的流程如圖 3-28,拍攝 RGB 圖可以確認我們對照選取 多光譜上有病徵的點,拍攝光源的參考圖片可以讓我們避免掉濾鏡所造成的一些 陰影問題。此外,因為多光譜一次使用四個不同位置的微型相機進行拍攝,所以這 四張多光譜資料之間的位置對應關係也需要被建立起來,因此我們對色板進行拍 攝,並利用拍攝色板後的相片位置資訊建立多光譜資料間相對位置的關係。
圖 3-28 數據處理流程圖
3.4.1 多光譜資料拍攝流程
目前開發程式的系統是使用 Windows 作業系統,並利用 Qt 當作程式開發平 台,撰寫的語言為 C++。因為硬體的架設是建立在相機跟待測物的距離基本上保 持一定的條件下,因此四個相機所拍攝到的畫面彼此的相對位置將會保持一致。礙 於拍攝待測物時,濾鏡的效果會使得各葉片的特徵點變得不明顯,以導致此時尋找 特徵點來接合圖片時,會有很高失敗率。
在預備實驗中我們先把濾鏡取下,使用四個微型攝影機各拍攝一張參考圖片 如圖 3-30 (a),實驗用圖片最後利用參考圖片的相對跟特徵點座標來進行對位,接 合完成如圖 3-30 (b)。參考圖的部分以拍攝色板 (圖 3-31) 當作對位參考圖,為保
持高度一致,色板也放於墊有衛生紙的培養皿中;因為色板各區塊的顏色有差異性,
因此拍攝到的顏色跟格狀型態有助於我們判別相機的解析度跟位置是否正確,茲 先將拍攝接合參考圖的流程圖整理如圖 3-29,以幫助了解整套軟體拍攝的流程。
圖片對位的方式利用 OpenCV Library (Bradski, 2000) 中的 SURF (Speeded-Up Robust Features) 先將一開始的參考圖片做接合,並確認參考圖對位成功。因為四 張圖片的位置不為同一台相機拍攝,因此每張圖片的視角範圍都有落差,接合前先 對圖片進行歪曲 (Warping) ,如此一來圖片對位時,才能把對應的點整合到同一平 面上,才不會產生錯位的現象。確認參考圖片適合當作參考圖後,我們將參考圖片 進行的歪曲方式、對位的對應位置記錄下來,待拍攝待測物時使用。
經過多次拍攝後的結果,我們發現即使把濾鏡取下拍攝,偶爾還是會出現參考 圖片無法精準對位,或是對位圖片完全沒有用的狀況。經過更改多張影像跟拍攝位 置之後,判定應為參考圖片是色板,其特徵主要是顯示在顏色上面,而不是形狀方 面,因此我們更換了對位參考圖片,發現對位的準確度跟成功率都大幅提升。
再者,考慮到拍攝前如果要將濾鏡拆卸下來,整個實驗的進行不但不方便,還 很耗時,考慮到雖然濾鏡會造成光影跟顏色不同的變化,但對於黑白圖片而言,每 個濾鏡所接受到的亮光強度應該不會差異太大,白色的部分依然全數反射,黑色的 區塊則應該不會有任何反射;基於這樣的考量,我們將參考圖片轉為黑白圖片,以 形狀特徵替代顏色的差異性進行接合,得到的結果可以順利對位,也省去多光譜實 驗的複雜度。新的對位參考圖如圖 3-32 所示,可以發現不同濾鏡下拍攝的圖片顏 色差異性並不大。
圖 3-29 軟體參考對位流程圖
(a)
(b) 圖 3-30 預備實驗參考圖片拍攝結果
(a) 參考圖原圖 (b) 參考圖對正扭曲後的個別結果圖
圖 3-32 新型實驗拍攝對位圖
由圖片可以發現雖然透過四個不同濾鏡拍攝,但圖片的基本顏色並無太 大差異,因此可以順利進行圖片對位。
3.4.2 資料前處理
影像白校正
因為濾鏡會造成黑白相間的光源變化,因此在使用數據資料前,我們需要先對 資料點進行光源的校正,以免造成資料收集跟對應的時候因為光源的問題造成數 據錯誤。我們使用 (式 2-6 )、(式 2-7) 進行圖像的白校正。
在拍攝收集實驗數據之前,我們會將濾鏡裝上,並對兩張疊起來的 A4 紙進行 拍攝,我們將會利用這張拍攝 A4 紙的光影變化當作校正光線的參考值。從圖 3-33 可以發現有很明顯的光影交錯狀況出現,如果沒有進行白校正,數據會因為在中間 的光線較充足,而在邊緣的光線不充足,而造成收集的數據點有不同的反射光線值,
如此一來在進行分類跟取點的時候,會造成嚴重的誤判跟不準確性。
圖 3-33 白校正用圖片
透過不同濾鏡拍攝造成的不同光線變化,有明顯的 光線不均勻現象。
利用光源參考圖當作白校正的參考值,可以得到如圖 3-34 的結果圖,由原圖 跟白校正後的圖片可以觀察出,經過白校正後,整張圖片的不均勻光源現象有獲得 改善,但因為後方的背景是黑色的底色,因此在經過白校正後,背景的部分反而會 出現光源不均勻的現象,但因為背景得部分不列入取樣本得計算之內,因此不會影 響到我們取樣本的像素值。
(a) (b) 圖 3-34 經過白校正後的樣本圖
經過白校正後,光源的不均勻現象獲得改善,其中 (a) 為還未經過白 校正的原圖,(b) 為經過白校正後的圖片。
陰影去除
由於葉片本身有凹凸不平的狀況出現,因此在進行測試時會造成誤判的狀況 發生,因此在進行預測跟選點時,希望能夠經由影響處理過後將陰影的影響降低到 最低。
經過四張原圖的互相比較跟分析後,我們認為或許可以利用影像相除跟相減 的方法來降低陰影的影響。表 3-5 為我們任意選擇兩張圖片進行相減相除後的定 義以及接下來論文當中說明該圖片的代號。
表 3-5 影像前處理定義跟其圖片代號
代號 定義 代號 定義
M1 568 nm - 700 nm D1 700 nm / 568 nm M2 568 nm - 750 nm D2 750 nm / 568 nm M3 568 nm - 830 nm D3 830 nm / 568 nm M4 700 nm - 750 nm D4 750 nm / 700 nm M5 700 nm - 830 nm D5 830 nm / 700 nm M6 750 nm - 830 nm D6 830 nm / 750 nm
經過影像處理後的圖片整理如表 3-6 和表 3-7 所示,觀察判斷有些圖片經過 處理之後,陰影的部分有較為不明顯,因為陰影的區塊在四張圖片上面基本上都會 出現,經過處理之後,該陰影的區塊有機會被模糊化。
相除圖片的處理除了按照表 3-5 的定義做處理外,為了避免四張原圖的顏色 差異太大造成相減時誤差會很大,因此我們再進行相除處理之前,我們有先對四張 原圖做調整,將四張原圖的像素最高峰值調整至灰階值為 127,再對圖片進行相出 並正規化後得到的結果。
表 3-6 健康期圖片經過前處理後的結果
M1 D1
M2 D2
M3 D3
M4 D4
M5 D5
M6 D6
表 3-7 有病徵的圖片經過前處理後的結果
M1 D1
M2 D2
M3 D3
M4 D4
M5 D5
M6 D6
3.4.3 資料對應與去除背景
遮罩閾值調整
因為拍攝圖片時不僅會拍攝到待測物,也會連帶將背景資料一概記錄進去,因 此我們會先對圖片進行前處理,以避免在進行預測葉片健康程度時,對不是葉片的 部分也進行預測,這樣可以省去預測背景區塊的時間,也能夠避免使用者將葉緣部 分誤判錯誤。去除背景的部分,我們從四張不同濾鏡下的圖片中,選取兩張葉片顏 色差異性最大的圖片,並將葉片數值介於某個區間內的圖像保留下來。圖 3-35 為 四張不同濾鏡下拍攝出來的圖片,因所接受得波段不同,因此葉片對於該波段的反 射率也大不相同,利用此特性可以有效找出葉片的區塊。
(a) (b)
(c) (d)
圖 3-35 濾鏡下所拍攝到的圖片
(a) 568 nm 波段圖,(b) 700 nm 波段圖,(c) 750 nm 波段圖, (d) 830 nm 波段圖
本研究選擇的圖片是 568 nm 跟 750 nm 兩張的圖片,因為這兩張圖片的背景 顏色差異性不大,但在葉片的部分卻有明顯的差異性,在 568 nm 的圖片各像素值 約大於 91,並且 750 nm 的圖片像素值約小於 126 時,我們判斷該區塊為葉片的部 分,數值部分隨著葉片的顏色差異性跟病徵的差異性,會有些許的差別,需要進行 個別的微調。因為圖片會有一些細微的雜訊和相似於葉片的部分,這裡使用侵蝕 (Erosion) 跟膨脹 (Dilation) 兩種方法來去除雜訊。
此實驗微型攝影機的解析度為 640×480,其中使用的侵蝕跟膨脹大小使用為 5 個像素。圖 3-36 (a) 所示為一開始符合葉片範圍的區塊,圖 3-36 (b) 為進行過侵 蝕後的圖片,可以把大部分不屬於葉片的部分消除掉,圖 3-36 (c) 為將侵蝕後的 圖片再度膨脹後的圖片,最後的圖片基本上可以完整顯現出原本葉片的區塊範圍。
(a) (b) (c)
圖 3-36 葉片經過侵蝕跟膨脹的過程
(a) 符合葉片範圍的區域 (b) 利用侵蝕方法,將符合葉片範圍的區域進行 處理後的葉片區塊 (c) 將侵蝕過後的 (b) 經由膨脹處理後的葉片區域 NDVI 扣除背景區域
由(式 2-8)的式子可以得到植物的植被區域,藉由剛剛上述的閾值調整,可以 將大致的葉片區域調整出來,但會因為葉子上的顏色跟斑點或是背景的顏色造成 部分的誤判,另外還有葉片之外的背景區塊也會被誤判成葉片區塊,如此一來在進 行分析時,很容易將不是葉片的部分也計算進來,圖 3-37 NDVI 圖片顯示的紅色 跟綠色區塊範圍為閾值所挑選出來為葉片的部分,可以看的出來背景部分,葉片的 後方有部分應該為陰影的區塊也被判斷為葉片,另外固定框以外的部分也會被誤
判成葉片部分,經過 NDVI 判斷找出的葉片部分,兩者互相配合,可以將葉片的區 塊更加精準的找出來,也可以避免背景的雜訊,因此本實驗將兩種去被方法合併一 起使用,以確保得到更好的去除背景效果。
圖 3-37 NDVI 圖片
綠色部分為 NDVI 判斷為植被的區塊,而整張圖 非黑色的區塊則是由閾值所判別出來的葉片區 塊。
3.4.4 多光譜資料特徵點擷取
目前使用人工取點的方式取得病害點,目前因為數據資料不夠多,先以人工取 點的方式完成取點。因為多光譜照片的解析度僅 640×480,因此這邊選擇取的資料 點是以一個像素為單位,如果選擇大於一個像素的點做計算,會因為受周遭像素的 影響太大,而容易造成以這些特徵點進行分類時,常會因所取的資料點而產生資料 點一面倒被分到某一類的狀況。
同一片葉子經過不同的數據訓練後,分類結果容易有一面倒的現象,如圖 3-38 所示,這是在一次取 3×3 個像素點平均後當資料點的情況下,第一張圖葉片幾乎 都被分到綠色類別,第二張圖則是另一組數據得到的結果,葉片幾乎全部被分到紅 色的類別。
(a) (b) 圖 3-38 利用3 × 3樣本點訓練的結果
(a) 大量分成健康的點 (b) 大量分成有病徵的狀況
因為多光譜一次拍攝四張照片,因此在數據分類時,我們將四張圖各自的像素 點合併成一張 1×4 個像素點的圖片,目前選取資料點的方法是以人工取點,對照 RGB 圖片,進行取點,利用先前前處理方式所得到的各張多光譜照片的相對位置,
可以將四張多光譜圖片的同一對應點找出來,並分別取得它們個別的色彩資訊並 合成一張圖,如圖 3-39 和圖 3-40 所示。
(a) (b) (c) (d)
圖 3-39 擷取各濾波圖的單一像素
(a) 568 nm 波段選點圖,(b) 700 nm 波段選點圖,(c) 750 nm 波段選點 圖,(d) 830 nm 波段選點圖