線上教學之食用貝類辨識系統

(1)

線上教學之食用貝類辨識系統

王建仁蔡哲民王麒讚吳明昆崑山科技大學資訊管理系助理教授崑山科技大學資訊管理系助理教授崑山科技大學資訊管理系研究生崑山科技大學資訊管理系研究生 cjw@mail.ksu.edu.t w tjm@fhl.net fins8855@hotmail.c om aptx_0826@yahoo.c om.tw

摘要

貝類為台灣重要的食物來源，本論文提出一線上教學食用貝類辨識系統，以便學習食用貝類的知識。使用者只需上傳貝類的照片，系統自動擷取食用貝類的外型、紋理及顏色三種特徵，並使用類神經網路作為辨識工具，辨識結果與相關資料將回傳給使用者。目前本系統建立九種主要食用貝類的資料庫。由實驗結果可以得知，本系統的辨識速率較應用投票法之辨識系統，有顯著的改進。本系統除線上教學網站外，為方便教師於課堂實物教學，亦有實體辨識箱可供使用。關鍵詞：線上教學、食用貝類、類神經網路、投票法

Abstract

Shellfish is an important resource of food in Taiwan. In this paper, we propose a web-based eatable shellfish recognition and teaching system for people to learn eatable shellfish. When using this system, users only need to upload the image of the shell. The system extracts the features from the shape, texture, and colors of the shell. A multilayer perceptron neural network is employed as the recognizer. The recognition result and the relevant knowledge will be displayed on the browser. 96% recognition rate can be achieved when recognizing nine kinds of

eatable shellfish. Comparing with the performance of the systems using voting method as the recognition engine, our system can greatly eliminate the delay caused by the voting method. In addition to the web-based system, the object recognition box is also implemented to support the object teaching in the classroom.

Keywords:Web Base Teaching, Eatable

Shellfish, Neural Network, Voting Method

一、前言

由於台灣四面環海，其海洋資源相當豐沛。臺灣漁獲產量前十五名中就有四種是屬於貝類，其中又以貝類位居首位[3]，所以食用貝類與我們日常生活是息息相關的。過去我們想了解某種食用貝類的資訊時，都必須實地去博物館或圖書館瀏覽相關之書籍，針對此書籍中之貝類影像進行比對，或者詢問專業人員，才能找到我們欲尋找之食用貝類的資料。由於貝殼種類繁多，在分類上也錯綜複雜，如此更加耗費使用者在搜尋時的時間與精力。目前辨識食用貝類的方法，最主要是依靠人工的方式搜尋貝類影像資料，並依據其食用貝類的外形特徵進行辨識，如日本貝類圖鑑網站[1]及台灣貝類資料庫[8]，但其中有不少貝類之外形極為相似，因此單以外形判別是難以獲得較高之準確率。一般生物學者，除了利用外形來辨識貝類外，最常使用的特徵是貝類本身的紋理。雖然現今因台灣貝類數位典藏計劃的實

(2)

行，使得許多貝類影像數位化，縮短了使用者過去還需實地去博物館或圖書館查詢的時間，但面對如此龐大的資料往往不知該從何著手。如有一套能夠依據使用者所提供之影像來進行辨識的系統，將能大幅減短查詢的時間且降低搜尋錯誤的情況。過去我們開發了一套基於貝類特徵之網路影像檢索技術[5]，我們在此研究中發現加入顏色特徵來辨識貝類時，其辨識率有明顯的提升。但在此研究中，我們所運用的辨識方法是以投票法來進行辨識，系統在進行辨識時都必須進行資料庫的比對。當多人同時使用該系統時，投票法不但會加重伺服器負擔，且當特徵值資料庫的物種數量逐漸增加時，其處理時間相對變長，這對於即時辨識的環境來說是無法接受的。因此綜合上述所提，本研究利用外形、顏色及紋理作為辨識食用貝類的特徵依據，建置一套食用貝類辨識教學系統，該系統包含一個可供教學用的食用貝類辨識箱以及一個線上教學食用貝類辨識網站 [2]。而為了降低辨識時所需的處理時間，將原先的投票法改以倒傳遞類神經網路來進行食用貝類之辨識。

二、系統架構

本研究主要是建置一套應用倒傳遞類神經網路 (Backpropagation Neural Network,BPNN)為基礎的食用貝類辨識系統，該系統包含實物辨識箱與線上辨識網站。在實物辨識箱方面，我們讓學生可以親自將欲辨識之食用貝類放入辨識箱中進行辨識，系統利用箱子頂端的 WebCAM 擷取出欲辨識之食用貝類影像後，再進入物件特徵擷取流程。該系統擷取食用貝類的外形、顏色、紋理三種特徵後，將這些特徵係數放入訓練完成的類神經網路模型中運算，最後輸出辨識結果給使用者。在線上辨識網站方面，使用者可以將貝類拍攝上傳至網站，系統會使用與辨識箱一樣的辨識方法進行辨識，並呈現結果於網頁上。圖 1 (a)為食用貝類辨識網頁；圖 1 (b)為實體辨識箱。實體辨識箱系統架構與線上辨識網站系統架構分別如圖 2 與圖 3 所示。 (a) (b) 圖 1 (a)實用貝類辨識網頁；(b)實體辨識箱個人電腦輸入影像顯示結果 Web-CAM 螢幕類神經網路影像辨識系統圖 2 實體辨識箱系統架構圖圖 3 線上辨識網站系統架構圖

三、研究方法

本研究所提的食用貝類辨識系統含有影像物件擷取、物件特徵擷取及影像辨識三個子系統。本系統的影像特徵擷取流程如圖 4 所示，使用者輸入影像經過影像物件擷取程序、物件正規化後，進行特徵值

(3)

的擷取，擷取後之特徵值可用來進行訓練類神經網路或進行即時辨識之用。圖 4 影像特徵擷取流程圖 3.1 影像物件擷取 在影像辨識中，首先是如何正確地將欲辨識之主體物件和背景分離，目前物件切割技術常使用的方式大多是透過背景相減(Background Subtraction)[17]、顏色分群 (Color Clustering)[11] 、分水嶺演算法 (Watershed)[15]或是必須經由人工定義初始輪廓的方式擷取物件[16]。但是這些方式大都需要使用者介入，如標示初始輪廓、擷取背景、設定參數等，因此較不易於建置全自動化系統。蔡哲民等人[10]曾提出一套基於經驗法則的物件切割技術，該技術的優點是不需使用者介入切割過程，僅需要上傳一張影像即可全自動切割出主要的物件。由經驗法則我們可得知，一般使用者在拍攝影像時，都會將其所要拍攝的單一物體拍攝於影像的中央附近，且該物體面積與畫面中其它物體相比會較大，所以進行物件擷取時，僅需擷取位於影像中央且面積較大的單一物體。本辨識系統應用該技術來省略參數調整之需求，以期能自動且正確地切割使用者上傳至網站之不同背景的貝殼照片。但原技術所使用之 CIE Lab 顏色空間運算速度過於緩慢，本研究為提升系統速度，改為將 RGB 顏色空間轉換為一般常用灰階影像進行運算。首先將輸入影像，如圖 5 (a)，經由算式(1)進行轉換。 =0.299 +0.587 +0.114 Y ×R ×G × (1) B 同樣的，由於原技術用來去除雜訊之 5x5 的高斯濾波器，其運算複雜度較高。因此將之更換為 5x5 的均值濾波器，以降低處理時間。接著進行 Sobel 邊緣偵測，之後進行物件輪廓的抽取，最後使用經驗法則取出物件。圖 5 (b)為圖 5 (a)經由物件切割之後的結果。 (a) (b) 圖 5 (a)原圖；(b)經物件擷取的物件 3.2 物件正規化 由於在拍攝時可能會產生物件角度的偏移，所以需要將前一步驟所擷取出之所有物件的角度調整至固定角度。首先將物件最長主軸調整至與 Y 軸平行，接著因為物件在拍攝時會受到拍攝距離遠近的影響而變大或變小，因此將所有物件大小正規化至高為 300 像素，並將該物件之質心定位於寬為 640，長為 480 的圖片中心，如圖 6 所示。 (a) (b) 圖 6 (a)經物件擷取後影像； (b)正規化完成後影像 3.3.1 外形特徵擷取 在物件外形特徵的擷取上，以往學者曾提出許多外形特徵描述的演算法，目前較常見之外形特徵描述有兩種：一種是以區域為主的外形特徵描述，如

(4)

Centroid-Contour Distance [18]、像素差異累計等，此種方式是以物件所佔面積來表示該物件之外形，以用於比對兩物件外形差異程度；另一種是以輪廓為主的外形特徵描述，如Angle Code Histogram(ACH) [14]，此種方式是以物件外形輪廓來比對兩物件的外形差異程度。在外形特徵擷取部份，我們以 Centroid-Contour Distance(CCD)來作為描述物件區域的特徵描述，首先系統將前處理完成後的影像物件，計算其質心與物件輪廓之間的歐基里德距離，並以正 Y 軸為 0 度，依照順時鐘方向每 10 度取一距離作為物件的一個 CCD 特徵，總共取出 36 個 CCD 特徵，將其作為物件外形的特徵數據，其繪製完成之直方圖如圖 7 所示。 0 20 40 60 80 100 120 140 160 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 圖 7 物件 CCD 直方圖 3.3.2 顏色特徵分析 因一般影像所使用之 RGB 顏色空間對於運算來說顯得過於龐大，且 RGB 顏色空間對於光線的變化過於敏感，所以本文透過算式(2)將 RGB 顏色空間轉換為 YCbCr 顏色空間。由於 RGB 與 YCbCr 之間的轉換是線性的，因此轉換速度相當快速。本研究為了降低環境光源對於處理時所造成的顏色差異，因此我們僅使用 Cb 與 Cr 來進行直方圖的運算，且我們經實驗發現所有實驗貝類影像之 Cb 值均介於 85 至 144 之間，Cr 值均介於 100 至 159 之間，為了加速運算、節省記憶體，因此在 Cb 與 Cr 直方圖的紀錄上，僅紀錄這些範圍之內的 Cb 與 Cr 值。將 Cb 與 Cr 值根據個數加總起來即為 Cb 與 Cr 顏色直方圖，系統將此兩直方圖存至資料庫以作為影像顏色特徵值，Cb 與 Cr 之顏色直方圖分別如圖 8 之(a)及(b)所示。 0.299 0.587 0.114 0 -0.168 -0.331 0.5 + 128 0.5 -0.418 -0.081 128 Y R Cb G Cr B ⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢₌ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦ (2) 0 500 1000 1500 2000 2500 3000 1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 0 1000 2000 3000 4000 5000 1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 (a) (b) 圖 8 (a)Cb 顏色直方圖；(b)Cr 顏色直方圖 3.3.3 紋理特徵分析 在紋理特徵方面，我們採用小波轉換 (Wavelet Transformation, WT)，小波轉換是一種將空間域影像轉換為頻率域影像的演算法，也就是影像經過小波轉換處理過後，會產生許多不同重要程度的資料，這些資料表示高低不同的頻率，而每個頻率皆有所代表的涵義，因此可以根據這些頻率涵義來分別作處理。由於小波轉換有很多種方式，而 Harr 轉換函數是對影像像素進行水平及垂直運算以求得小波係數，因此其運算複雜度較低，所以本文採用 Harr 小波轉換，以加速整體特徵值在擷取上的速率。系統首先將正規化後之影像轉換為灰階影像，之後經由 Harr 函數進行四階小波轉換後，會得到 13 個區域，這 13 個區域代表著不同的頻率。在小波紋理特徵值的擷取中，由於雜訊均位於高頻部份，因此我們僅使用中低頻部份的小波係數平均數，也就是 HL2、HH2、LH2、HL3、HH3、 LH3、 HL4、HH4 及 LH4 的小波係數平均數作為小波紋理特徵值，並將特徵值依據頻帶編號排序以作為 Harr 小波轉換直方圖(HWT)，如圖 9 所示。

(5)

0 5 10 15 20 25 30 35 1 2 3 4 5 6 7 8 9 頻帶編號小波係數圖 9 HWT 直方圖 3.4 類神經網路 目前類神經網路領域中，主要分為監督式學習與非監督式學習模式。由於倒傳遞類神經網路的學習過程是採用監督式的方式且利用最陡坡降法 (The Gradient Steepest Descent Method)來調整參數，經由網路運算逐步修正參數，直到實際輸出值與目標輸出值誤差達到最小[9]。因為本研究之目的是建置一套食用貝類之辨識系統，所以除在辨識率上需達到一定的標準以外，且辨識過程中不能讓使用者耗費太多時間去等待辨識結果，故本研究選用倒傳遞類神經網路作為辨識工具，架構如圖 10 所示。 1 2 I 1 Z Z2 ZI 1 2 M 1 K b2 ∑ ∫ yj 1 z m z M z 1 y y_k mi

w

km

w

b1 1 d dk 訊息正向傳送誤差修正反向傳送輸入層隱藏層輸出層目標層 2 z 圖 10 倒傳遞類神經網路架構倒傳遞類神經網路的學習過程主要是由資料正向傳送與誤差修正反向傳送所組成的。在資料正向傳送過程中，將資料輸入進輸入層，再經由隱藏層加權運算，透 過 S 形函數轉換後，最後輸出至輸出層。 以第 n 層第 m 個神經元的輸入值為例，是 由第 n-1 層神經元輸出值的非線性函數， 公式如公式(3)：

(

)

n n m m

z

=

f net

(3) 公式(3)中 n m z 為第 n 層的輸出值， f 為轉換 函數， n m net 為第 n-1 層輸出值的權重累加 值，其運算方式如公式(4)所示。 1 n n n n m mi i m i

net

= ∑

w z

−

+

b

₍₄₎ 其中 n mi w 為第 n 層第 m 個神經元與第 n-1 層第 i 個神經元的權重值，b 為第 n_mn 層第 m 個神經元的偏權值。 在誤差修正反向傳送過程中是當輸出層的值與目標值差距過大才將資料反方向傳播，將誤差訊號沿著原本的連接網路回傳，透過修改各層神經元的權重與偏權值來調整整個網路架構。誤差函數公式如下公式(5)所示。 2

(1/ 2) (

_k _k

)

k

E

=

∑

d

−

y

(5) 公式(5)中d 為第 k 個神經元的目標_k 值， y 為輸出層中第 k 個神經元之輸出_k 值。當誤差值未達到使用者可以容許的誤差範圍時，就必須調整權重值的大小，直到誤差值達到使用者可以容許的誤差範圍內才停止訓練。其調整權重的方法如公式 (6)所示。 mi mi

E

w

η

∂

Δ

= −

∂

(6) 公式(6)中η為學習速率，其大小決定了最陡坡降法修正的幅度。類神經網路訓練之流程圖如圖 11 所示。

(6)

輸入值類神經網路輸入層以亂數產生初始權重與偏權值計算隱藏層與輸出層的輸出計算誤差函數判斷符合誤差範圍調整權重與偏權值否訓練完成是圖 11 類神經網路訓練流程圖 3.5 實驗流程 本系統的實驗流程分為兩個階段，第一階段為訓練類神經網路的模型，將欲訓練之食用貝類影像之外形特徵值 CCD 直方圖、顏色特徵值 CbCr 直方圖與紋理特徵值 HWT 直方圖輸入至類神經網路的輸入層後，透過神經元之間的運算，直到誤差值達到使用者所設定的誤差範圍即停止訓練。第二階段為辨識流程，如圖 12 所示，輸入欲辨識的食用貝類影像後，透過影像物件擷取程序取出物件位置，接著將物件正規化，再將此正規化後之食用貝類影像進行特徵值的擷取。系統擷取完食用貝類特徵值後，將這些特徵值作為類神經網路的輸入值，輸入至已訓練完成的類神經網路架構中，經神經元節點之間的運算，最後輸出辨識結果。圖 12 辨識流程圖由於系統擷取出來的特徵值範圍差距過大，所以我們將特徵值正規化至-5~5 之間，以利神經網路的迅速收斂。

四、實驗結果與討論

我們總共進行兩項實驗，一項為利用線上辨識網頁進行食用貝類的辨識，而另一項則是利用辨識箱進行食用貝類的辨識，其種類如圖 13 所示。在這兩項實驗中，我們均使用投票法與類神經網路兩種不同的辨識方法，來比較其辨識速率與準確度。圖 13 實驗使用之食用貝類圖(依序為：文蛤、波紋簾蛤、毛蟶、環文蛤、菲律賓簾蛤、蚵岩螺、鳳螺、薄殼鴨嘴蛤、毛蛤) 在線上辨識網頁的實驗所使用之辨識影像與資料庫影像皆是利用解析度較高之數位照相機拍攝，每種貝類拍攝 30 張不同

(7)

個體影像，其中 20 張作為資料庫影像，另外 10 張作為測試用影像；而在實物辨識箱實驗用的辨識影像與資料庫影像則是應用一 WebCAM 進行拍攝，每種貝類拍攝 30 張不同個體影像，其中 20 張作為資料庫影像，另外 10 張作為測試用影像。所有拍攝後正規化完成的影像皆為 640x480 Pixels。程式執行與測試環境為 Pentium4 3.0G 配備 2G 記憶體之個人電腦，所使用之伺服器為 Pentium 4 3.0G 配備 2G 記憶體之伺服器，伺服器系統為 Linux，而開發語言為 Java，並以 PHP 作為網頁介面的開發工具。實驗模擬使用者上傳欲辨識的影像與將食用貝類置入辨識箱中進行辨識的流程，系統擷取影像特徵後透過類神經網路運算，最後顯示出最相似之食用貝類影像。在實驗結果中，線上辨識網站中的投票法處理速度約為 1.47 秒，類神經網路處理速度約為 0+_{秒，而在辨識箱中約為 1.93} 秒，類神經網路處理速度約為 0+_秒。由此可看出，本文所應用之類神經網路的辨識處理速度較投票法快。由於線上辨識對即時性的要求相當高，而且當多人同時使用該系統時，使用投票法不但會加重伺服器負擔，且當辨識資料量逐漸增加時，其處理時間相對變長，這對於即時辨識的環境來說是無法接受的。下圖 14 為投票法在各資料量之平均處理時間直方圖。而類神經網路是應用各節點間互相乘積並加總而得出其結果值，因此類神經網路的辨識速度相當快速，所以類神經網路在辨識速度上比較能符合即時辨識應用之需求。圖 14 投票法處理耗時直方圖在辨識準確率上，投票法在線上辨識網站的第一張回傳影像的準確度為 100%，而在辨識箱則為 95%；類神經網路在線上辨識網站的準確率為 96%，而在辨識箱則為 90%。我們可以發現線上辨識網站的辨識率較佳，其原因是相對於辨識箱的 WebCAM 所拍攝出來的影像，所使用之資料庫與測試影像的影像解析度較高。在數位相機拍攝的影像中，貝類的紋理特徵都相當明顯，因此對於辨識率有一定程度上的影響。類神經網路的辨識率較投票法的辨識率低是可以預見的情況，由於類神經網路是經由樣本訓練來取得節點之間的權重值，且輸入層神經元的個數越多，其所需要的訓練樣本相對的也較多，所以樣本數量的多寡會影響類神經網路的辨識率高低，且在本研究中類神經網路的輸入層神經元就高達 165 個，但訓練樣本僅僅只有 20 個，對於需要大量樣本進行訓練的類神經網路來說還稍嫌不足，但其辨識率仍有 90%以上的準確率。因此在本實驗中，類神經網路之辨識率較投票法稍低。

五、結論

本研究之目的是建置一個食用貝類的辨識系統。該系統以食用貝類的外形特徵、紋理特徵及顏色特徵並使用倒傳遞類神經網路作為辨識工具，來進行快速的影像辨識。該系統包含了線上辨識網站與實物辨識箱，教師可利用此系統來進行課堂上或課後輔導的教學，學生不但可以在課堂上利用與實物實際接觸的機會來認識日常生活中常見的食用貝類，也可以在課後之餘利用該線上辨識系統來達到課後學習的目的。由實驗的結果可以得知，使用類神經網路作為辨識工具在整體辨識效能上遠比投票法來得快速，使得線上辨識網站達到真正的即時效果且辨識率也高達96%以上。不過本研究所提出之系統仍有其缺點存在，在增加類神經網路所能辨識的貝類

(8)

種類時，無法直接對類神經網路進行新增物種的操作，而必須將整個類神經網路重新訓練，以取得適當的節點權重，所以在增加類神經網路能辨識的貝類種類時，是較不容易的。

六、參考文獻

[1] 日本貝類圖鑑網站，2007年10月12日取自 http://www.bigai.ne.jp [2] 王建仁、蔡哲民、王麒讚、吳明昆，線上教學食用貝類辨識網站，2007 年 10 月 12 日取自 http://grp.vexp.idv.tw/ [3] 台灣產食用貝類網站，2007年10月12 日取自 http://fishdb.sinica.edu.tw/Sfishwww/edi bleSFISH.HTM [4] 李佳玲，“葉片分類”，資訊工程研究所碩士論文，元智大學，2003年7月。 [5] 李嘉紘、邱郁文、蔡哲民、蔡文吉，“基於貝類特徵之網路影像檢索技術＂， 2006年資訊管理暨實務研討會，虎尾科技大學，2006年11月。 [6] 李嘉紘、邱郁文、蔡哲民、蔡文吉，“應用即時影像辨識技術之貝類輔助教學系統＂，2007年電子商務與數位生活研討會，實踐大學，2007年3月。 [7] 李嘉紘、蔡哲民、王建仁、蔡文吉、吳明昆，“基於貝類正面特徵影像辨識檢索技術＂，2007年資訊科技國際研討會，朝陽科技大學，2007年4月。 [8] 國科會數位博物館先導計畫「台灣貝類資料庫」，2007年10月12日取自 http://shell.sinica.edu.tw/chinese/index_ c.php [9] 張斐章、張麗秋著，“類神經網路＂，東華書局，臺北市，2005年9月。 [10] 蔡哲民、王建仁、陳世傑、周家弘， “ 基於經驗法則的自動物件切割技術＂，2007年資訊技術與產業應用研討會，北台灣科學技術學院，2007年6月。

[11] A. Hong, G . Chen, J. Li, Z. Chi, D.

Zhang, “A flower image retrieval method based on ROI feature,” Journal of Zhejiang University Science, pp.764-772 , 2004

[12] A. Neri, S. Colonnese, G. Russo, P.

Talone, “Automatic Moving Object and Background Sepatation,” Signal Processing, Vol. 66, pp. 219-232, 1998.

[13] C. Faloutsos, R. Barber, M. Flickner, J.

Hafner, W. Niblack, D. Petkovic and W. Equitz, “Efficient and effective querying by image content,” J. Intell. Inform. Sys. Vol. 3, pp.231-262, 1994.

[14] H.L. Peng, S.Y. Chen, “Trademark

shape recognition using closed contours,” Pattern Recognition Letters,18(8), pp. 791-803, 1997.

[15] L. Vincent, P. Soille, “Watersheds in digital spaces: an efficient algorithm based on immersion simulations,” IEEE Trans. Pattern Analysis and Machine Intell., Vol. 13,pp.583-598, June 1991.

[16] M. Kass, A. Witkin, D. Terzopoulos, “Snakes: Active Contour Models”, International Journal of Computer Vision, pp.321-331, 1988.

[17] N. Kehtarnavaz, F. Rajkotwala,

“Real-Time Vision-based Detection of Waiting Pedestrians,” Real-Time Imaging, pp. 433-440, 1997.

[18] Z. Wang, Z. Chi, and D. Feng, “Shape

based leaf image retrieval,” IEE Proceedings –Vision Image and Signal Processing, Vol. 150, No. 1, 2003.