在介紹過前置處理，以及我們所使用的特徵與描述之後，整個系統的 架構已經浮現，本章將描述以上演算法的實驗方法及結果，並以實驗驗證 本系統的可行性，並分析建構此系統所需的最小成本。
4.1 物品影像樣本的取得
由於本系統的主要目的為建構一智慧型的櫥櫃以達到自動偵測缺少物 品並補貨的目的，所以我們也仿造一般家庭的環境，在實驗室內擺了櫃子 以及攝影機作為資料的來源，以 Olympus C-8080 為攝影器材，設定影像解 析度大小為 640*480，65535 色全彩影像，取像設備及取像的角度皆固定，
差別僅在於內部包含的物品不同，且物品擺放的角度也不同，模擬各種可 能出現的情況，以求能確實的辨識出在資料庫中的物品。實驗環境如下圖 所示:
為了測試本系統的可靠程度，我們建立了一個包含了 111 個物品的資料 庫，且為了確定即使物品有橫向的旋轉，仍能清楚識別，我們每隔約二十 度即擷取一張物品影像，如下圖所示:
圖 4.1:一個物品的不同角度圖片
而資料庫中包含的所有物品則如下圖:
圖 4.2:資料庫中的所有物品
4.2 辨識結果
辨識結果分為兩部分，第一部分為一般情形下的辨識結果，以及人們將 物品傾斜擺放下所得的實驗結果。而為了降低建構本系統所使用的成本，
我們希望能了解，當因為使用較便宜的攝影機，而取得品質較差的影像時，
本系統的容忍度是如何，因此第二部分我們列出這方面詳細的實驗結果。
由於一個物品的不同角度可能會有相似的顏色以及形狀，因此辨識結果若 為相同物品的不同角度，我們仍然將其視為成功。此外需要說明的一點，
在系統中所使用的門檻值，皆為利用試誤法(try and error)的方式，根據
實驗室的環境以及拍攝的圖片狀態，所得的一組較佳的門檻值。若希望系 統在別的環境中作用，則必須在該環境中另取一組門檻值，否則可能無法 達到預期效果。
4.2.1 一般情況下的辨識結果
在實驗中，我們擺了五個物體在櫃子中，圖顯示了我們之前取得的背 景，顯示了我們擺上五個物品後的櫃子圖像，圖顯示我們僅僅使用較粗糙 的特徵(主色及顏色配置)得到的查詢結果，最左邊的圖像為我們所查詢的 物品，而其餘的六個圖像代表資料庫中前六個最相似的物品，而由圖可知，
除非物品的顏色分布相當特殊，否則使用粗糙特徵的結果並不好，但速度 相當快。而圖為使用精細的特徵後的結果，雖然比對的速度較慢，但因之 前粗糙的搜尋結果，已刪除了大部分資料庫中可能的物品，因此整體的速 度仍然維持在可以忍受的範圍內。
本系統基礎的介面以及辨識結果則如下圖所示:
(a) (b)
(c) (d)
圖 4.3:普通情況的辨識結果(a)我們建立的背景模型。(b)在櫃中擺了 五個物品。(c)只使用顏色得到的結果。(d)再加上輪廓做辨識後得到的 最後結果。
由圖(c)中可以明顯看出，第一步已篩選出資料庫中顏色分佈相近的物品，
若顏色較特殊，則有可能直接找出正確的物品，並減輕之後步驟對系統執 行時間造成的負擔。
以下是將物品隨便擺放，使用主軸校正後所得到的辨識結果:
(a) (b)
(c) (d)
圖 4.4:傾斜情況的辨識結果 (a)櫃子擺放五個物品的圖片。(b)背景削 除後的結果。(c)使用主軸校正後的結果。(d)最後辨識結果。
4.2.2 解析度與精確度之間的關係
我們使用軟體降低取得圖片的解析度，以達到與使用較差攝影機相同的 效果，並對其再做一次辨識，取得在各個解析度中辨識的正確率，正確率 的算法為對資料庫中每一物品做辨識，最後將辨識成功的物品總數與資料 庫中的物品總數相除而得。由於系統強調辨識率，而實驗在圖片解析度大 小為 640*480 時能夠識別出資料庫中的所有物品，數據令人滿意，因此我 們以此為基準，考慮解析度與正確率間的相互關係。
以下列出在有和沒有使用內插法改善圖片品質的兩種情況下，系統辨識 所得到的初步結果:
圖片解析度大小 櫃子中一格所佔 圖片大小
正常圖片辨識失 敗的物品數
圖片品質改善辨 識失敗的物品數 640 * 480 57 * 57 0 0
560 * 420 51 * 51 6 5 480 * 360 45 * 45 13 12 400 * 300 38 * 38 31 24 320 * 240 30 * 30 54 41 240 * 180 23 * 23 90 85
圖 4.5: 各個解析度中辨識失敗的物品數
圖 4.6:辨識率與解析度曲線圖
由圖表中可看出，使用內插法後對結果的確有些微的改善，在解析度不 高也不低時會產生較明顯的效果，但以實際應用面來看，由於居家用品必 須百分之百的辨識正確，以防廠商送錯貨品造成資源的浪費。為了改善此 問題，我們嘗試使用雙線性內插法(bilinear interpolation)，將像素值 依比例設定為最鄰近四個像素值的結合，以得到更為精緻的圖像，但此方 法對顏色上有較好的效果，卻沒有對物品形狀上的問題有更明顯的改善，
反而增加了所需的時間。因此若沒有使用其他能更加改善圖像品質的方 法，則我們所開發的演算法目前只能作用在 640*480 的解析度下，否則可 能因為辨識錯誤而造成嚴重的後果。
4.2.3 所需時間
由於本系統以正確率為主，因此採用 shape context 作為描述子，但所 需時間就相對變長，無法運用在即時(real-time)系統上。依照物品性質的 不同，辨識所需的時間也將產生極大的差異，因此以下列舉出幾個較具代 表性的例子，並分析此系統對各個物品作用所需的時間。以及我們使用特 徵點先比對做加速後所得成果。此結果受到資料庫的影響相當大，因此若 資料庫中擺放的物品不同，可能會得到不同的結果。
查詢物品 所需時間(未加速) 所需時間(加速) 17.659s 7.320s
20.568s 8.926s
16.329s 13.624s
13.588s 9.257s
6.935s 4.257s
2.187s 1.562s
2.565 2.565
圖 4.7:物品辨識所需時間以及加速後的成果
從前四個物品可知，由於資料庫中淺色系物品相當多，因此當物品為白 色或淡色時，所需時間即明顯偏高，若僅僅使用顏色做比對，可能的候選 者通常都達到一百五十個以上，蘆筍汁的顏色分佈稍為特殊，也減少了辨 識所需的時間，而最後蜜餞以及筆盒的顏色極為特殊，因此使用顏色即可 刪除資料庫中大部分的物品，僅需兩秒左右即可完成辨識。
以上結果是在沒有使用加速的情況下測試的，而在資料庫中物品的限制 下，辨識淡色物品所需時間相當長，假設我們先使用特徵點辨識，再進一 步的篩選顏色比對後所得到的候選物品。則由上圖的結果，可以明顯的看 出辨識時間依物品的不同而有不同的改善，由於前兩個物品的形狀特殊，
因此我們得到的特徵點也與其他物品有相當大的差距，可刪除大部分的候 選者，相當程度減輕了精細比對的負擔。但是同為白色的物體，第三和第 四個物品減輕的幅度就不如之前的多，因為形狀太過簡單，只使用特徵點
無法具體表現出與其它白色物品之間的差異，刪除的反而是資料庫中形狀 較特殊的物品，最後兩個物品其實也是相同的結果，但顏色已刪除大部分 物品，因此加速後的結果改善反而並不是那麼的成功，尤其是筆盒，在辨 識時間上完全沒有改善。由此也可知道，精細比對佔據了整個系統大部分 的時間，若想再降低系統所需時間，或許可從使用更好的加速辦法，或從 再增加簡單的特徵以刪除資料庫中更多的候選物品中著手。
第五章
系統以辨識率作為主要的訴求，因此使用shape context，利用大維 物品的輪廓，因此在辨識率上也達到了一定的水準，但 射轉換(affine transform)將其位置校正，去除物品旋轉的影響。且此時 根據輸入圖片的解析度大小，將圖片做內插以改善低解析度時的物品圖像 品質。
順利找出物品資訊後，為了能確實且快速的辨識出櫥櫃中的物品。我們 使用了階
了主色，顏色配置，以及 shape context 三種描述子，一步步的剔除 資料庫中可能的候選者，最後找出最符合的物品。