第四章 實驗結果與分析
4.2 不同公司行號
不同公司的發票也不一樣，再經過第一層 ROI 的設定後，各商家在發票上 方的圖樣都會被去除，只保留數字區與浮水印的區域，由此可知，不同商家上方 的圖樣不會影響後續的辨識，如圖 4-3 所示。
圖 4-3 不同公司行號的前處理效果
4.3 不同高度
發票數字高度為 4mm，但是相對於發票上緣的距離卻不是固定的，會隨著 發票機的切斷點或是不同商家發票上的 logo 高度和印刷的數字高度而有所變 化，約為 16mm 到 31mm，如圖 4-4 所示。
圖 4-4 發票數字區離頂高
下圖為系統針對不同離頂高發票，設定第一層 ROI 所取得的浮水印圖片，
所有的商家 logo 與商品資訊都會被排除在外，相較於黃偉詮使用發票會隨著拿 取位置改變的高乘上 0.2 倍做數字上下緣範圍的框選，使用寬度所換算的比例更 為精準，可以減少數字區以外多餘的運算量或是數字位置太高時造成數字誤切的 情況，如圖 4-5、圖 4-6 所示。
圖 4-5 離頂高 16 到 23mm 設定 ROI 後的對應圖像
圖 4-6 離頂高 25 到 31mm 設定 ROI 後的對應圖像
4.4 不同顏色與樣式發票
自 99 年度起，發票的浮水印有了變化，數字依然還是在浮水印之上，顏色 依然會隨著變化，但是形狀不再只是圓圈，取而代之的是各種形狀對稱的圖形，
以下包含了整年份的 99 年發票和半年份的 98 年發票，表現各種不同的樣式與顏 色，其圖片最右下角為灰階浮水印區域的圖像，另一張為最後二值化的圖像，由 這九張發票可以看出，雖然發票的顏色有所差異，但是在經過灰階化後會轉換為 各種深淺不同的發票，再經過二值化的處理，就可以將字與浮水印分離開來，浮 水印色系和形狀皆不會影響後續數字辨識的結果，如圖 4-7 所示。
圖 4-7 不同顏色與樣式的浮水印前處理與二值化效果
4.5 不同深淺浮水印變化
接下來做的實驗是測試各種不同深淺與不同均勻度的浮水印經過二值化的 效果，我們使用灰階圖像進行 Otsu 二值化的圖片做為分類的標準，先將圖片分 為兩類，均勻浮水印與不均勻浮水印，如表 4-1 所示。
表 4-1 發票浮水印均勻與否說明
分類 說明
均勻 浮水印經過 Otsu 二值化後，大部份被分類背景，或是大部份 被分類到數字。
不均勻 浮水印經過 Otsu 二值化後，一部份在數字，一部份在背景。
不均勻浮水印的深淺分佈較廣，所以不再細分色彩的濃淡，均勻浮水印則依 深淺分為三種等級，圖表 4-2 所示。
表 4-2 發票浮水印顏色深淺說明
分類 說明
淺色 Otsu 二值化圖片可以完整將數字與浮水印分離。
中間色 Otsu 二值化圖片可以清楚的看出數字，但是會有部份浮水印 的雜點。
深色 Otsu 二值化圖片無法看出數字。
以二值化後的結果為判斷標準，對最陽春的 Otsu 二值化，高第一的 log 轉 換加上 power 轉換再進行 Otsu 二值化，和本論文所提出的發票浮水印分離法進 行比較分析，判斷標準為浮水印去除程度和數字的可辨識性，完整分離的得 3 分，有殘留但可清楚辨識的得 2 分，有殘留但只有部份數字難辨識的得 1 分，完 全無法辨識的 0 分，每種情況各取三張圖，總分 36 分，得分越高，表示浮水印
的分離越成功。
表 4-3 為淺色的均勻浮水印，Otsu 得滿分，黃偉詮的方法對圖像進行了加強，
反而使得部份浮水印或是公司印章被突顯了出來，造成雜訊產生些許雜點在數字 上頭，但是還是可以清楚的辨識出所有數字，得到 7 分，本文使用的方法字體較 其他兩種方法細，全可清楚的辨識出原始的數字。
表 4-3 淺色浮水印不同前處理二值化效果 淺色
灰階 Otsu 二值化 Log+power+Otsu 本文方法 1
3 2 3
2
3 2 3
3
3 3 3
小計 9 7 9
如表 4-4 所示，均勻中間色的 Otsu 皆有雜訊，但全可清楚辨識，得到總分 7 分，黃偉詮的方法在中間色的表現不穩定，雜訊的增加量變多許多，可能會造成 辨識的困難，得到 4 分，文本的方法只有少部份數字有些許的破損，如圖一的數 字 2 少了一小角，但是透過肉眼還是可以清楚的辨識出所有數字。
表 4-4 中間色浮水印不同前處理二值化效果 中間色
灰階 Otsu 二值化 Log+power+Otsu 本文方法 1
2 2 3
2
3 2 3
3
2 0 3
小計 7 4 9
表 4-5 深色浮水印不同前處理二值化效果 深色
灰階 Otsu 二值化 Log+power+Otsu 本文方法 1
0 2 3
2
0 0 3
3
0 0 3
小計 0 2 9
如表 4-5 所示均勻深色的 Otsu 二值化看不出任何數字，得分為 0，黃偉詮的 方法使第一張圖的浮水印產生淡化，突顯出數字的區域，但是仍有部份的數字(如 數字 6)上有些許的雜訊，使 6 可能與 8 混淆，得分為 2，本文的方法在深色時可 以完整的過濾掉浮水印，分離出來的數字皆相當清晰。
如表 4-6 所示，Otsu 二值化在不均勻情況下，效果相當差，只得到 1 分，黃 偉詮的方法可以使部份的浮水印變淺，進而突顯出數字，如圖二可以看見數字 了，但是周圍的雜訊還是相當多，無法分離分佈範圍太廣或太深的浮水印，本文 的方法在不均勻的情況下對雜訊的分離相當完整，但某些浮水印與數字較淺的部 份顏色相似，所以在不均勻的情況下，數字破損的情況會比較明顯，如圖 2 的 8 與 4。
表 4-6 不均勻浮水印不同前處理二值化效果 不均勻
灰階 Otsu 二值化 Log+power+Otsu 本文方法 1
0 0 3
2
1 2 3
3
0 0 3
小計 1 2 9
加總所有圖片的得分，如表 4-7 所示，Otsu 二值化有 17 分，將近一半的得 分，黃偉詮的方法雖然可以拉大數字與浮水印的對比，但是也會拉大浮水印與背 景的對比，反而使浮水印變成雜訊，得分反而比 Otsu 二值化還低，只有 15 分，
而本文方法的確可以有效分離人眼可以清楚辨識的灰階數字與浮水印，在這 12 張圖片的得分是滿分。
表 4-7 二值化效果計分表
Otsu 二值化 Log+power+Otsu 本文方法
淺色 9 7 9
中間色 7 4 9
深色 0 2 9
不均勻 1 2 9
總分 17 15 36
4.6 不同程度的光線
發票對獎的環境都在電腦前，光線的變化穩定，所以我們只討論人眼可以清 楚看到數字且每一次對獎光線都不會有劇烈變化的情況，因此測量環境設計以人 眼可以看到發票數字做為最低亮度，我們將環境設離窗戶(自然光)六公尺遠，在 沒開燈的情況下，由窗戶照進來的些許的光線可以讓人看清發票數字，但是拿來 閱讀一般書籍相當吃力，以這個光線做為最低亮度(不變變因)，接著依續加上數 盞燈光做為控制變因，每換一個光線都重新換一張背景，再利用自動偵測擷圖，
探討光線分佈對畫面所造成的影響，與數字切割的結果。
圖 4-8 最低限度光線切割效果
圖 4-8 為最低光線情況下所取得的圖片，實際情況比畫面還要暗上許多，但 是由於 webcam 有自動曝光和自動白平衡的機制，加上自動偵測會等待畫面的光 線穩定下來才會進行擷圖，所以最後取得的畫面只有稍暗，發票對比較低的情 況，不會影響自動切割的結果。
圖 4-9 由左到右為(a)打了一盞燈、(b)兩盞燈、(c)三盞燈的情形(日常用光為 兩盞燈)，由圖可知均勻光線的情況無論光線強弱，皆不會影響切割的結果。
圖 4-9 不同亮度(a)一盞燈(b)兩盞燈(c)三盞燈
圖 4-10 不同光源方向(a)光源在右半邊(b)光源在右下角(c)光源在右上角
圖 4-10 為在柔光下光線不均的處理結果，(a)為光源在右半邊，(b)為光源在 右下角，(c)為光源在右上角，圖 4-11 為光線在攝攝影機正上方，使攝影機產生 淺淺的影子投射在圖片上，四張圖不同方向的光源使背景有了明暗的變化，但是 由於光線柔和，背景亮度變化有限，沒有強烈的邊緣，對數字切割沒有影響。
圖 4-11 圖像上有淺色陰影的切割效果
如果將控制變因調整為強光，強烈的光線下會使背景嚴重泛白，如圖 4-12 所示影響程式找到發票邊緣與方向，無法通過自動偵測，由這個測試可知，背景
材質不能使用會反光的紙材。
圖 4-12 強烈光源照在底紙的效果
圖 4-13 不同背景的取像結果(a)黑色(b)深藍綠色(c)草綠色
使用黑色背景圖，如圖 4-13(a)所示，會將發票的浮水印去除的乾淨，使圖片 即使沒經過影像增強也可以直接進行二值化，但是白平衡的時間相當久，連帶影 響自動偵測的時間，約五到八秒鐘才能擷一張圖，大大違反了即時性的設定使用 藍綠色的背景，如圖 4-13(b)所示，顏色依然偏深色調，約兩秒鐘一張圖，圖 4-13(c) 雖然為淺色調，但是自動色彩補償的影響，使它和圖 4-13(b)的時間相當接近，
也花了快兩秒才擷能一張圖，但扣掉即時性的需求，程式可以成功辨識不同背景 色的發票，且數字區經過灰階化後，除了深淺不同以外，不會影響數字與背景的 對比情形。
4.7 辨識率
以下的實驗使用 100 張發票，共 800 個數字做為測試範本，分別對「最大相 似度法」、「distance transform 特徵比對法」和二階段式的辨識方法進行統計分析。
由下表可知，最大相似度法使用的權重會影響辨識的正確率，如表 4-8 所示，使
用 1 比 1 時，有 43 個數字錯誤，之後錯誤個數隨著α開始遞減，直到調整為 2
由表 4-9 可以得知，最大相似度法的 95.88%略優於 Distance transform 特徵 比對法的 94.25%，使用二階段的交叉比對則可以將辨識正確率提高到 98.63%。
由表 4-9 可以看出先用最大相似度法，再用區域 distance transform 特徵比對
3* 0.014* 0.014 * 0.986 4.08322%
error e e e
3*0.014 * 0.014 *0.986 0.05798%
error e e e
0.014 *0.014 * 0.014 0.00027%
error e e e
三個字全對的機率為
3
_ 0
P (1 )(1 )(1 )
0.986 * 0.986 * 0.986 95.85853%
all right =C −Pe −Pe −Pe
Preward all right 95.91440%
all right error
P
miss error error
P =P +P = (4.6)
相當於每 1/0.05825%=1717 張中獎發票才會有一張發票被當成沒中獎發票，系統 可靠度非常高。
圖 4-15 輕微皺折與泛黃發票辨識結果
除了上面討論的各種情況外，還有一些特殊情況，如圖 4-16(a)為店家在發 票上面蓋淺色店章，進行完二值化後有部份的印章會被消除，但是還是會保留少 許的印墨，沒有印章和數字重疊的話不會影響辨識結果，但是如果印章蓋到數字 上頭，就有可能會造成辨識失敗，圖 4-16(b)為深色店章，灰階化後非常接近數 字的顏色，二值化無法消除，雖然印章非常接近數字的區域，但還是有保留些許 縫隙可以與店章分離，如果印章再接近數字一點就會造成數字切割失敗，圖
除了上面討論的各種情況外，還有一些特殊情況，如圖 4-16(a)為店家在發 票上面蓋淺色店章，進行完二值化後有部份的印章會被消除，但是還是會保留少 許的印墨，沒有印章和數字重疊的話不會影響辨識結果，但是如果印章蓋到數字 上頭，就有可能會造成辨識失敗，圖 4-16(b)為深色店章，灰階化後非常接近數 字的顏色，二值化無法消除，雖然印章非常接近數字的區域，但還是有保留些許 縫隙可以與店章分離，如果印章再接近數字一點就會造成數字切割失敗，圖