第三章 研究方法
3.3 擷取黑板範圍
在此階段,本研究定義的黑板範圍,即畫面無老師或學生而只有黑板與黑板 上面的粉筆字。首先將取樣出來的畫面,利用 K-means Segmentation[20]方法找 出最大的區塊定義黑板的區域範圍。黑板在教學影片的畫面中佔大部份的範圍,
所以黑板的顏色在分類結果中通常是最大的範圍,由於光源的變化、反光以及黑 板上的粉筆灰影響,使黑板板面像素有色彩和灰階值不均勻的現象,單純用 RGB color space 分類無法明確地判斷出黑板範圍,因此本研究使用𝐿∗𝑎∗𝑏∗ color space[21]。𝐿∗𝑎∗𝑏∗ color space 是感知均勻性的色彩空間,接近人類視覺,它也可
將亮度與顏色分開處理,而黑板的像素值亮度變化大,所以本研究去除掉亮度組 成(𝐿∗)的影響將顏色組成(𝑎∗和𝑏∗)做為判斷的依據。由於在拍攝期間畫面是
15
以黑板為主,而老師在講課期間也會出現在畫面中,為了能將兩者區別,所以上 述的切割方法在實驗中本研究取 K=2(K 為 K-means Segmentation 分群的數量),
切割的結果如圖 9(b)。
Connected Component Labeling 最大區域範圍作為主黑板的區域,藉由統一黑板 範圍之邊界,以降低處理的複雜度如圖 9(c)。
黑板上面的粉筆字因為與黑板的主要顏色差異大,所以在 K-means 的結果 中 粉 筆 字 有 時 會 被 分 類 到 非 黑 板 的 區 域 , 因 此 本 研 究 將 利 用 C o n n e c t e d Component Labeling 判斷非黑板的區域是否有字跡存在。由 K-means 所分割出來
的非黑板區域之像素值為 255 如圖 9(d)。比較每個 component 𝐶𝑘的大小, 𝑘 ∈ {1, … , 𝑚}, 𝑚為畫面中 component 數量,若𝐶𝑘面積小於threshold α,本研究將判斷
該區域是被誤判為非黑板區域的文字,圖 9(e)之紅色字跡為沒有被分類為黑 板區域的黑板文字。圖 9(f)為將誤判區域補回之結果。由圖 10(a)有些有顏 色的粉筆字在 K-means Segmentation 時被分為黑板以外之區域,但經過本研究處 理不同顏色之粉筆字也能在顯現在最終黑板上如圖 10(b)。
16
(a) (b)
(c) (d)
(e) (f)
圖 9 為擷取黑板範圍的結果(a)原始畫面(b)K-means Segmentation 分群的 結果,彩色部分為分群結果的最大群(c)框出黑板範圍區域(d)二值化黑板 範圍(e)紅色顏色的部分為在沒有被分類為黑板區域的黑板文字(f)最終的 黑板範圍
(a) (b)
圖 10 不同顏色的粉筆字擷取黑板範圍的結果(此畫面有橘色、黃色、白色、
藍色的粉筆字)(a)K-means Segmentation 分群的結果(b)最終的黑板範圍
17
18
由於物件區域並不影響影像畫面之更新,因此被老師遮住的文字在之後的畫 面中能保留下來如圖 12(c)。
(a)
(b)
(c)
圖 12 填補物件區域(a)原始畫面(b)K-means Segmentation 分群的結果(c)
填補物件區域之結果
圖 13 則為比較傳統方法字跡像素量統計圖與本研究提出方法的差別,可以 明顯的看出來未補上粉筆字的統計圖有較多的峰谷,易導致擦黑板的時機點誤 判。
19
圖 13 粉筆字像素量統計圖(x 軸為畫面編號,y 軸為字跡像素量)