用於人機介面溝通能夠有一個標準化的規格,能使得不同系統的人機介面溝通, 皆得能到相同的命令指令,藉此增加其通用性。本研究期望,透過數位影像辨識 處理的方式,進而達到擷取手部動作,並對於影像偵測技術與 Support Vector Machine 在人機介面的發展上,做出有用的貢獻。
貳
貳
貳
貳、
、
、文獻探討
、
文獻探討
文獻探討
文獻探討
現今隨著資訊科技的進步,電腦視覺化與數位影像處理的技術日漸成熟,以 手勢影像辨識而言,正常人體手部的指關節活動有著固定角度範圍與一定的特 徵,因此將電腦視覺化與數位影像處理技術,應用於手勢影像的辨識上,是具有 可行性的,本研究與其他研究[3][5][7]都是屬於此類研究的範圍。 一 一 一一、、、、YCbCrYCbCrYCbCrYCbCr色彩模型對於人體膚色偵測的應用色彩模型對於人體膚色偵測的應用色彩模型對於人體膚色偵測的應用 色彩模型對於人體膚色偵測的應用
YCbCr 是色彩空間的一種,亮度(Y)是顏色的亮度(luma)成分,Cb 與 Cr 則是 RGB 色彩模型中,B(藍色)和 R(紅色)像素值的濃度偏移量成份。 而將 RGB 轉換 到 YCbCr 時,人的膚色,將會集中在某個範圍值(Cb、Cr),近年許多膚色偵測的 研究[4][9],都以此做為人體膚色偵測的基礎,而將 RGB 色彩模型轉換為 YCbCr 色彩模型的公式如下: + = 128 128 0 B G R 0.081 0.419 0.5 0.5 0.311 0.169 -0.114 0.587 299 . 0 Cr Cb Y (1) 二 二 二
二、、、、YIQYIQYIQYIQ色彩模型轉換色彩模型轉換色彩模型轉換灰階色彩模型轉換灰階灰階化影像灰階化影像化影像 化影像
假設,影像中有 L 個灰階度,且在第 i 個灰階度中有 Ni個像素點,要找到 一個二值化臨界值 K,K 介於 1~L 之間。假設影像總點數為 N,每一個灰階度出 現的比例 Pi,則
∑
= = L i i N N 1 Pi = Ni/N 若以 K 為臨界值將影像灰階度分成兩群,分別為 1~K 及 K+1~L,則各群出現的機 率為 ω0 與 ω1∑
= = k i i P 1 0 ω∑
+ = = L k i i P 1 1 ω = 1-ω0 各群的灰階度平均值為 μ0 及 μ1,總灰階度平均值則為 1 1 0 0 µ µ µ= ×ω + ×ω 各群的類間方差公式假設為 G,則為 µ) µ ( µ) µ ( µ) µ ( µ) µ ( 0 0 1 1 1 0× − × − + × − × − =ω ω G 將 μ 帶入 G 之後,則得 G =ω0×ω1×(µ0 −µ1)2 若能夠找到一個臨界值 K 使類間方差最大,則 K 即為二值化所要的分割閥值。 四 四 四圖 1 執行 Opening 前 圖 2 執行 Opening 後 (二) Closing 閉合(Closing)運算是先進行公式(4)膨脹後再進行公式(3)侵蝕運算,目的 在於使用膨脹填補破碎後,再利用侵蝕使物件邊緣削減,即可保持物件形狀大 小。閉合(Opening)公式如下: A•B=(A⊗B)ΘB (6) 圖 3 執行 Closing 前 圖 4 執行 Closing 後 三 三 三
三、、、、American Sign LanguageAmerican Sign LanguageAmerican Sign LanguageAmerican Sign Language
美國手語(American Sign Language,ASL)是美國、加拿大英語地區及墨西 哥部分地區裡,最常使用的標準手語之ㄧ,它包含了英文字母 A~Z 與阿拉伯數字 0~9,總共有 36 個不同手部姿勢變化。 圖 5 ASL 手語樣板(圖片來源[1]) 四 四 四
對此部份,本研究提出剔除多餘手臂特徵的演算法,調整物件重心做法為先計算 出畫面的中心與物件的中心,將兩中心相減,可得出△X、△Y 之偏移量,再利 用此偏移量與物件的每一點像素點座標做運算,進行物件中心的調整。 校正手部物件偏移角度演算法如下: Stage1:Intput:輸入手部物件。 Step1:計算出整體畫面的中心(Scenter)。 Step2:計算出手部物件的中心(Ocenter)。
本研究以 SVM 作為辨識基礎,使用 ASL 手語樣板,應用數位影像處理的方 法,設計一套辨識系統,做為人機介面溝通的一種方式。透過此次實驗結果發現, SVM 經由超平面所分類的結果,是可以期待的。SVM 的正確辨識率受到數位影 像前處理與 SVM 特徵向量抽取的方式影響,正規化維度越高,則可以保證 ASL 手語樣板的特徵維持,而如何提升 SVM 正確辨識率的要素就落在多餘資訊量的 剔除與特徵的維持之上,透過本研究提出的"手部物件特徵轉換為 SVM 特徵向量 演算法",對於 SVM 提升正確辨識率,是具有正面助益的。
參考文獻
參考文獻
參考文獻
參考文獻
1. 陳建宏, Application of Mixture of Experts Model to Sign Language Gesture Recognition,南台科技大學資訊工程系所碩士論文,2010.
2. Chih-Chung Chang 、 Chih-Jen Lin , A Library for Support Vector Machines,National Taiwan University,2012.
3. Chuehwei Chang, Chunhao Chang, Yihao Chung, A Two-Hand Multi-Point Gesture Recognition System Based on Adaptive Skin Color Model, Scientific Journal of Information Engineering, Vol. 1 No.1, December 2011.
4. Hideki Noda∗, Michiharu Niimi, Colorization in YCbCr color space and its application to JPEG images, Pattern Recognition ,Vol. 40, pp. 3714–3720, December 2007.
5. J.W.Han,G.Awad,A.Sutherland, Modelling and segmenting subunits for sign language recognition based on hand motion analysis, Pattern Recognition,Vol. 30, pp.623–633. April 2009.
6. Liu, Zhiming, Liu, Chengjun, Fusion of the complementary Discrete Cosine Features in the YIQ color space for face recognition, Computer Vision and Image Understanding Volume: 111, Issue: 3, September, pp. 249-26, September 2008. 7. Mariusz Flasin´ ,SzymonMys´lin´,On the use of graph parsing for recognition of
isolated hand postures of Polish Sign Language, Pattern Recognition,Vol. 43 , pp.2249–2264, June 2010.
8. N. Otsu, "A Threshold Selection Method from gray-level Histograms. IEEE International Conference on System, Man, and Cybernetics. vol. 9, pp. 62–66, January 1979.
9. Rehanullah Khan* , Allan Hanbury, Julian Stöttinger, Abdul Bais, Color based skin classification, Pattern Recognition ,Vol. 33, pp. 157–163, January 2012. 10. Yang, Jian; Liu, Chengjun; Zhang, Lei, Color space normalization: Enhancing