身心障礙者環境控制與輔助溝通整合系統---子計畫六:身心障礙者環境控制與輔助溝通整合系統之眼控影像溝通系統(III)

行政院國家科學委員會專題研究計畫 成果報告

子計畫六：身心障礙者環境控制與輔助溝通整合系統之眼控

影像溝通系統(3/3)

計畫類別： 整合型計畫 計畫編號： NSC94-2614-E-151-001- 執行期間： 94 年 08 月 01 日至 95 年 07 月 31 日 執行單位： 國立高雄應用科技大學電子工程系 計畫主持人： 楊正宏 報告類型： 完整報告 報告附件： 出席國際會議研究心得報告及發表論文 處理方式： 本計畫涉及專利或其他智慧財產權，2 年後可公開查詢

中 華 民 國 95 年 10 月 30 日

行政院國家科學委員會專題研究計畫成果報告

身心障礙者環境控制與輔助溝通整合系統之

眼控影像溝通系統-子計畫六(3/3)

Environmental Control and Integrated Assistive Communication

System - Development of a Visually Controlled Image

Communication System

計畫編號：NSC 93-2213-E-151-014

執行期限：94 年 8 月 1 日至 95 年 7 月 31 日

主持人：楊正宏 國立高雄應用科技大學電子工程系

共同主持人： 張瑞昆 高雄長庚醫院復健中心

一、中文摘要 在本計劃中使用眼睛作為控制媒介， 結合摩斯碼輸入裝置來實現一個環境控制 的系統，身心障礙者不須配帶任何輔助辨 識工具，僅須透過眼睛的動作，便能夠進 行相關的日常活動。本計畫利用高解析 CCD 攝影機針對眼睛的位置，以機器視覺 理論與方法進行搜尋，在鎖定眼睛的位置 後，再進行眼睛狀態的比對，如眨眼、左 視、右視、上視及下視等動作，並將上述 的眼睛活動狀態轉換成眼控的命令訊號或 指令，以作為控制電腦、電子、通訊及家 電等設備的重要機制。本年將前兩年的研 究成果，實際結合在應用控制上，在應用 系統上加入在無線電路的設計，並改良單 鍵摩斯碼按鍵，改採眼控摩斯碼與無線傳 輸方式以 RF 訊號做傳導，讓施力困難或 行動不方便的人能藉由此一系統，進行定 點和非定點的作業方式來控制週邊家電設 備。 關鍵詞：摩斯碼、調適性演算法、環境控 制、科技輔具、數位影像處理 Abstract

In this research project, we designed and implemented a wireless environmental

control system using eye movement in combination with Morse code for an adopted access communication interface. The system employs a high resolution CCD video camera to evaluate eye movement via theories and methods commonly used in machine vision. The eye movement captured by the CCD video camera will compare the movement activity via pattern recognition. After the computer determines activity pattern, it can transform the data into a signal or command, which will be the control source for the computer, electronic communication equipment, IA, etc. This research applies the achievements of study done over the previous two years and combines them with control applications in a practical way. Wireless circuits were employed to design and improve the Morse code input keystrokes. Using eyes to operate Morse code and RF signals transmission, the system will be useful for control of electronic equipment in a household via fixed or non-fixed entry points.

Keywords: Pattern Recognition, Machine

Vision, Eyes Controlled, Morse Code, Digital Image Processing.

-2-隨著醫療技術與資訊科技的進步，科 技輔具對於殘障者所扮演的角色愈來愈重 要，在各種科技輔具中，以建構在電腦上 的軟硬體設備最多。在先進國家的醫療方 面學者專家，期許藉由電腦能擴大殘障者 殘存的能力、補償較為不足或有提升的能 力。由於部份身心障礙者的四肢、語言能 力與感官上的缺損，難免與外界在表達溝 通上產生困難，需藉由輔助工具的幫忙來 完成與他人交談。而目前國內外所積極開 發人機介面(Human Machine Interface)的 工具大多以眼睛、頭部的動作為控制源； 如眼瞳追蹤系統[1-2]、頭控系統[3-4]等， 其主要研究皆在於運用影像處理技術，追 蹤眼瞳的位置並加以辨別眼瞳的位移或藉 由配戴頭部感應器的感應訊號，進而控制 滑鼠游標的移動來操作電腦。而以上系統 除需搭配其它額外的配備增加使用者負擔 外，其價格昂貴亦是主要缺點。 本系統係以低價位數位攝影機，採無 接觸方式(Contactless)擷取眼框的位置狀 態做進一步自動與快速的判別，透過影像 處理技術[5-8]，轉換成眼控的訊號作為家 電控制與電腦操作應用之控制源。其次， 摩斯碼一直是最被廣泛應用來傳遞訊息的 方式，若是能利用摩斯碼(Morse Code)其 長短音組合的特性來各別表達不同的行為 模式，做為殘障者對外溝通的輔助工具， 對於四肢重度癱瘓、無法在言語上能夠輕 易發揮的使用者，運用摩斯碼國際標準編 碼所代表的字彙就能與他人對談，確是一 大助益。 我們運用電腦視覺(Computer Vision) 的影像處理分析技術來取代人類的視覺來 進行相關事物的辨識與判斷，做出非接觸 式的即時性眼控系統，對殘障者可活動眼 框的開啟與閉合動作，加以訓練來提高眨 眼長短時間的辨識率，進而對摩斯碼作出 正確的判斷，就可解譯出人類可知悉的字 彙語句；另輔以發音函式庫與文字朗讀引 擎，電腦就可代替人類發出語音與人溝通。 眼控系統使用於摩斯碼之應用係以重 度肢體癱瘓的患者（如頸椎第四節受傷或 Lock-in Syndorme 或僅餘頭部動作者）為 使用對象，即便是語言表達困難，四肢無 法活動，只要主觀意識清楚，其眨眼時間 的長短變化將是此類病人與外界溝通的最 佳管道。因此本系統對於患者僅要針對眼 睛的開閉行為就能對電腦螢幕上內建的語 音輸出及摩斯碼所對應的符號作出必要的 反應，以達到視覺控制的功能；較以往利 用頭控系統（在頭部戴上感知器與指示器） 控制螢幕指標的方式的確要來的簡便許 多。 三、結果與討論 本研究係延續前兩年的研究成果，實 際結合在應用控制上。首先，在本計劃的 應用系統上，我們加入在無線電路的設 計，採用現有市售 RF 單晶片組，使無線 傳輸的架構單純化，以大幅降低設計成 本；接著改良過去所完成的單鍵的摩斯碼 按鍵，改採眼控摩斯碼與無線傳輸方式以 RF 訊號做傳導，使其控制範圍擴大，操控 彈性增加，讓施力困難或行動不方便的人 能藉由此一系統，進行定點和非定點的作 業方式來控制週邊家電設備，透過無線 RF 訊號之傳送，讓使用者就可以在屋內來控 制整個環境的家電設備，大幅提升了身心 障礙者本身的獨立性，降低社會成本。 在 RF 控制模組研究，當命令訊號從 PC 控制模組傳回時，單晶片和解碼電路會 開始進行資料接收的動作，並將資料輸入 混 頻 器 (mixer) 與 本 地 振 盪 器 (local oscillator)相加，產生所欲發射之調變波 (modulating wave)，由功率放大器(power amplifier)放大後由天線送出，經過接收端 (家電控制模組)的 8051 晶片處理解碼後， 對家電設備(如：燈光音響、電視機、錄放 影機…等)進行相關控制。 當命令訊號經由天線進入，經放大器 放大後，在混頻器與本地振盪器做差頻， 產生一較低之中頻頻率，再經中頻訊號放 大器(middle frequency signal amplifier)、中 頻濾波器(middle frequency filter)，以限制 其接收機之接收頻寬(band width)，接著經 限幅與濾波器(filter)的處理將訊號濾出後

送至比較器(comparer)，使其 DATA 訊號 格式成為 0 與 1 之數位邏輯訊號輸出，並 將此資料送到單晶片處理解譯，由單晶片 控制周邊設施控制器，處理使用者所要求 的動作，電路方塊圖如下圖 1 所示。 其它 u2 u3 u4 u5 un u1 x2 x1* / * u4 u4 單晶片 混頻器 中波 濾波器 比較器 RF 接收天線 RF訊號 運算 放大器 0/1 視聽設備 開關電路 燈光設備 圖 1. 家電控制電路方塊圖 在本系統中，肢體障礙者可藉由單鍵 摩斯碼控制器，輸入欲使用的週邊家電控 制碼並產生和按鍵有關的摩斯碼信號，信 號經由串列埠傳入電腦，透過調適性系統 的演算法分析，再重新調整輸入後的信 號，消除會影響肢障者本身輸入正確性的 因素，而這些因素通常來自肢障者受控於 先天抑或後天所帶來的肌力控制障礙。最 後，將調適後的控制信號編碼後，以 RF 無線通訊方式發送至該項接收設備，進行 家電控制。換言之，當身心障礙者想要看 電視時，僅需利用眼控摩斯碼控制器，輸 入電視的功能碼，如短、短、短、短、長 碼則打開電視，輸入短、短、短碼可調大 音量等，輸入完畢後，系統將輸入後的按 鍵資料(摩斯碼字串流)透過 RF 無線傳輸 方式送入 RF 控制模組再經由串列埠轉送 入個人電腦中利用演算法來辨識，然後再 將辨識後的碼經由 RF 傳送至該家電設 備，即可啟動該項功能。其它家電設備的 控制方法亦如此。讓肢體障礙者能隨身所 欲的自主操控日常起居的生活。 四、結論與計畫成果自評 本文「眼控系統使用於摩斯碼之應 用」，係整合多種影像處理技術所發展的人 機介面，藉由所設計的應用程式，快速追 蹤到眼框的位置；透過非接觸式的方法， 利用一般普遍性的傳輸介面、低價位的 Web Camera 攝影機擷取影像，自行開發影 像處理程式，將眼睛位置找出後，分別以 不同的眼睛動作狀態進行比對工作，並經 由預先的學習做訓練樣本的時間判別，以 提高眨眼的開啟閉合時間的判斷準確率， 因此藉由不同長短音的組成來獲知對應的 命令或訊息，以作為控制電腦語音輸出或 家電設備之控制。 本系統使用的 CCD 攝影機為工業標 準，因為所擷取的影像較無一般視訊 CCD 會有殘影現象，但在解析度與光圈的控 制，不像一般數位 CCD 攝影機具有自動 調焦及明暗對比調整功能，故在擷取影像 時，會因不同的光源或遠近而產生影像過 暗、或者焦距模糊的問題，因此為了避免 焦距模糊現象，採用短焦距 f 之鏡頭，亦 即為廣角鏡頭，將焦距在很短距離便可成 為無限遠狀態。而在光源昏暗不明時，則 在擷取每張影像處理之前，將影像進行亮 化 處 理 (Brightness) ， 或 正 規 化 處 理 (Normalize)，其原理是將影像統計灰度值 (Gray value)後，在將其灰度值依照比例放 大至 0~255 之間，使其灰度值均勻散佈於 0~255 範圍，並更改原有灰度值後，將影 像的由原本的昏暗變為明亮。 當影像傳輸過慢，造成無法辨識眼睛 活動的狀態，因為 CCD 攝影機目前最佳 的解析度為 1280 x 1024 像元，但每秒傳輸 的張數為 14 幅，而眼睛閉眼的瞬間，很可 能小於影像每張之間的速度，故若仍無法

-4-有效擷取閉眼狀態，則考慮調低解析度， 約 640 x 480 像元，但每秒傳輸的張數高達 30 幅，較能擷取閉眼時間的長短，進而作 為摩斯碼的來源依據。 而影像傳輸速率過高，造成無法即時 處理時，其原因是高解析度的影像及每秒 傳輸的影像數量，易造成電腦處理負荷過 重，亦即在 1/14 或 1/30 秒便處理完一張 影像，並且辨識出眼睛狀態及位置，因此 在處理辨識流程方法上，使用 Fuzzy 來取 代傳統數學方法，雖然效果並非能完全達 到完善，但卻能縮短處理效率，達到即時 辨識效果。並且能藉由更新電腦設備，將 CPU 處理的速度，更換成較高等級高速 CPU，或者選擇多 CPU 電腦使其能夠多工 處理，並且加大 RAM 空間，使其所有的 作業及儲存處理動作皆在 Memory 內處 理。 本系統採用高頻無線通訊的方法來取 代。但是當系統在使用 RF 訊號作無線傳 輸時，因為允許較大的發射器之頻率誤差 及較寬廣的溫度工作範圍，使得較寬的頻 寬可能會影響到接收機的靈敏度，本系統 先找出較適合使用的中頻頻寬，再利用濾 波器將頻寬的範圍減小，以求得接收機的 最佳靈敏度，提高系統效益，改善了紅外 線傳送距離短、易受外物遮蔽及具方向性 等缺點。 在本三年計畫中，我們在第一年完成 了下列工作項目： (1) 設備建置：將計畫架構所需的設備進行 採購，採購設備有：高解析度 CCD 攝 影機、平板電腦、無線數位傳輸設備 等，並且研讀設備的規格與熟悉其操作 特性。 (2) 設備整合與測試：將高解析度 CCD 攝 影機與平板電腦連線，並轉寫程式抓取 CCD 攝影機所擷取的資料，以確定能 夠掌握 CCD 攝影機輸出的影像資料， 並對於各介面間的技術與瓶頸逐一排 除。 (3) 程式開發與撰寫：以程式開發進行影像 目標物的搜尋，初期能夠找尋臉型位 置，然後進階由臉形區域進行眼睛位置 的搜尋。 (4) 辨識眼睛動作狀態雛形：透過影像辨識 方法，將眼睛位置找出後，分別以不同 的眼睛動作狀態進行比對工作，然後由 不同的眼睛樣本來獲知對應的命令或 訊息，並測試其眼睛辨識是否正確。 第二年完成了下列工作項目： (1) 辨識功能改善：延續第一年的研究進 度，針對辨識的效率與正確性進行改 善，對於將擷取影像畫面的處理時間 上，能夠在下一個影像畫面傳達之前能 夠完成辨識工作，並且能夠保持辨識的 正確性。 (2) 週邊設備簡單控制：完成辨識眼睛動作 狀態後，將對應的命令或訊息加以編碼 後，透過無線傳輸設備，實際控制簡單 的電子及電器設備，以完成圖形眼控設 備的階段。 (3) 摩斯碼的結合應用：利用第一年的圖形 眼睛閉眼與睜眼的狀態特性，實際應用 於摩斯編碼的機制產生命令及訊號，以 表格對照方式來傳遞與控制電子及家 電設備。 第三年完成了下列工作項目： (1) 無線通訊的結合：將前兩年的研究與應 用測試結果，進階發展以無線通訊方式 傳送指令控制家電、電器產品、及通訊 電子設備，如發送 GSM 簡訊、達到與 外界溝通的機制。 (2) 影像眼控驗證：與其他子計劃整合，並 實際與醫學中心合作，針對需要此設備 的身心障礙人士進行臨床實驗，並改善 其控制的問題與缺點。 (3) 相關應用控制：結合其他子計劃與相關 控制應用，如電腦控制、電器控制、語 音轉換、以及能與外界溝通控制等機制 與應用，完成本計劃的最終目標。 我們應用子計畫三所開發的無線晶片 及摩斯碼辨識方法，使用眼睛作為控制媒 介，結合摩斯碼輸入裝置實現了一個無線 環境控制的系統，身心障礙人士不須配帶

任何輔助辨識工具，僅須透過眼睛的動 作，便能夠進行相關的日常活動。同時利 用子計畫二的「個別化科技輔具計畫」 (IATP)為個案設計與編擬，再進行輔具使 用訓練，提出更實際、更符合身心障礙者 使用的系統，讓重度身心障障者可以減少 依賴的程度，進一步幫助其就學與就業， 確實改善身心障礙者的居家生活。 本計畫由不同學校單位以及醫療單位 共同合作，除了達到產學合作外，且此系 統擁有極高的完成度及可用性。整合其它 子計畫建構完整的環境控制系統，幫助身 心障礙者更方便的操控家電設備，同時也 可用於個人電腦操作上，如：文書處理、 上網…等，以提高他們在居家生活上的便 利性和滿足工作上的需求，讓他們對生活 品質的突破有更多的信心與期待；也協助 障礙障者與他人溝通，改善其學習環境， 提昇教學活動的參與。 五、參考文獻 [1] 林家瑋，眼位追蹤系統，碩士論文， 民國 92 年 7 月。

[2] Chun-Mo Huang, An effective real-time eyeball tracking system, Master Thesis, 2001. [3] 郭靜男，可眼控及頭控之多功能 PC Camera 之研發與應用，碩士論文，民 國 92 年 5 月。 [4] 張凱傑，眼控與頭控之人機介面系統 研發與整合，碩士論文，民國 90 年 5 月。

[5] Rafael C. Genzalez, Richard E. Woods (2002), “Digital Image Processing”, Second Edition, Prentice-Hall, America. [6] 連國珍，數位影像處理，儒林圖書有 限公司，2000 年 5 月。 [7] 鍾國亮，影像處理與電腦視覺，東華 書局，2004 年 2 月。 [8] 謬紹綱 譯，數位影像處理，普林斯頓 國際有限公司，2003 年 8 月。

[9] Yang, Cheng-Hong (2000), Adaptive Morse Code Communication System for Severely Disabled Individuals, Medical Engineering & Physics, Vol. 22, No. 1, 59-66.

[10] Luo, C.-H., Shih, C.-H., and Shih, C.-T. (1997), Chinese Morse code communication Auxiliary System for the Disabled, Chinese Journal of Medical and Biological Engineering, 1996: 2: 214-230.

[11] Luo, C.-H. and Shih, C.-H. (1996), Adaptive Morse-Coded Single-Switch Communication System for the Disabled, International Journal of Biomedical Computing, 41, 1996, 99-106.

[12] C.-H. Shih, C.-H. Luo, A Morse-Coded recognition system with LMS and matching algorithms for persons with disabilities, Int. J. of Medical Informatics 44 (1997) 193-202.

[13] McDonald, J. B., Schwejda, P., Marriner, N., Wilson, W., and Ross, A. Advantages of Morse code as a computer input for school-aged children with physical disability, Computers and the Handicapped, National Research Council of Canada, Ottawa, 1982, 95-106.

[14] Russel, M. and Rego, R. A. (1988), Morse code communication device for a deaf-blind individual, ICAART 88, Montreal.

[15] Levine, S. P., Gauger, J. R. D., Bwers, L. D. and Khan, K. J. A comparison of mouth stick and Morse code text inputs. AAC Augmentative and Alternative Communication 2, 51 (1986).

[16] French, J. J., Silverstein, F. And Siebens, A. A. An inexpensive computer based Morse code communication system., RESNA 1986, Minnesota, 259-261.

-6-http://www.che-ez.com/jp/webbo_plus/ index.html.