身心障礙者環境控制與輔助溝通整合系統---身心障礙者環境控制與輔助溝通整合系統之眼控影像溝通系統(子計畫六)(I)

行政院國家科學委員會專題研究計畫成果報告

身心障礙者環境控制與輔助溝通整合系統之

眼控影像溝通系統-子計畫六(1/3)

Environmental Control and Assistive Communication Integration

System -Development of Eyes Controlled Image Communication

System

計畫編號：NSC 92-2218-E-151-001

執行期限：92 年 8 月 1 日至 93 年 7 月 31 日

主持人：楊正宏 國立高雄應用科技大學電子工程系

共同主持人： 張瑞昆 高雄長庚醫院復健中心

一、中文摘要 隨著醫療技術與資訊科技的進步，科 技輔具對於身心障礙者所扮演的角色愈來 愈重要，尤其目前的環境控制並非針對身 心障礙者所設計，使用上極為不便。有鑑 於此，在本計劃中使用眼睛作為控制媒 介，結合摩斯碼輸入裝置來實現一個環境 控制的系統，身心障礙者不須配帶任何輔 助辨識工具，僅須透過眼睛的動作，便能 夠進行相關的日常活動。本計畫利用高解 析 CCD 攝影機針對眼睛的位置，以機器 視覺理論與方法進行搜尋，在鎖定眼睛的 位置後，再進行眼睛狀態的比對，如眨眼、 左視、右視、上視及下視等動作，並將上 述的眼睛活動狀態轉換成眼控的命令訊號 或指令，以作為控制電腦、電子、通訊及 家電等設備的重要機制。目前已順利完成 第一階段之計劃目標，將高解析度 CCD 攝影機利用 IEEE1394 與電腦相連接，以 每秒 30 張的影像擷取速度，經影像處理， 進行眼睛部份的定位與辨識，以了解眼睛 目前的狀態並轉譯成摩斯碼。 關鍵詞：摩斯碼、調適性演算法、環境控 制、科技輔具 Abstract

Technological assistive devices are gradually playing a more important role for persons with physical disabilities. Especially, environmental control systems are usually not designed for ones and there are also not

convenient. Therefore, in this research project, we designed and implemented a wireless environmental control system using eyes as an adopted access communication interface, and combination the Morse code. The system uses the high resolution CCD video camera to search eyes situation via theories and methods of Machine Vision. The eyes of situation where captured from CCD video camera will be compared their activity of status via Pattern Recognition. After the computer gets the pattern of activity, it can transfer data into the signal or command which will be a control source for the computer, electronic, communication, and IA etc. In first stage of equipment creation, we utilize the high resolution CCD video camera that connects with the computer via IEEE1394 and transmits the 30 images per second. We built the system to control the camera and capture the images, recognize and position the eyes, and then searches and recognize ones’ activity status.

.

Keywords: Pattern Recognition, Machine

Vision, Eyes Controlled, Morse Code. 二、緣由與目的 由於科技的日新月異，在我們週遭所 使用的電子設備，如家電用品、電子設備、 電腦及通訊產品等，已成為日常生活的一 部份，使得我們可以享受科技所帶來的便 利與舒適生活，但對於身心障礙者而言， 卻不能與我們正常人一樣，正常使用這些 科技設備，故近年來國內外研究人士積極

1 開發以身心障礙者為訴求的人機介面工 具，使得身心障礙者，能夠與正常人一樣 控制與操作設備，而目前國內外正積極開 發的人機介面工具大多以眼睛、頭部與臉 部的運動為控制的介面，如瞳位追蹤系統 （ Eye-tracking System ）、 頭 控 系 統 （Head-control System）等，透過影像追蹤 的技術，便可使用身體的運動來操控設 備，並且成為幫助身心障礙者與外界溝通 的工具 [1-4]。 但目前的輔助工具，皆必須將這些設 備放置於身心障礙者身上，在長期的使用 狀態下，不僅因輔助工具的重量所造成的 負擔外，還必須連接電源及訊號等接線， 而且每位身心障礙者的頭顱大小不一，必 須針對每位身心障礙者進行量身訂作，故 有必要改善上述之缺點；近年來 CCD 攝 影機逐漸被應用於監控及工業控制等管 控，尤其是應用於工業生產，如微晶片的 控管上，利用高解析度 CCD 攝影機，以 非接觸式的影像判視來進行品質管控，大 大提高生產效能，更避免人工的情緒與疲 勞所造成的品質影響；故利用高解析度 CCD 攝影機的特性，結合圖形識別與機器 視覺理論，先將身心障礙者的眼睛位置加 以追蹤，然後再進階獲得眼睛的動作狀 態，進而由該動作狀態轉換成命令，成為 與外界溝通與表達的介面工具的基礎。 本計劃第一年是為了要解決影像中眼 睛目標物之所在位置與狀態的問題。提出 在影像片中以目標追蹤的方法配合攝影時 的對應姿態，進行目標物相對的座標求 定。本次計劃是針對攝影機不動而目標物 移動的情況下，利用匹配的結果作為目標 物的像座標，並透過最小二乘法進行目標 物座標的求解，並且由先前的眼睛狀態樣 本影像比對，再進行動作的確認。障礙者 如能藉由改良的各種生活設施，表達心中 的意念和構想，改善他們的生活品質及提 高生活的獨立性，他們亦可與常人一樣的 生活與工作，對提升整體社會利益亦有不 小的幫助。 摩斯碼(Morse code)是由美國電報發 明家摩斯(Samuel F. Morse)發明的，摩斯碼 是藉由點、劃、及間隔三者組合而成，以 代表字母、數字、及標點符號。以時間的 長短來區分，一畫等於三點，每個字母內 點畫之間隔等於一點之長度；每個字中字 母間之間隔等於三點之長度；每一句中字 與字之間等於六點之長度。傳遞訊號的方 式可藉由單鍵的按下與放開來實現，根據 按下或放開的時間長短即可分出長短音或 長短間隔。標準摩斯碼規定長短音的比是 3:1，而且長短間隔的比亦是 3:1。摩斯碼 為國際性通訊碼，其單鍵式操作具備簡 單、快速、成本低的特性，故極適合做為 身心障礙者與外界溝通的輔助工具[5]。 本研究期望能利用攝影機建置動態資 料目標物的定位系統。整個研究方法共分 為三個階段:資料擷取、物件追蹤與目標定 位 [6-8]。本研究各階段的方法描述如下： 1.資料擷取: 在 CCD 攝影機拍攝目標 物影像時，必須由自行撰寫的擷取程式， 才可以獲得由 CCD 攝影機傳輸於電腦數 位資料，但 CCD 攝影機的選取，必須能 夠相容於 Windows 提供的 API 呼叫處理， 並且能夠提供如 IEEE1394 或 USB 2.0 高 速傳輸介面，以便於將來有更高解析度的 CCD 攝影機取代時，不須再另外採購影像 擷取卡及調整程式內容。 2.物件追蹤:堆由 CCD 攝影機擷取的 影像資料後，就可以對畫面上的目標進行 追蹤。首先先定義座標系統，再將目標物 分類為均質目標或是非均質目標。 3.目標定位:獲得目標物一連串的內 方位參數與外方位參數之後，就可以進行 座標的求解。首先先建立觀測向量、未知 向量之間的關係，再利用最小二乘法求出 未知向量。 三、結果與討論 本年度之研究已將高解析度 CCD 攝 影機與電腦連線，並轉寫程式抓取 CCD 攝影機所擷取的資料，以確定能夠掌握 CCD 攝影機輸出的影像資料。 在本系統中，身心障礙者可藉由職能 治療師的協助，按下 “Play” 按鈕，系統 便可驅動 CCD 攝影機進行影像擷取動 作，然後再按下 “SETUP” 按鈕進行欲辨 識眼睛選取，至畫面點選眼睛中心位置， 當滑鼠移至中心點位置後，按下滑鼠左鍵

2 後，系統會將眼睛樣本暫存於電腦內，並 出現紅色框，告知所點選位置。透過影像 辨識方法，將眼睛位置找出後，分別以不 同的眼睛動作狀態進行比對工作，當頭部 移動時，仍然可以追蹤其中心點位置，並 且由眨眼的時間長短，獲知對應的命令或 訊息，並測試其眼睛辨識是否正確。系統 將影像處理與辨識的結果，轉譯成摩斯碼 輸出，並顯示於狀態列上。 由目前研究過程中，我們所獲得的具 體結果分別討論於下： 1. 目前利用 CCD 攝影機透過 IEEE1394 傳輸數位訊號，可以直接利用影像處 理技術來獲取數位影像資料，並且可 以依照欲圈選的眼睛大小，依照眨眼 的時間長短來進行摩斯碼辨識的工 作。 2. 在使用高階 CCD 攝影機時，是直接 透過 IEEE1394 介面進行資料傳遞， 不需要使用工業用電腦介面卡，就能 獲得高解析度影像，也就是說可以使 用平板或手提電腦連線，便能進行眨 眼進行摩斯碼辨識。 3. 本研究不同於其他以往研究方式，是 用非接觸性的影像處理技術，以眨眼 的時間長短來進行摩斯拍碼，其最大 優點在於完全減輕重度殘障者配戴 的負擔，並且為非接觸性的摩斯拍碼 控制，為新的一種研究技術。 4. 由於人類的眼睛會有不自覺的眨眼行 為，是為了讓眼睛能夠保持適度的濕 潤，故在辨識研究上，我們能夠將眨 眼快慢，與不自覺眨眼加以分離，以 避免因不自覺眨眼而造成誤判的問 題產生。 5. 在進行眨眼辨識的研究過程中發現， 若 CCD 攝影機鏡頭過度搖晃、鏡頭 焦距過度模糊，都會造成重度殘障者 辨識眨眼過程中，無法辨識的困擾， 所以必須使用支架來固定位置，並且 在進行辨識前，必須先設定好鏡頭焦 距，以確保眨眼成功辨識率的提升。 6. CCD 攝影機在無任何其他影像處理 運算下，電腦擷取影像速率為每秒 30 張數位影像，但是加入影像處理及眨 眼辨識的運算處理後，剛開始電腦處 理速度由原本每秒 30 張降為 10 張以 下，後來改善程式撰寫技巧與簡化處 理後，影像提升至每秒 15~20 張數位 影像左右，雖然無法與剛開始每秒 30 張擷取數位影像，但已足夠眨眼辨識 使用。 7. 眨眼的辨識工作，是由相似性評估方 式 (Correlation Coefficient) 來進 行，雖然可將欲比對影像，與樣本影 像光源進行一致性計算，來消弭兩張 影像光源反射不相同問題，但光源的 照射強弱，也會影響到辨識率成功與 否，尤其是光源太昏暗時，眼睛與背 景過於相似，易造成眼睛與背景混 淆，無法找出眼睛正確位置，故在進 行眨眼辨識時，必須在光源充足狀況 下才能辨識成功。 8. 由於眨眼快慢，與不自覺眨眼所累計 的數量，是用人工試誤法 (Tried and Error) 獲得經驗值，但不同人的眨眼 習慣，也不盡相同，故下一階段將導 入理論與法則，能讓系統能自我學習 出該重度殘障者的眨眼特性，以提供 摩斯拍碼辨識成功率。 四、結論與計畫成果自評 本研究已達成預定第一年的計畫目 標，建立身心障礙者專用「眼控影像溝通 系統」之原型，可做為下一階段計劃的控 制應用平台。本系統透過非接觸式的方 法，利用高解析 CCD 攝影機將眼睛位置 找出後，分別以不同的眼睛動作狀態進行 比對工作，然後由不同的眼睛樣本來獲知 對應的命令或訊息，以作為控制電腦、電 子、通訊及家電等設備的重要機制。其最 終的目標是希望建置一個能便利居家生活 之環境控制系統，提供弱勢族群一個無障 礙之生活空間，使身心障礙者不須配帶任 何輔助辨識工具，僅須透過眼睛的動作， 便能夠進行相關的日常活動，進而提升身 心障礙者本身的獨立性，造福人類。 五、參考文獻

3

[2] technologies: current practices and future possibilities, Med. Eng.Vol.18, No.3. pp.193-202.

[3] Joe, Tidd, (1995), Development of Novel Products Through

Intraorganizational and Interorganizational Networks: The Case

of Home Automation, The Journal of Product Innovation Management Volume: 12, Issue: 4, pp. 307-322. [4] Eskicioglu, Ahmet M.; Delp, Edward J.

(2001), An overview of multimedia content protection in consumer electronics devices, Signal Processing: Image Communication Volume: 16, Issue: 7, pp. 681-699.

[5] Yang, (1998), A Newly Developed Chinese Phonetic Morse Code for the People with Physical Impairments,

Journal of Biomedical Engineering-Applications, Basis, and

Communications, Vol. 10, No. 5, 262-269.

[6] Allen B. (1996), An integrated

approach to smart house technology for people with disabilities, Med. Eng. Vol. 18, No. 3, pp. 203-206.

[7] Chunke Yang and Shunichiro Oe : “A New Gradient-Based Optical Flow Method and Its Application to Motion Segmentation”, Proceedings of 2000 IEEE International Conference on Industrial Electronics, Control and Instrumentation, Nagoya, Oct. 2000. [8] A. Sharifinejad and H. Mehrpour, ”A

Fast full search block matching algorithm using three window search based on the statistical analysis of the motion vectors”, IEEE International Conference on 2002 Page(s): 104 -108 vol.1

[9] Lurng-Kuo Liu; Feig, E.,”A block-based gradient descent search algorithm for block motion estimation in video coding”, Circuits and Systems for Video Technology, IEEE Transactions on, Issue: 4, Aug. 1996 Page(s): 419 –422 vol.6