植基於雷射人體掃描辨識技術之跌倒偵測系統

全文

(1)國立臺灣師範大學應用電子科技學系碩士論文指導教授：曾煥雯博士. 植基於雷射人體掃描辨識技術之跌倒偵測系統 The Falling Detect System Based on Human Laser Scanned Recognition Technique. 研究生：洪榮裔. 撰. 中華民國一０一年七月.

(2) 謝. 誌. 首先，作者誠摯的感謝指導教授曾煥雯博士這兩年以來的悉心教導，除了讓作者能夠將以前大學時代所學的知識活用在現今的研究主題之上，也讓作者學習到了做研究的道理，成為一個能夠與他人協同做研究的人員，這些經驗，都是大學就學期間，難以學得的寶貴經驗。同時，本論文的完成亦得感謝口試委員王順源教授、陳俊良教授以及洪欽銘教授對於本論文提供的意見與指正，使得本論文可以更加的完善。另外，感謝學長李和謙在作者的學習過程中給予本研究一些技術上的指導，使得作者的研究得以迅速的上軌道；亦要感謝同實驗室的同學林宏鎧，以及應電碩班和工教碩班的同學承洲、志宇、以及克勤，在作者的研究受到挫折時，得以提供技術上的支援與關懷；再者，感謝學弟玉典、永翔以及文弘，替碩士生的忙碌的生涯中增添了許多的趣味；更要感謝應電系辦的行政人員，在學業的過程中給予幫忙與指導。最後，作者在此特別感謝家人背後給予的支持，使得作者可以在不擔憂經濟以及住宿的問題下，全心全力的進行研究；也感謝家人在作者的研究過程中，分擔心理上的壓力，讓作者得以度過碩士班生涯中各種難受的時期，完成碩士學位。隨著本論文以及研究的完成，作者的碩士生涯也即將告一段落，作者期許自己能夠將此時所學、所聽聞的事物，做為未來行動的準則，並將作者所學，回饋給家庭、社會以及國家。. i.

(3) 植基於雷射人體掃描辨識技術之跌倒偵測系統學生：洪榮裔. 指導教授：曾煥雯博士. 國立臺灣師範大學應用電子科技學系碩士班. 摘. 要. 近年來，因老人人口比例增加，老人的安養問題漸受各國重視，而研究發現，老人的日常生活中，遭遇到的意外以跌倒居多，而跌倒正是造成老人嚴重傷害的主因之一，因此如何在跌倒事件發生的當下立即發現並處理，便是當前社會的一個重要議題。本研究提出一種以雷射掃描影像為基礎的人體跌倒偵測系統。整個系統架構分為建置階段、跌倒偵測階段與辨識階段，以震動型加速度計或是近接型光電感測器輔助系統運作。在人體跌倒姿勢的特徵萃取部份則包含了人體區域分割的演算法，及基於人體上緣包絡線的特徵萃取演算法。本文也提出一個效能的分析指標，以探討本系統的運作效能以及可改進之處。藉由本文提出的研究方法、步驟以及流程，並經由實驗驗證，整體系統的辨識率，在辨識跪趴、撐趴、上躺與下躺等姿勢時，辨識率為 79.55%；在辨識趴、坐與躺等三個姿勢時，辨識率為 83.03%；在辨識站立的姿勢時，其辨識率可達到 100%。. 關鍵字：雷射掃描影像、人體高低比例、專家系統、曲線擬合. ii.

(4) The Falling Detect System Based on Human Laser Scanned Recognition Technique student：Jung-Yi Hung. Advisors：Dr. Huan-Wen Tzeng. Institute of Applied Electronics Technology National Taiwan Normal University. ABSTRACT. In the times of population aging, the issues of caring the aged are becoming popular. According to foreign research, the most common accident in the daily life of the aged is falling down, which is the main cause of elder’s injury. As the result, how to detect and deal with the falling down event of the aged immediately is a big issue in the current society. In this research, we proposed a human falling down gesture detecting system based on laser range image. The whole system is divided into building stages, falling detect stage, and recognition stage. The system use accelerometer and photoelectric sensors to help it run, and use the human body extraction algorithm and the feature extraction algorithm based on the edge line of the human body to extract the falling down gesture feature. Finally, it use the expert system to do the recognition work. In order to determine the efficiency of the system, we propose a performance indicator.. The approach, steps and flows proposed in this thesis via our experiments prove that the system can successfully recognize kneel-lie, prop-lie, up-lie and down-lie to the rate of 64.39%. When recognizing the lie, sit and lying down gestures, the success rate of the system is 78.79%. And when recognizing the. iii.

(5) stand gestures, the success rate of the system is 100%.. Keywords: laser range image, high-low ratio of human body, expert system, curve fitting. iv.

(6) 目謝. 錄誌. ....................................................................................................... i. 中文摘要. ...................................................................................................... ii. 英文摘要. ..................................................................................................... iii. 表目錄. ................................................................................................... viii. 圖目錄. ..................................................................................................... ix. 第一章. 緒論...............................................................................................1 1.1 研究背景與動機 .............................................................................1 1.2 研究目的 .........................................................................................2 1.3 研究限制 .........................................................................................3 1.4 研究方法 .........................................................................................3 1.5 研究步驟 .........................................................................................4. 第二章. 文獻探討與回顧 ..........................................................................7 2.1 國內外之相關研究 .........................................................................7 2.2 雷射掃描影像 ............................................................................... 11 2.2.1 雷射測距儀的應用 ............................................................ 11 2.2.2 雷射測距儀特性簡介 ........................................................12 2.2.3 雷射掃描影像 ....................................................................13 2.3 震動型加速度計 ...........................................................................14 2.4 專家系統 .......................................................................................17 2.4.1 專家系統的發展 ................................................................18 2.4.2 專家系統架構 ....................................................................18 2.4.3 知識擷取 ............................................................................20 2.4.4 且或樹(AND-OR Tree) .....................................................21 2.4.5 知識推理與知識表現 ........................................................23 2.4.6 專家系統的特色與比較 ....................................................24. 第三章. 系統架構分析 ............................................................................25 3.1 系統架構設計 ...............................................................................25 v.

(7) 3.2 雷射成像之前處理 .......................................................................29 3.2.1 膨脹運算 ............................................................................29 3.2.2 侵蝕運算 ............................................................................32 3.2.3 物件連通 ............................................................................35 3.3 人體雷射掃描影像的擷取 ...........................................................37 3.4 雷射成像修正 ...............................................................................39 3.5 人體姿勢特徵擷取 .......................................................................40 3.5.1 人體姿勢分類與命名 ........................................................41 3.5.2 人體高低比例 ....................................................................42 3.5.3 雷射掃描影像的頭髮資訊 ................................................46 3.5.4 人體跌倒姿勢與上緣包絡線 ............................................47 3.5.5 卡方考驗 ............................................................................48 3.5.6 標么值的設計 ....................................................................50 3.6 感測器感測判斷 ...........................................................................50 3.6.1 使用震動型加速度感測器 ................................................51 3.6.2 使用近接型光電感測器 ....................................................51 3.7 雷射掃描影像結合專家系統判斷跌倒姿勢流程 ......................53 3.8 系統效能分析方式 .......................................................................57 第四章. 實驗結果 ....................................................................................59 4.1 軟體與硬體環境 ...........................................................................59 4.2 跌倒姿勢樣本資料的蒐集 ...........................................................61 4.2.1 基本實驗流程 ....................................................................61 4.2.2 雷射掃描儀器高度的調整 ................................................63 4.3 實驗模擬場景 ...............................................................................66 4.3.1 模擬場景的設置 ................................................................67 4.3.2 地面壓力的感測 ................................................................68 4.3.3 地面障礙物的感測與位置判斷 ........................................69 4.4 實驗數據與結果 ...........................................................................70 vi.

(8) 4.5 實驗結果探討 ...............................................................................77 第五章. 結論與未來研究 ........................................................................81 5.1 結論 ...............................................................................................81 5.2 後續研究 .......................................................................................83. 參. 考. 文. 獻 ..................................................................................................86. 附錄一. 受測者各姿勢下人體高低比例 ..........................................................90. 附錄二. 受測者各姿勢下人體頭髮位置 ..........................................................91. 附錄三. 編號十五的受測者掃描資料 ..............................................................94. 作者簡介. ...................................................................................................102. vii.

(9) 表目錄表 2-1. 專家系統與傳統程式內容比較 ..........................................................24. 表 2-2. 專家系統與傳統程式撰寫比較 ..........................................................24. 表 3-1. 編號 8 的受測者的跪趴、撐趴與坐的卡方結果表 .........................49. 表 4-1. 系統軟體與硬體規格 ..........................................................................59. 表 4-2. 雷射測距儀設備規格 ..........................................................................60. 表 4-3. 雷射掃描儀器的掃描解析度與掃描範圍規格 .................................60. 表 4-4. 雷射掃描儀器下降前與下降後的人體下躺高度數據 .....................66. 表 4-5. 站立姿勢辨識結果 ..............................................................................71. 表 4-6. 跪趴姿勢辨識結果 ..............................................................................72. 表 4-7. 坐姿勢辨識結果 ..................................................................................73. 表 4-8. 撐趴姿勢辨識結果 ..............................................................................74. 表 4-9. 下躺姿勢辨識結果 ..............................................................................75. 表 4-10. 上躺姿勢辨識結果 ............................................................................76. viii.

(10) 圖目錄圖 1-1. 研究步驟流程 .........................................................................................6. 圖 2-1. 超音波感測器 .........................................................................................8. 圖 2-2. 壓電轉換器 .............................................................................................8. 圖 2-3. 陀螺儀 .....................................................................................................9. 圖 2-4. 加速度計 .................................................................................................9. 圖 2-5. IP Camera ..............................................................................................10. 圖 2-6. IRISYS Sensor ......................................................................................10. 圖 2-7. Hokuyo URG-04LX 雷射測距儀 .......................................................13. 圖 2-8. 雷射掃描影像(a)及其深度的資訊(b) .................................................14. 圖 2-9. 加速度計的基本原理圖.......................................................................15. 圖 2-10. 一震動質量之自由物體形式圖 ........................................................16. 圖 2-11. 加速度、力以及壓力電能轉換器的轉換函數圖 ............................17. 圖 2-12. 震動型加速度計機構照片 ................................................................17. 圖 2-13. 專家系統基本架構圖 .........................................................................19. 圖 2-14. 知識擷取的三種方式 .........................................................................20. 圖 2-15. 知識擷取的四個步驟 .........................................................................21. 圖 2-16. AND-Tree............................................................................................22. 圖 2-17. OR-Tree ...............................................................................................22. 圖 2-18. 前向式推理系統運作原理 ................................................................23. 圖 3-1. 系統流程圖 ...........................................................................................27. 圖 3-2. 形態學膨脹運算之程式流程圖 ..........................................................31. 圖 3-3. 形態學膨脹運算 ...................................................................................32. 圖 3-4. 形態學侵蝕運算之程式流程圖 ..........................................................34. 圖 3-5. 八鄰點物件連通遮罩 ...........................................................................35. 圖 3-6. 八鄰點物件連通之程式流程圖 ..........................................................36. 圖 3-7. (a)純背景的掃描影像與(b)有人體的掃描影像 .................................37 ix.

(11) 圖 3-8. (a)相減後的掃描影像與(b)經影像處理後的掃描影像 .....................37. 圖 3-9. 雷射掃描儀器的掃描排程圖 ..............................................................38. 圖 3-10. 雷射掃描機構示意圖(a)與照片(b) ...................................................39. 圖 3-11. 投影示意圖 .........................................................................................40. 圖 3-12. 人體姿勢的分類 .................................................................................42. 圖 3-13. 特徵擷取流程圖 .................................................................................43. 圖 3-14. 跪趴、坐與下躺的 WU 與 WL 比例值 ..............................................43. 圖 3-15. WU 與 WL 區段標示程式流程圖 .......................................................45. 圖 3-16. 坐(a)、撐趴(b)、下躺(c)與上躺(d)姿勢下的頭髮位置 ..................46. 圖 3-17. 人體跌倒姿勢的上緣包絡線曲線和曲線擬合 ................................48. 圖 3-18. 感測器感測流程圖 .............................................................................52. 圖 3-19. 感測器與人體雷射掃描影像結合專家系統判斷跌倒之流程圖 ....53. 圖 3-20. 專家系統人體姿勢判斷規則 ............................................................56. 圖 3-21. 跌倒辨識系統辨識結果與真實人體姿勢的狀況 ............................57. 圖 4-1. 雷射掃描儀器機構圖 ...........................................................................60. 圖 4-2. 以雷射掃描儀器掃描人體姿勢的實際照片 ......................................62. 圖 4-3. 六種姿勢下掃描出來的雷射掃描影像 ..............................................62. 圖 4-4. 六種姿勢下的人體雷射掃描影像 ......................................................63. 圖 4-5. 不同掃描俯角下所取得的人體資訊示意圖 ......................................65. 圖 4-6. 雷射掃描儀器的高度調整流程圖 ......................................................65. 圖 4-7. 雷射掃描儀器下降前(左)與下降後(右)取得的人體雷射掃描影像 66. 圖 4-8. 實驗場景示意圖 ...................................................................................67. 圖 4-9. 分析記錄器與震動型加速度計的機構照片 ......................................68. 圖 4-10. 物體撞擊地板時震動型加速度計的輸出電壓波形 ........................68. 圖 4-11. 人體跌倒區域判斷流程圖 .................................................................70. 圖 4-12. 人體的細微姿勢變化對於產生的雷射掃描影像的影響 ................78. 圖 4-13. 雷射掃描儀器距離受測者較遠(左)與較近(右)時，雷射掃描儀器對受測者身著的黑色長褲之感測狀態 ............................................79 x.

(12) 圖 4-14. 受測者染髮、頭髮稀疏以及穿著黑色衣物時，所掃出來的雷射掃描影像 .................................................................................................80. xi.

(13) 第一章. 緒論. 隨著科技的發展，醫療技術與環境衛生也一年比一年精進，造成人類平均壽命的提升，而人口老化也逐漸變成現代社會普遍的現象。人口老化現象的加劇，讓老人安養問題逐漸受到社會的重視，如雨後春筍般冒出的老人安養院就是一個很明顯的例子，然而老人人口雖多，能給予全方位照顧的人員卻相對稀少，因此如何在人手不足的狀況下給予老人足夠的安全照顧，便是現今的一個重要議題。本論文將針對人類跌倒的自動偵測與跌倒姿勢的辨識進行研究。. 本章內容的主要架構分為以下五節，第一節，研究背景與動機；第二節，研究目的；第三節，研究限制；第四節，研究方法；第五節，研究步驟。. 1.1 研究背景與動機在科技日益進步的現代社會中，因人口逐漸高齡化之故，老人人口日益增長，再加上國內少子化的趨勢，使得老人的醫療支出與照護，成為家庭的一大負擔。而對老人而言，日常生活中受到的傷害以跌倒居多，根據研究指出，1/3 的居家老人在一年當中至少跌倒一次，而其中跌倒的老人有 30-40%需住院、有 8%以上需至急診室就醫。而所有跌倒案例的 6%會造成嚴重傷害，並常因為次發的原因造成死亡[1]。現實生活中有很多因素會造成老人跌倒，除去環境因素，因年齡增長造成的身體機能退化、視力障礙、關節活動度、身體柔軟度、肌力減弱以及平衡機能退化，均容易使老人跌倒。. 1.

(14) 關於跌倒問題的相關研究，國內外已經有不少的研究報告，內容包括了各種姿勢之間的變換時，身體重心的改變狀況與走路時的平衡能力等動態方面的探討，以及身體搖晃度等靜態的平衡實驗測量。而本研究則著重在當老人發生跌倒事件時，可以即刻被系統感知並適當的通報鄰近與遠端的救護人員，並且可以在不同亮度與溫度的狀況下正確判斷出跌倒的事件。. 基於上述背景與動機，本研究選擇使用雷射測距儀掃描出來的雷射掃描影像(Laser Scan Image)進行人體的跌倒姿勢辨識，以期能達到跌倒事件發生時能夠即時偵測到並通知的目的。. 1.2 研究目的根據國外研究統計，每年約有 30%的 75 歲以上的老人經歷過跌倒事故，而在療養院裡的老人則約有 50%每年會經歷過至少一次的跌倒事故，而其中有 40%的老人甚至每年會跌倒超過一次[2]，另外根據紐約市的統計，紐約市每年約有 300 名老人因跌倒而死亡，其死亡人數約占了所有因外部傷害死亡人數的一半[3]，可見老人的跌倒問題的嚴重程度。由於人類的壽命大幅延長，老人所佔的人口比例也越來越多，也因此老人的行動安全也成為了當前社會的一個重要問題。針對跌倒的問題，除了事前預防，也就是環境安全與行動安全教育之外，另一個重要的部份就是在發生跌倒事件的第一時間儘速就醫。能夠在第一時間偵測出跌倒事件，並立刻通知相關人員前往協助的系統，能為老人的居家生活帶來更多保障。. 基於以上的研究動機，本研究的目的分別敘述如下：. 1. 建構出一個雷射掃描系統，以便利用雷射掃描影像不受環境光源與熱度影響的特性，建構出強健度高的辨識系統。. 2.

(15) 2. 從整張雷射掃描影像中擷取出人體區域，並藉此雷射掃描影像找出人體跌倒時的特徵，以作為跌倒姿勢比對的依據。. 3. 修正雷射掃描影像因掃描機構先天的構造所產生的不當資訊，使之適用於研究使用。. 4. 提出有效並具體的人體跌倒姿勢辨識方法，使辨識系統盡可能辨識出站立與非站立姿勢，並針對跌倒姿勢進行細部分類。. 5. 探討易使本系統辨識錯誤的狀況，以便未來的後續研究使用。. 1.3 研究限制由於本研究是從零開始建構整體的跌倒系統，因此無論是在系統的功能性與辨識的效率方面皆會有所欠缺，需要後續的研究者將之完善。另外基於人力的考量，人體跌倒樣本的採集以本實驗室(智慧型控制實驗室(二)) 及鄰近的實驗室之成員為主，並以此作為人體跌倒姿勢的辨識依據。. 1.4 研究方法為了達成本研究設定的目標，本研究依照以下方法進行實現：. 1. 雷射掃描影像的物體辨識之相關文獻的探討與分析藉由參考各類文獻應用雷射掃描影像辨識物體的方法，了解雷射掃描影像的特色，並以此為基礎，發展出適合本研究使用的辨識技術。. 2. 資料樣本的搜集在進行樣本的搜集前，實驗者會先經過實驗對象的口頭同意或簽署 3.

(16) 同意書後，以本實驗使用的雷射掃描儀器進行人體雷射掃描影像的擷取。. 3. 人體跌倒姿勢的特徵萃取藉由雷射掃描儀器取得的影像，會先經過人體擷取演算法把人體擷取出來，並經過影像的校正後，利用人體雷射掃描影像的上緣包絡線之形狀與高低起伏，作為本研究進行人體跌倒姿勢辨識的依據。. 4. 規則庫的建立由於本研究中人體跌倒姿勢所產生的特徵很多，需要一個判斷機制來分辨當前人體是否有跌倒，若有跌倒其姿勢又是為何。本研究採用專家系統進行此項任務，藉由建立完善的規則庫，使系統能夠從當前的特徵資料判斷出最合適的辨識結果。. 5. 比對的方法依照本研究提出的人體高低比例與曲線擬合(詳述於第三章)的方法，把受測影像進行特徵的萃取，最後利用專家系統來辨識並輸出辨識的結果。. 6. 性能指標的分析方法本研究會針對系統的執行速度與辨識成功率進行探討，進而分析本研究未來可供發展的空間。. 1.5 研究步驟在研究方法訂定後，本研究依照圖 1-1 所示的步驟作為本論文的研究流程，並明確定義出各個步驟應當完成的事項，其說明則分述如下：. 4.

(17) 1. 彙整國內外對於雷射掃描影像物體辨識研究的相關文獻，以此了解雷射掃描影像的特點，並以此為基礎發展人體跌倒辨識系統。. 2. 確立研究的目標。. 3. 規劃整體的系統架構。. 4. 實驗環境的設計，如雷射掃描儀器的擺放位置、模擬人體跌倒時的環境配置等。. 5. 分析本論文所需使用的法則與演算法。. 6. 程式撰寫、除錯以及結構化。. 7. 專家系統規則庫的建置。. 8. 於有限的樣本數進行系統測試，並蒐集系統辨識的結果。. 9. 利用辨識的結果做為依據，進行程式修改、資料分析與探討。. 10. 歸納分析最終的實驗結果，並且客觀的分析與探討本研究提出的實驗目的、方法與實驗成果。. 11. 撰寫研究報告。. 5.

(18) 日期. 研究階段. 研究時程. 研究步驟流程文獻探討與蒐集. 100/05 | 100/11. 研究規劃階段. 研究目標的確立. 六個月. 規劃系統架構. 演算法與判斷法則的分析程式撰寫、除錯與結構化 100/11 | 101/04. 研究實現階段. 專家系統規則庫的建置. 五個月. 系統測試否. 達成實驗設立的目標？. 是 101/04 | 101/06. 研究完成階段. 二個月. 圖 1-1. 研究步驟流程. 6. 撰寫研究報告.

(19) 第二章. 文獻探討與回顧. 為了完成本系統的建構，本研究最主要探討的文獻與相關理論可分為三個部分，第一部分為雷射掃描影像、第二部分為震動型加速度計、最後一個部分則為專家系統，本章將針對以上三個部分，分別進行詳盡的介紹。. 2.1 國內外之相關研究本節將針對跌倒偵測的相關研究進行探討，以了解目前階段各種跌倒偵測的方式，以及各個方式的優缺點。. 當前跌倒偵測的方式，根據使用的人體動態輸入裝置，又可以區分為以感測器為基礎，或是以影像擷取裝置為基礎的偵測方式，其兩種方式分別敘述如下：. 1. 感測器使用感測器來偵測跌倒事件的方式，是藉由裝設在環境、人體上或是隨身物品上的感測器的數值，來判斷是否有跌倒事件的發生，而根據使用的感測器種類，又可分為三種方式，分別敘述如下：. (1) 超音波感測器此法藉由多個超音波感測器來感測地面上物體的高低變化，以判斷是否有跌倒事件發生，如[4]是把超音波感測器陣列裝設在天花板上，藉以偵測地面上物體的高低變化，來判定地面是否有跌倒事件的發生。圖 2-1 為超音波感測器的照片。 7.

(20) 圖 2-1. 超音波感測器. (2) 壓電轉換器由於考慮到人體跌倒時，地面會受到短暫而強大的壓力，因此只要在地板上裝置壓電轉換器，就可檢出此壓力，從而得知跌倒事件的發生[5]。圖 2-2 為壓電轉換器的照片。. 圖 2-2. 壓電轉換器. (3) 陀螺儀與加速度計當使用陀螺儀與加速度計來檢測跌倒事件時，會把兩者裝置於人體或是隨身物品(如拐杖)上，藉由感測人體或物體的傾斜與移動狀況，從而判斷出是否有跌倒事件發生[6-10]。由於使用此種方式時感測器是裝置於人體上，因此有許多研究者同時提出了利用無線通訊設備，把感測器的數值與人體的狀態即時傳送到其他終端，以達成遠端看護的作用[6-8]。圖 2-3 為陀螺儀的照片，圖 2-4 為加速度計的照片。. 8.

(21) 圖 2-3. 陀螺儀. 圖 2-4. 加速度計. 此類方式的優點在於感測器的價格較影像輸入裝置低，因此成本可以壓低下來，並且大部分的感測器相較於影像輸入裝置，其體積相對較少，容易達到隨身攜帶的目標。. 2. 影像擷取裝置使用影像擷取裝置來偵測跌倒事件的方式，是藉由裝設在環境中的影像擷取裝置所擷取到的影像，經過影像處理與辨識法則處理後，來判斷拍攝環境是否有跌倒事件的發生，而根據使用的攝像儀器種類，又可分為以下兩種方式：. (1) 使用可見光影像使用可見光影像來偵測跌倒事件時，是將可見光攝像儀裝設在環境中，藉由接收受測環境的動態影像序列，從中找出所有人體的動作模式，以偵測該環境是否有人跌倒。而使用的可見光攝像儀，從一般常見的 IP Camera[11] 、固定式 Camera[12]，或者是高階 ATC Vision Sensor[13]，都算在此類。圖 2-5 為 IP Camera 的照片。. 9.

(22) 圖 2-5. IP Camera. (2) 使用遠紅外線影像使用可見光影像來偵測跌倒事件時，其原理與使用可見光影像時類似，是從受測環境中的動態影像序列中，找出人體的動作模式，以偵測環境中是否有跌倒事件[2]。由於遠紅外線攝像儀取得的影像不會受光源變化的影響，因此可以在黑暗的環境當中使用，但是價格也遠比可見光攝像儀昂貴。圖 2-6 為 IRISYS Sensor 的照片。. 圖 2-6. IRISYS Sensor. 此類方式的優點在於系統彈性高，可以延伸到跌倒偵測以外的領域使用，然而影像擷取裝置價格較感測器高，且體積一般較大，因此不易達成隨身攜帶的目標。. 由於本研究開發出來的系統，是基於雷射掃描影像來做辨識，其特性 10.

(23) 與使用影像擷取裝置的跌倒偵測系統相似度高，因此需要經過影像處理與辨識法則的處理才能達成跌倒偵測的效果，而下一節將針對雷射掃描影像的特性，進行更近一步的說明。. 2.2 雷射掃描影像由於在本系統中，基本上人體姿勢辨識所需的資料來源為雷射掃描影像，因此本節將針對雷射測距儀的應用範圍、原理特性、以及雷射掃描影像的產生方式進行探討。. 2.2.1 雷射測距儀的應用自從雷射測距儀被發明之後，由於其距離量測的準確度比聲納要來的好[14]，許多原本應用聲納完成的工作，都漸漸使用雷射測距儀來完成。以下將針對當前應用雷射測距儀來完成的作業，分別進行介紹：. 1. 逆向工程在逆向工程領域內，常需要得知物體的 3D 模型，替未來的物體建構使用，而雷射測距儀準確度高的特性，使之在逆向工程領域內有著不小的地位。使用雷射測距儀進行逆向工程的研究在 1992 年就已經提出，主要是掃描出物體表面的圖形，並用在工具或物體的完整度檢查[15]，而隨著時代的遷移，研究者也已經可以使用雷射測距儀重建出物體表面更細部的圖形，並應用在 IC 電路的重建方面[16]，甚至是用來偵測海床的地形[17]。然而除了重建出物體表面的模型外，也有研究者利用雷射測距儀來重建出物體的 3D 模型，使該物體可以在電腦中進行模擬。如[18]文章所示，研究者使用了雷射測距儀，重建出汞的 3D 模型，並對此模型進行液體壓力與液體流速的模擬。. 11.

(24) 2. 地圖建構在地圖建構的領域內，研究者利用雷射測距儀取得環境的深度資訊並進行處理後，成為可供機器人行動參考用的簡略地圖。如[19] 是利用雷射測距儀取得環境深度資訊後，使用 2D 霍夫轉換與 3D 霍夫轉換，將場景的簡略地圖重建出來，另外在[20]中，則是更進一步的把雷射測距儀取得的資訊，用在自動車輛的導航方面。. 3. 物體辨識與追蹤在物體辨識的領域內，研究者主要使用雷射測距儀取得的雷射掃描影像，辨識出該影像所代表的物體。由於用雷射掃描機構掃描物體後取得的影像為包含該物體的距離資訊，因此只要再搭配利用物體的距離資訊作辨識的演算法[21]，即可辨識出被掃描的未知物體。另外在物體追蹤的方面，也有研究者利用雷射測距儀取得的資訊，追蹤掃描環境內移動的人體或是物體，以在擁擠的環境下可以追蹤到特定的目標物[22]。. 本文提出的人體跌倒偵測系統，較偏向於物體辨識的領域，然而考慮到物體辨識使用到的演算法很多都相當繁雜，因此本文提出一套只適用於跌倒偵測的演算法，以降低系統的運作時間。. 2.2.2 雷射測距儀特性簡介雷射測距儀的測距原理與雷達相同，是藉由計算雷射脈衝從測距儀發射出去，到接觸物體後反射回測距儀所經過的時間，推算出該物體與測距儀之間的距離[23]。而由於雷射脈衝本身是一種經震盪增幅過的可見光，因此在接觸到黑色物體時其能量將幾乎被吸收殆盡，所以雷射測距儀無法對黑色物體進行量測，另外若雷射打到會反光的物體，如鏡子與拋光的金屬物體等，將會被該物體反射到別的地方，導致量測距離不正確或是無法量測的狀況，因此在利用雷射測距儀進行量測時，應避免黑色與會反光的 12.

(25) 物體。本文使用圖 2-7 的 Hokuyo URG-04LX 雷射測距儀進行實驗。. 圖 2-7. Hokuyo URG-04LX 雷射測距儀. 2.2.3 雷射掃描影像在上一節中介紹的雷射測距儀，其取得的資料為一條直線上的距離資訊，並非一整個平面的距離資訊，然而若微調雷射測距儀的高度或是掃描俯角，並將不同高度或是俯角下取得的距離資訊組合在一起的話，即可以取得一整個平面的距離資訊。當使用雷射測距儀掃描一整個平面時，將會產生一筆矩陣資料，矩陣的大小代表掃描的平面範圍，而矩陣內各元素的數值則表示該點與雷射測距儀的距離值，數值越大，代表該點離雷射測距儀越遠，反之若數值越小，則代表該點離雷射測距儀越近。而把該矩陣各元素的數值大小改用顏色深淺來表示後，即產生出雷射掃描影像。. 由上述的文章描述可知，雷射掃描影像表示的是一整個平面的距離資訊，加上各點之間的角度或距離可由掃描機構得知，因此比一般可見光影像與熱紅外線影像容易重建掃描環境的 3D 模型。圖 2-8 為典型的雷射掃描影像。. 13.

(26) (a). (b) 圖 2-8. 雷射掃描影像(a)及其深度的資訊(b). 2.3 震動型加速度計為了讓系統能夠有效的使用雷射掃描儀器，因此系統除了在經過固定時間時會自動掃描背景外，只有在當疑似跌倒事件發生時，才進行環境的掃描。本系統使用了近接型光電感測器與震動型加速度計進行跌倒事件的偵測，以下將針對震動型加速度計進行介紹。. 「震動型加速度計」為一種力學量的檢出裝置，此種儀器能檢測出附著於待測物的基座與震動質量之間相對運動的感測器。圖 2-9 表示震動型 14.

(27) 加速度計的基本原理，當一個懸吊的物體受到加速度的影響時，該物體則會產生位移，加速度的方向與大小不同，物體位移的量與方向也會有所不同，只要使用電路測量出物體位移的狀況，即可推算出加速度的大小與方向。 y(t). F(t) 震動質量m k ─ 2. C. k ─ 2. x(t). 基座mb Fb 圖 2-9. 加速度計的基本原理圖. 震動形式的運動測量器，其機械特性與性能可看成一自由度為 1 的黏性阻尼模型，震動質量之自由物體圖形則如圖 2-10 所示。而震動質量的運動方程式可用牛頓第二運動定獲得. my' 'C( y' x' )  k ( y  x)  F (t ). (2-1). 在(2-1)式中，m 為震動的物體之質量；k 為彈簧的彈性係數；C 為黏性阻尼常數；x, x’ 及 x’’ 為基座之位移、速度及加速度；y, y’ 及 y’’ 為震動的物質之位移、速度及加速度；F(t)為電能轉換器隨時間改變的外加之力的函數。而把式(2-1)的基座與震動質量間的位移、速度與加速度分別用 z、z’與 z’’取代，則運動的微分方程式變成下式. mz' 'Cz 'kz  F (t )  mx' '  R(t ). 15. (2-2).

(28) F(t). y(t). 震動質量m. k (y-x) ─ 2. C(y’ -x’ ). k (y-x) ─ 2. y>x 及 y’>x’. 圖 2-10. 一震動質量之自由物體形式圖. 此處的 R(t)代表外部電能轉換器之激發。式(2-1)則顯示了當儀器阻尼常數 C 及對應於電能轉換器的自然頻率ωx=(k/m)0.5 固定時，z 會隨著外加之力函數與基座的運動而變化。由於式(2-2)可用來描述位移、速度、加速度運動感應器之響應及電能轉換器的力與壓力，所以能引用正弦形式為方程式的一般解答，而 z、z’與 z’’的響應可用指數形式表示成下式. z  z 0 e it z '  iz 0 e it z ' '   2 z 0 e it. (2-3). 而由式(2-2)與式(2-3)，可以求得 z 的正弦激發的穩態解答. z. Ro (k  m 2 )2  (C ) 2. ei (t  ) (2-4). 圖 2-11 表示了加速度、力以及壓力電能轉換器的轉換函數圖，而圖 2-12 則顯示了一震動型加速度計的照片。. 16.

(29) 圖 2-11. 加速度、力以及壓力電能轉換器的轉換函數圖. 圖 2-12. 震動型加速度計機構照片. 2.4 專家系統「專家」由於訓練與經驗，因此在特定領域擁有專家知識。由於專家在解決特定領域的問題時比一般人要有效率，因此將某領域專家們的知識與經驗，經過知識加工服務的過程，即可建立一套以推理的方式解決特定領域問題的系統。廣義而言，專家系統是指「具備處理問題的必要資料」 17.

(30) 與「具有模仿人類推理與思考能力」的電腦軟體。因為以上的兩個特性，專家系統能應用知識並配合思考、解決問題，就如同人類專家一樣，同時可提供非專家的使用者一種操作環境來處理事情、解決問題[24-26]。. 2.4.1 專家系統的發展五十年代中期，科學家試圖建立一個模擬人腦的智能機制，而研究出來的代表性系統則是名為 PERCEPTION 的系統。PERCEPTION 具備自我學習的功能，但該系統並未達到理想的標準，因此此後的十年期間，科學家的研究主要集中在定理證明、問題求解等具有明確定義和結構的問題上，最後於 1960 年發展出一個名為通用問題求解器(General Problem Solver, GPS)的系統，其通用性存在於它並不侷限於特定的問題上的特點，但仍只能在狀態集合相對較少和形式規則都有完整定義的領域內使用。. 2.4.2 專家系統架構專家系統架構包含六大部分，如圖 2-13 所示，分別為：. 1. 知識庫(Knowledge Base)：專家系統的主要核心部份，用以儲存解決、處理問題的知識，包含領域資料、事實及領域專家的經驗及知識。. 2. 推理引擎(Inference Engine)：用來處理、控制專家系統推理過程的機制，模仿專家解決問題的技巧，使用邏輯思考的方式來解決問題。. 3. 工作記憶區(Working Memory)：暫時儲存推理過程中所產生的資料、知識等資料暫存區域。. 18.

(31) 4. 解釋能力(Explanation Facility)：幫助使用者對系統能有更深入的了解。. 5. 知識擷取介面(Knowledge Acquisition Interface)：將知識工程師取得的知識或經驗轉換成電腦可以使用的架構。. 6. 使用者介面(User Interface)：提供使用者親切的溝通介面，讓使用者能與專家系統溝通。. 在以上六個架構當中，又以知識庫、推論引擎和使用者介面最為重要 [26]。領域專家. 知識工程師. 知識庫. 知識擷取介面. 工作記憶體暫存區. 圖 2-13. 推理引擎. 使用者介面. 使用者. 說明解釋系統. 專家系統基本架構圖. 從專家系統的運作方式中可得知，在建立專家系統的過程中，有三個主要的程序，分別為知識擷取 (Knowledge Acquisition) 、知識表現 (Knowledge Representation)與知識推論(Knowledge Inference)，將分別在接下來的小節中進行說明。. 19.

(32) 2.4.3 知識擷取在專家系統的發展過程中，知識取得、知識表示與知識推理為最關鍵的部份，從知識存在的具體性來看，可以分為以下兩類：. 1. 內隱知識(Implicit Knowledge)：專指存在於專家腦中，必須經由專家解釋，才能被一般人理解或應用的知識。這類的知識因為擷取過程非常的複雜，因此很難被直接應用在專家系統中，而這也是專家系統建立過程所會遇到的最困難的問題之ㄧ。. 2. 外顯知識(Explicit Knowledge)：專指條理分明且清楚明確的知識，這類知識通常容易被歸納，因此易用於專家系統中。. 知識擷取有三種方式，人際溝通模式、人機交談模式和機器學習模式，其詳細內容如圖 2-14 所示。專家知識. 知識工程師. 知識庫. 人際溝通模式專家知識. 交談式知識擷取軟體. 知識庫. 人機交談模式範例庫. 機器學習軟體. 知識庫. 機器學習模式圖 2-14. 知識擷取的三種方式. 至於知識擷取的過程又可分為四個部份，分別為指認、結構化、關聯 20.

(33) 化和測試，其內容如圖 2-15 所示。指認是指確認問題與答案之間的關聯；結構化是指架構問題的模式，其中包含解決問題相關變數間的階層關係、因果層次及程序關係等，以便把問題分成許多獨立且較小的次問題；關聯化指的是建立知識法則的過程；而測試則為擷取知識的檢查動作，實際上在知識工程流程的每一階段，皆有其階段性的測試，只有在測試結果合於目標之後，才能再次進入下一個步驟。. 概念指認. 知識. 結構結構化圖 2-15. 關聯化. 測試. 知識擷取的四個步驟. 人際溝通模式又可以再細分成兩大類，一為直接人際溝通模式，是以語言或文字等方式，直接與人類專家進行溝通，以便把知識擷取出來。這類的方式還包含了陳述法、交談法、觀察法、閱讀法、問卷法與草案法等六種。. 而間接人際溝通模式則是用特殊的表格、圖形及數學分析方式為工具，間接的從這些工具的分析來擷取資料。這類方法包含有決策表、決策樹、且或樹、故障樹、展開樹、流程圖、模式圖、階層集群分析樹和多維尺度分析樹等九種方法，而本研究則採用且或樹來實作。. 2.4.4 且或樹(AND-OR Tree) 且或樹是指用 AND-Tree 與 OR-Tree 呈現知識庫的架構的分析工具，由不同條件的子節點(Child-Node)所構成。這些樹涵蓋由許多類型的節點組成的知識庫，每個類型的節點用以對應相符的程序，若當下的環境皆滿足 21.

(34) 某節點所代表的狀況時，程序便會執行。以下分別為 AND-Tree 與 OR-Tree 作說明[27]。. 1. AND-node 當 AND-node 底下所有的子節點皆被滿足時，AND-node 才會被滿足，只要子節點有一個沒有滿足，AND-node 就不會被滿足，若有某 AND-node 沒有任何子節點，則該 AND-node 會自動被視為滿足。如圖 2-16 所示，子節點由左至右依序檢查「條件一」、「條件二」，直到「條件 N」被檢查完為止，當所有子節點皆被滿足後， AND-node 才會執行某項程序。 AND. 條件一. …. 條件二圖 2-16. 條件 N. 程序. AND-Tree. 2. OR-node 當 OR-node 底下某一個子節點被滿足時，OR-node 也會被滿足，唯有所有子節點都沒有一個被滿足時，OR-node 才不會被滿足，若有某 OR-node 沒有任何子節點，則該 OR-node 則永遠不會被滿足。如圖 2-17 所示，子節點由左至右依序檢查「條件一」、「條件二」，直到「條件 N」為止，只要有一個子節點被滿足(如條件二)，OR-node 就會執行某項程序。 OR. 條件一. 條件二. …. 圖 2-17. 條件 N OR-Tree. 22. 程序.

(35) 2.4.5 知識推理與知識表現專家系統的知識推理與知識表現，主要為以下五種方式，一為「法則式系統」、二是「框架式系統」、三是「邏輯式系統」、四是「物件式系統」最後則是「語意式系統」。由於本研究有用到法則式系統，因此以下將介紹法則式系統的內容。. 法則式系統，是最普遍也最早備發展出來的知識表現與知識推理模式，其基本的格式為 IF…, THEN。IF 的區塊稱之為前提(premise)或是條件 (condition)；THEN 的區塊則稱之為行為(action)或結論。當 IF 的區塊與當前的事實吻合，則 THEN 區塊內的行為就會被執行，表示此法則被觸發。然而，法則式系統又可依知識推論的方式不同，分成前向式推理系統與後向式推理系統，以下將針對前向式推理系統做介紹。. 前向式推理系統，為最早被使用的推理系統，適用於設計與規劃等問題的應用，如 1978 年~1982 年間由 DEC 公司所開發的 XCON 專家系統，便是使用前向式推理系統。其系統的運作原理為，當使用者選擇一個資料後，程式會利用使用者選擇的資料，判斷是否符合系統內定的條件，以選擇所成立的事實，最後程式再根據使用者對於事實成立與否的回答，而得到不同的結論，其運作方式如圖 2-18 所示。. 圖 2-18. 前向式推理系統運作原理 23.

(36) 2.4.6 專家系統的特色與比較專家系統本身的程式設計方式與傳統的程式設計方式有很大的差異，其最大的差異之處在於專家系統的解題知識是與推理機制分開的，因此，若要強化專家系統的解題模式，只要修正知識庫的內容即可達成，不像傳統程式一樣需連程式本身都進行修改。專家系統與傳統程式的差別如表 2-1 與表 2-2 所示[28]。. 表 2-1. 專家系統與傳統程式內容比較專家系統. 傳統程式. 表示知識. 表示資料. 知識庫與推論機制分開. 資料與演算法交織在一起. 高度交談式處理. 批次式順序處理. 知識密集型. 知識不密集. 特定領域的應用. 屬於一般性的應用. 表 2-2. 專家系統與傳統程式撰寫比較專家系統程式寫作. 傳統程式寫作. 使用推論引擎. 使用演算法. 偏重符號處理. 偏重數值計算. 採用以符號為主的知識庫. 採用數位定址的資料庫. 可以提供推論、解釋的功能. 無法提供推論、解釋的功能. 由以上所述的特性可知，專家系統不只是建構一個程式來執行某項工作，其最主要的價值在於專家系統能完成一件像真正的人類專家所做的成果，因此任何大量的知識都可以被廣泛的傳播開來，而不是緊握在少數專家的手中。. 24.

(37) 第三章. 系統架構分析. 本章節將依照系統的需求，針對本研究提出的分析方法詳細敘述。第一節是介紹整體系統的架構；第二節則針對雷射成像之前處理演算法進行解說；第三節則簡介本研究使用的人體雷射掃描影像擷取演算法；第四節則介紹修正雷射掃描影像的方式；第五節解說本研究使用的人體姿勢特徵擷取法；第六節則介紹感測器的感測方式；第七節為解說使用雷射掃描影像結合專家系統判斷跌倒姿勢的流程與方法。. 3.1 系統架構設計本論文提出的雷射跌倒偵測系統之整體流程，如圖 3-1 所示，整個架構則又分為了(a)圖的建置階段、(b)圖的跌倒偵測階段及(c)圖的辨識階段與警示訊息輸出階段，其中(b)、(c)為執行偵測及辨識的啟動觸發機制。開始雷射掃描影像擷取人體擷取雷射成像修正特徵萃取. 特徵資料庫. 結束 (a) 建置階段流程圖. 25.

(38) 開始雷射掃描影像擷取. 啟動震動加速度計. 雷射成像之前處理. 啟動近接型光電感測器. 人體擷取近接型光電感測器感測時間未超過門檻值. 否. 雷射成像修正特徵萃取. 是專家系統. 震動加速度值輸入. 是否跌倒震動加速度未超過門檻值. 否. 否是結束. 是 (b) 跌倒偵測階段與姿勢辨識階段流程圖. 26. 特徵資料庫.

(39) 開始取得人體姿勢否. 人體呈非站立姿勢是設定姿勢變換時間 tlimit. 啟動近接型光電感測器. 否. 人體呈下躺或上躺姿勢是經過姿勢變換時間 tlimit. 取得當前人體姿勢否. 人體呈下躺或上躺姿勢. 是是送出緊急狀況警報. 送出一般狀況警示. 結束 (c) 警示訊息輸出階段流程圖圖 3-1. 系統流程圖. 27. 否人體呈非站立姿勢.

(40) 在建置階段時，使用雷射掃描儀器擷取出人體五種跌倒姿勢的雷射掃描影像，使之經過特徵萃取處理後，把萃取出的特徵值存入資料庫中，供日後比對使用。. 在跌倒偵測階段，系統使用裝置於地板上的震動型加速度計或是環境當中的近接型光電感測器，持續偵測環境中是否有發生跌倒事件。當震動型加速度計感測到強烈的震動時，將會啟動雷射掃描儀器進行整個環境的掃描，以取得該環境完整的雷射掃描影像；若是近接型光電感測器感測到有物體停留在環境內超過一段時間，便會啟動雷射掃描儀器對特定範圍的環境進行掃描，以取得該範圍內環境的雷射掃描影像。當系統取得環境的雷射掃描影像後，整個系統進入辨識階段。. 當系統處於辨識階段時，將從取得的環境雷射掃描影像擷取出人體的雷射掃描影像資訊，並萃取出該人體雷射掃描影像的特徵值，接著再透過本文提出的辨識方法，與資料庫中的特徵值做比對，試圖找出對應的人體跌倒姿勢。當系統無法找到相對應的跌倒姿勢，則輸出未發生跌倒事件的結果；反之則把被掃描對象的跌倒姿勢輸出，系統進入警示訊息輸出階段。. 在警示訊息輸出階段，系統會偵測人體是否呈現下躺或上躺姿勢，若是，則系統會在經過一段時間之後再一次的取得人體姿勢，若第二次取得的人體姿勢仍維持在下躺或上躺的姿勢，則輸出緊急狀況警報，反之若第二次取得的人體姿勢已轉變成其他跌倒姿勢或是站立姿勢，系統則會輸出一般狀況警報或是返回跌倒偵測階段。. 本章後面將針對整體雷射跌倒姿勢辨識系統內的各個區塊的內容，分別於第二至第七節中闡述。. 28.

(41) 3.2 雷射成像之前處理本系統使用數位影像處理進行影像的前處理工作，其主要的目的在於加強影像中目標區域擷取的正確性與穩定性，以間接加強整體系統的強健度。而本節將針對本系統使用到的數位影像處理方法的特性與演算法，分別進行詳細的介紹。. 3.2.1 膨脹運算數位影像處理的形態學膨脹(Morphological Dilation)運算，主要作用在於修復影像的破洞，因二值化處理過後的影像，可能因門檻值設定過高，導致影像產生破洞，此時就適用膨脹運算來填補。. 假設二值化後的影像，其前景色為 1，背景色為 0，則膨脹運算的算式可表示成(3-1)或(3-2)式：. g ( x, y)  dilate[ f ( x, y), S ]. (3-1). g ( x, y)  f ( x, y)  S. (3-2). 其中 g(x,y)為經過膨脹運算後的影像、f(x,y)為原始影像、⊕代表膨脹運算子、S 為結構元素(Structure Element, SE)，在本研究中使用的結構元素大小為 3×3 大小的矩形。而實際的膨脹運算的演算流程，則敘述如下：. 1.取得輸入影像。 2.設定結構元素的形態與大小。 3.設定程式迴圈的邊界，防止程式發生執行錯誤。 4.取出結構元素內的像素值進行 OR 運算。 5.將 OR 運算後的結果覆蓋至結構元素的判斷中心點，但不影響原始影像的呈現方式。 6.依循迴圈的執行次數，依序處理影像中各像素點的計算與處理。 29.

(42) 7.輸出膨脹運算後的影像。 8.程式結束。. 圖 3-2 為膨脹運算的程式流程圖，其中的 i 與 j 皆為程式迴圈的計數變數，height 為原始影像的高度，width 為原始影像的寬度。為了使程式撰寫容易，並增進系統執行效能，在不影響程式輸出影像的前提下，本文使用的形態學運算將不考慮邊界的處理問題。. 圖 3-3 為形態學膨脹運算的一個例子，其中圖 3-3 (a)為未經處理的原始影像，圖 3-3 (b)則為膨脹運算處理後的結果影像。根據圖 3-3 可知，形態學膨脹運算可以將影像中的破洞或缺角進行修補，以取得完整的影像。. 30.

(43) 開始. 影像輸入取得影像的高度(height) 與寬度(width). 設定影像遮罩形狀與大小. no i<(height-1)?. 影像輸出. yes i+1. 結束 j<(width-1)? no yes j+1. 遮罩範圍內的像素值進行 OR 運算. Value_OR=1? no yes 遮罩中心位置所對應到的原始影像之像素值設定為 1. 圖 3-2. 形態學膨脹運算之程式流程圖. 31.

(44) (a)原始影像. (b)經膨脹運算處理過後的影像圖 3-3. 形態學膨脹運算. 3.2.2 侵蝕運算數位影像處理的形態學侵蝕(Morphological Erosion)運算，主要作用在於消除影像中的細小物件，而依照結構元素的大小，其能夠消除的物件區塊大小也會有所改變。. 假設二值化後的影像，其前景色為 1，背景色為 0，則侵蝕運算的算式可表示成(3-3)或(3-4)式. g ( x, y)  erode[ f ( x, y), S ]. (3-3). _. g ( x, y)  f ( x, y)S. (3-4). _ 其中 g(x,y)為經過侵蝕運算後的影像、f(x,y)為原始影像、⊙代表侵蝕運算子、S 為結構元素。其實際的演算流程與膨脹演算法基本相同，只是將膨脹演算法中的 OR 運算改為用 AND 運算進行處理。 32.

(45) 為了使經過膨脹運算後的影像能夠回復到原來的大小，因此必須使用侵蝕運算進行影像大小還原的動作，加上二值化後的影像，可能因門檻值設定過低的緣故，導致影像產生細小的物件，此時利用侵蝕運算即可消除掉多餘的物件。圖 3-4 為形態學侵蝕運算的程式流程圖，其中的 i 與 j 皆為程式迴圈的計數變數，height 為原始影像的高度，width 為原始影像的寬度。. 本文中，研究者使用侵蝕運算清除雷射掃描影像中細小的物件，然而當影像中多餘物件的大小過大時，必須經過多次的侵蝕與膨脹運算，才能將之完全清除，因此侵蝕運算不適合用於清除較大的影像物件，需要使用另外一種影像處理方式來清除。. 33.

(46) 開始. 影像輸入取得影像的高度(height) 與寬度(width). 設定影像遮罩形狀與大小. no i<(height-1)?. 影像輸出. yes i+1. 結束 j<(width-1)? no yes j+1. 遮罩範圍內的像素值進行 AND 運算. Value_AND=1?. no yes 遮罩中心位置所對應到的原始影像之像素值設定為 1. 圖 3-4. 形態學侵蝕運算之程式流程圖. 34.

(47) 3.2.3 物件連通在進行影像處理的過程，時常會在影像中產生不需要的大大小小的雜訊，當雜訊較小時，可以使用侵蝕與膨脹運算將之消除，但是當雜訊過大時，侵蝕運算便無法有效的將之去除，此時就需要使用物件連通的處理方式進行處理。. 物件連通的原理，在吳怡明[29]的論文中提到，為一種將影像中各個區塊給予編號並進行分類的方法，將經過分類後的區域，進行判斷法則的處理，即可把影像中不必要的雜訊區塊清除。而物件連通的方法，依法則的不同，其給予影像區塊編號的方式也會有所不同，主要分為八鄰點物件連通法 (8-Connected Component) 與四鄰點物件連通法 (4-Connected Component)兩種，而本研究採用的是八鄰點物件連通法。. 八鄰點物件連通法的遮罩，如圖 3-5 所示，其中 P5 為判斷中心元素， P1、P2、P3、P4、P5、P6、P7 及 P8 為八個鄰近的區域像素。八鄰點物件連通的程式流程圖如圖 3-6 所示。. 依照圖 3-6 的程式流程圖處理影像後，即可將影像中的各個物件進行編號，之後再計算不同編號物件的大小，把最大的物件保留下來，即可去除不需要的物件。. 圖 3-5. P1. P2. P3. P4. P5. P6. P7. P8. P9. 八鄰點物件連通遮罩. 35.

(48) 開始. 影像輸入取得影像高度(height)與寬度(width) 設定物件連通遮罩形狀與大小 NEW-N=1 no i<(height-1)?. 影像輸出. yes 結束. i+1. j<(width-1)? no. yes j+1. P5=1? no yes no N-P1 OR N-P2 OR N-P3 OR N-P4 >=1?. N-P5=NEW-N. yes NEW-N+1 N-P5=MAX(N-P1,N-P2, N-P3,N-P4). 圖 3-6. 八鄰點物件連通之程式流程圖. 36.

(49) 3.3 人體雷射掃描影像的擷取在利用雷射掃描影像進行人體姿勢判別時，必須先把人體的雷射掃描影像從背景中分離出來，本研究使用的人體擷取方法，是藉由先紀錄無人體存在的雷射掃描影像後，再將有人體的雷射掃描影像與之相減，藉此提取出可能的人體雷射掃描影像。如圖 3-7，(a)圖為只有背景的雷射掃描影像，(b)圖則是有人體的雷射掃描影像，可看出兩者在人體的部分有很大的差別。. (a) 圖 3-7. (b) (a)純背景的掃描影像與(b)有人體的掃描影像. 透過相減的方式所提取出來的人體資訊，仍含有很多雜訊區塊，因此必須再經由上節介紹的侵蝕、膨脹與物件連通等影像處理方式，將完整的人體擷取出來。如圖 3-8，(a)為有人體與無人體的掃描影像相減後的結果，可看見除了人體資訊外的其他雜訊，(b)為進行侵蝕、膨脹與物件連通處理後的結果，原本(a)圖中的雜訊區塊都被濾除了。. (a) 圖 3-8. (b). (a)相減後的掃描影像與(b)經影像處理後的掃描影像 37.

(50) 然而考慮到環境背景有可能變動的因素在內，讓系統內部儲存的環境背景雷射掃描影像維持在最新的狀態也是必要的，因此在本系統在環境沒有偵測到跌倒事件發生時，會定時讓雷射掃描儀器掃描環境一次，以確保系統儲存的背景資訊是最新的。整個雷射掃描儀器的掃描排程如圖 3-9 所示。開始. 啟動 Timer. no. while(ready) yes. 結束 no. Falling down detected?. yes. no. Times up 掃描人體 yes. 掃描環境. Timer 重設為零. 圖 3-9. 雷射掃描儀器的掃描排程圖. 38.

(51) 3.4 雷射成像修正本研究中，研究者使用的雷射掃描機構，是將雷射測距儀固定在一諧和減速機構上，藉由轉動諧和減速機構以調整雷射測距儀俯角的方式，掃出整個平面的距離資訊。如圖 3-10 所示，(a)為雷射掃描機構的示意圖，(b) 為實際的雷射掃描機構照片。. 藉此機構得到的雷射掃描影像，是把環境的深度資訊投影到球面上的結果，而非投影到平面上，因此需要再經過雷射成像修正的演算法處理，求得投影在平面上的雷射掃描影像。. (a). (b) 圖 3-10. 雷射掃描機構示意圖(a)與照片(b). 要將投影在球面上的掃描影像轉換至平面上，需要利用原投影在球面上的掃描影像，每個點的距離資訊、水平角度與俯角等參數，來進行轉換， 39.

(52) 其轉換公式介紹如下。首先求得球面掃描影像上的中心點 cx 與 cy，其中 cx 表示水平角度為 0 度的點，cy 表示俯角為 0 度的點。要求得球面掃描影像上的點 a 投影至平面座標上時的 x 軸的位置，則可以用公式(3-5)求得。. xnew  da  cos( )sin( )  cx. (3-5). 其中，xnew 為點 a 投影至平面上的 x 軸座標、da 為點 a 的距離數值、 θ為點 a 的水平角度、ψ為點 a 的俯角、cx 為球面掃描影像上的 x 軸中心點。若要求得球面掃描影像上的點 a 投影至平面座標上時的 y 軸的位置，則可以用公式(3-6)求得。. ynew  da  cos( )sin( )  cy. (3-6). 其中，ynew 為點 a 投影至平面上的 y 軸座標、da 為點 a 的距離數值、 θ為點 a 的水平角度、ψ為點 a 的俯角、cy 為球面掃描影像上的 y 軸中心點，其投影的示意圖如圖 3-11 所示。經由上面的雷射成像修正演算法即可把原本投影在球面上的掃描影像，轉換到平面上。. 圖 3-11. 投影示意圖. 3.5 人體姿勢特徵擷取當人體擺出不同的姿勢時，人體骨架與地面的高度也會有不同的分布 40.

(53) 狀況，藉由檢測人體骨架與地面高度的分布狀況，即可偵測出目前人體大略的姿勢。在陳佳鈺[30]的論文中，對於人體的跌倒姿勢給予了六種分類，分別為正面跌倒、後仰坐跌、右側滑倒、左側滑倒、向前跌倒趴下與後仰跌倒躺下，然而跌倒偵測系統最主要的目的是在判斷人體有無跌倒，人體呈現何種跌倒的姿勢反而是較為次要的議題，因此本研究將上述的六種人體跌倒姿勢重新分類與命名，其分類方式與名稱則在以下小節中進行介紹。. 3.5.1 人體姿勢分類與命名由於跌倒偵測系統主要功能是辨別人體有沒有跌倒，因此本研究將人體姿勢分為站立與非站立兩大類，並且再把非站立的姿勢細分為坐、躺與趴三種姿勢，最後根據人體面朝的方向與肢體些微的不同之處，把躺分為上躺與下躺、把趴分為跪趴或撐趴，雖然根據人體水平角度的變化不同，可以將人體姿勢再進一步地細分，但考慮到依據水平角度細分後的人體姿勢重要性較低，因此本研究在不考慮人體水平角度的變因下，將姿勢的辨識分為主要的辨識、次要的辨識(一)以及次要的辨識(二)。主要的辨識為正常(站立)與不正常(非站立)姿勢的辨識，為辨識人體是否呈現站立的狀態；次要的辨識(一)為坐、躺、趴等三個姿勢的辨識，可更進一步的分別人在跌倒後究竟仍有意識(坐與趴)，還是呈現無意識狀態(躺)，以決定情況的緊急程度；次要的辨識(二)為上躺、下躺、跪趴與撐趴等四個姿勢的辨識，是在躺與趴姿勢的基礎下，更進一步的對人體面朝方向與部分肢體姿勢不同的變因進行分類所產生的，由於將躺分為上躺與上躺、將趴分為跪趴與撐趴的分類方式，對人體跌倒的緊急程度沒有多大的影響，因此重要性跟次要的辨識(一)一樣低，圖 3-12 為本研究採用的人體姿勢的名字與分類圖。. 至於判別人體姿勢的方式，其整體流程如圖 3-13 所示，而細部的實作方式則在以下小節中進行探討。. 41.

(54) 3.5.2 人體高低比例本研究提出的跌倒姿勢判別方式，主要為計算人體骨架離地面較高處與較低處的長度比例，並以此比例數值作為主要的跌倒姿勢判斷依據。以跪趴、坐與下躺姿勢為例，這三種姿勢的人體骨架離地面較高的區段標示為 WU、離地面較低的區段標示為 WL，則這三種跌倒姿勢的 WU 與 WL 的分配則如圖 3-14 所示。. 在圖 3-14 中，跪趴的 WU 與 WL 的比例大於 2，坐的 WU 與 WL 的比例為介於 1~0 之間的數值，而下躺的 WU 與 WL 的比例則為 0，因此藉由 WU 與 WL 的比例，即可以粗略的區分出這三種跌倒姿勢，若要判別人體的跌倒方向，只要找出 WU 與 WL 線段之間的相對位置，即可推斷人體的跌倒方向。然而本方法雖可以區分出跪趴、坐與下躺的姿勢，但是剩下的兩種跌倒姿勢，也就是上躺與撐趴，其 WU 與 WL 的比例分別與下躺和坐相似，極容易與之混淆，因此需要其它的特徵資訊以做進一步的區分。姿勢主要的辨識站次要的辨識 (一). 正常. 不正常. 坐. 躺. 趴跪. 上. 次要的辨識 (二). 圖 3-12. 人體姿勢的分類. 42. 下. 撐.

(55) 開始. 輸入人體掃描雷射影像. 特徵資料庫計算 WU 與 WL 的比例專家系統. 取得頭髮的位置計算人體上緣的曲線擬合方程式. 輸出結果. 計算曲線擬合方程式的卡方值. 結束. 計算人體上緣曲線取樣後的卡方值圖 3-13. 特徵擷取流程圖. WL WU/WL=3.0667 WU WU. WL. WU/WL=0.3922. WL WU/WL=0. 圖 3-14. 跪趴、坐與下躺的 WU 與 WL 比例值. 43.

(56) 在實際的應用上，WU 與 WL 區段的分配使用窗型的方式分配，其分配方式與 WU、WL 區段的比例計算方式詳述如下：. 1. 程式從人體上方包絡線的左端點開始偵測，若起始點的位置低於低線段門檻 L，則將開始的線段標示為 WL，並將 WL 的次數加一；反之，則將開始的線段標示為 WU，並將 WU 的次數加一。. 2. 繼續偵測後面線段的高度，若目前線段標示為 WL，但是下個線段的高度高於高線段門檻 H，則將下條線段標示為 WU，同時將 WU 的次數加一；若目前線段標示為 WU，但是下個線段的高度低於低線段門檻 L，則將下條線段標示為 WL，並將 WL 的次數加一。. 3. 重複進行 2 的動作，直到程式偵測到人體上方包絡線的右端點，即停止偵測。. 4. 將 WU 的計數值除以 WL 的計數值，取得人體的高低比例數值。. 至於整個 WU 與 WL 的區段標示與計數流程圖，則如圖 3-15 所示。. 44.

(57) 開始. 輸入人體雷射掃描影像取得人體包絡線，並設定 WL 與 WU 數值為0. 從左端點開始偵測線段高度. 起始點低於人體高度一半以下. no. yes. 當前點超過人體高度 70%. 當前點低於人體高度 30%. yes. no WL+1. no WU+1. yes WU+1. no. WL+1. no 人體包絡線段掃描完畢. 人體包絡線段掃描完畢 no. yes. yes. 人體包絡線段掃描完畢 yes. 程式結束. 圖 3-15. WU 與 WL 區段標示程式流程圖. 45.

(58) 3.5.3 雷射掃描影像的頭髮資訊當利用 3.5.2 節的分類方式對人體跌倒姿勢進行分類時，會把下躺與上躺當成同一個姿勢，而撐趴與坐也會被判定為同一個姿勢，為了進一步區分出彼此的姿勢，必須再用其它的特徵進行處理。. 在 2.1 節中提到，雷射測距儀的資訊會被黑色毛髮給吸收，進而讀不到該處的距離資訊，本研究利用這個特性，以此找出人體頭髮的位置資訊，並利用此資訊把人體跌倒的姿勢進行更細的劃分。圖 3-16 為下躺、上躺、撐趴與坐等姿勢下的頭髮位置示意圖，首先觀察(a)與(b)，可以發現當人體呈現坐姿勢時，頭髮位置勢朝向人體的外側，而當人體呈現撐趴姿勢時，頭髮位置則比較朝向人體內側；接著觀察(c)與(d)，也可察覺當人體呈現下躺姿勢時，頭髮位置朝向人體的上方，而當人體呈現上躺姿勢時，頭髮位置則朝向人體下方。由此可知，藉由觀察頭髮朝向的位置，即能順利分辨出撐趴與坐之間的差別，以及下躺與上躺之間的不同。. (a). (b). (c). (d) 圖 3-16. 坐(a)、撐趴(b)、下躺(c)與上躺(d)姿勢下的頭髮位置 46.

(59) 3.5.4 人體跌倒姿勢與上緣包絡線本研究中，除了利用 3.5.2 節提出的方式辨識人體的跌倒姿勢外，另外也使用了人體上緣包絡線的資料判斷人體的跌倒姿勢，其中又可細分為兩種姿勢比對方法，一個是把包絡線的曲線資料進行取樣後，將取樣後的資料與特徵資料庫內的資料進行相似度比對，以解析當前人體跌倒的姿勢為何，圖 3-17(a)表示了不同跌倒姿勢下，人體上緣包絡線的形狀，可看出在不同跌倒姿勢下，人體包絡線會呈現出不同的樣子；另外一個方法是使用曲線擬合(Curve Fitting)來協助判斷人體的跌倒姿勢，所謂的曲線擬合，為一種數學的方式，目的是把任意的曲線使用數學方程式來近似，藉由使用曲線擬合來取得人體上緣包絡線的近似數學方程式，即可從方程式各次方項的係數來推測出人體的可能跌倒姿勢，圖 3-17(b)表示了跪趴、坐與撐趴等姿勢下的人體上緣包絡線經曲線擬合後的結果及其方程式係數，其中 P1 代表方程式的 X 四次方係數、P2 代表方程式的 X 三次方係數、P3 代表方程式的 X 二次方係數、P4 代表方程式的 X 一次方係數。. (a) 不同跌倒姿勢下的人體上緣曲線. 47.

(60) P1= -0.0000 P2= 0.0045 P3= -0.2519 P4= 6.1616 P1= -0.0000 P2= 0.0025 P3= -0.1583 P4= 2.6934 P1= -0.0000 P2= 0.0019 P3= -0.1386 P4= 4.0942 (b) 不同跌倒姿勢下的人體上緣經曲線擬合後的曲線與方程式係數圖 3-17. 人體跌倒姿勢的上緣包絡線曲線和曲線擬合. 從圖 3-17 可以發現，不同的跌倒姿勢，其人體上緣包絡線與經過曲線擬合後的曲線方程式會有些微不同，藉由卡方考驗來檢測人體上緣包絡線取樣後的數值或是曲線方程式各次方項系數 P1、P2、P3 與 P4 的分布相似度，即可判斷人體大略的跌倒方式。至於相似度高的撐趴與坐，以及跪趴趴下與上躺這四個姿勢，可用 3.5.3 節的方式來進行區分。卡方考驗的部份，則在 3.5.5 節介紹。. 3.5.5 卡方考驗卡方考驗(Chi Square Test)為一種資料統計分析的技術，為無參數的檢驗方式，不需知道母群的分配狀況，而資料的呈現主要以列聯表為主。因為卡方考驗為交叉比較，所以又稱為交叉分析。卡方的算式如下所示. 48.

(61) x2 . ( f o  f e ) fe. (3-7). 其中，fo 代表實際求得的每格統計次數、fe 代表實際求得的每格期望之統計次數，而 x 則為樣本經卡方計算後的關聯係數，x 越小，則樣本間的相關性越大；反之，則樣本間的相關性越小。至於 fe 的算法如式(3-8)所示. fe . sum _ of _ row  sum _ of _ column sum _ of _ observation. (3-8). 由於卡方考驗可檢定兩個以上的樣本在同一變相上的分布狀況，以觀察樣本之間是否有關聯，因此本論文使用卡方來計算代測人體姿勢與資料庫內的人體上緣曲線取樣數值或是經曲線擬合後的曲線方程式，其各次方項係數的關聯係數，以判斷目前人體的跌倒姿勢。表 3-1 為一個受測者的跪趴、坐、下躺等姿勢的人體上緣曲線之近似方程式係數對特徵資料庫內的跪趴、坐、下躺等姿勢的人體上緣曲線之近似方程式係數進行卡方計算後的結果。表 3-1. 編號 8 的受測者的跪趴、撐趴與坐的卡方結果表. 卡方實際數值姿勢. 資料庫的姿勢跪趴撐趴坐. 跪趴. 撐趴. 坐. 0.23 0.88 0.37. 16.54 0.33 0.51. 2.91 1.41 0.03. 從表 3-1 可以發現，同樣姿勢下的人體上緣曲線之近似方程式係數卡方數值會比不同姿勢之間的人體上緣曲線之近似方程式係數之卡方值來的小，這是因為同樣姿勢的人體上緣曲線近似方程式係數彼此之間的相似度高，因此卡方數值會比較小；而不同姿勢之間的人體上緣曲線之近似方程式係 49.

(62) 數分布因為差異較大的關係，導致卡方的數值較大。藉由卡方計算的結果，研究者得以檢驗待測姿勢與資料庫內所有姿勢的相似程度，並以此作為姿勢辨識的依據。. 3.5.6 標么值的設計經上一小節卡方計算出來的關聯係數，代表著兩個樣本間的相似程度，然而只有關聯係數的話，仍無法判斷兩個樣本究竟是否為同一個姿勢，因此需藉由標么值(Unit Value, UV)的設計，來決定當前的兩個樣本是否為同一個跌倒姿勢。標么值的計算公式如式(3-9)所示. 標么值 . 關聯係數門檻值. (3-9). 其中門檻值(Threshold Value)為經實驗取得的一常數值，並沒有固定的數值。. 計算完標么值後，使用式(3-10)的判斷法則，即可判斷當前人體的跌倒姿勢。當標么值大於等於 1，則表示否決比對的結果；若標么值小於 1，則表示接受比對的結果。.  接受，標么值<1 比對結果   否決，標么值  1. (3-10). 3.6 感測器感測判斷在第一章提到的研究目的裡，其中之一便是加強辨識系統的能源使用效率，為了達成這個目的，本研究使用震動加速度計與近接型光電感測器輔助辨識系統能在環境中疑似有人跌倒的時候啟動，以減少能源的損耗。 50.

(63) 以下將針對使用震動加速度計與近接型光電感測器感測環境中發生的疑似跌倒事件進行說明。. 3.6.1 使用震動型加速度感測器震動型加速度計的輸出主要有 X、Y、Z 三個方向的加速度值，由於本研究只需要縱軸方向的加速度，因此欲取得的加速度的數值大小 p 即為 Z 軸加速度的大小的絕對值。. p =||Z||. (3-11). 當使用震動型加速度感測器感測環境中的跌倒事件時，其判斷流程如圖 3-18(a)所示。一開始設定地板加速度的門檻值 T，接著便讓地板加速度的訊號輸入，以 p(t)函數表示。接著系統會持續搜尋 p(t)函數的波峰值 PP，並讓 PP 與門檻值 T 相比，若 PP 大於門檻值 T，則啟動雷射掃描儀器，擷取環境中的距離資訊，並把取得的資訊送進辨識系統，以進行辨識工作。若 PP 小於門檻值 T，則程式轉而繼續搜尋 p(t)函數的波峰值。. 3.6.2 使用近接型光電感測器在 3.6.1 節中，介紹了如何以震動型加速度計感測環境中潛在的跌倒事件，然而若震動型加速度計故障，或是人體跌倒時的衝擊未能使震動型加速度計的輸出電壓超過門檻值 T 時，皆會導致辨識系統無法正常啟動。考慮到人體跌倒時會有一段時間無法正常的行動，因此使用近接型光電感測器感測環境中人體的停留行為，並計算人體停留的時間，即可藉由此停留時間的長短，判斷環境中是否有潛在的跌倒事件。. 當使用近接型光電感測器感測環境中的跌倒事件時，其判斷流程如圖 3-18(b)所示。首先設定近接型光電感測器的感應時限 tl，接著持續偵測感測器是否有感應到物體。當感測器感測到物體，且持續時間超過了 tl，則 51.