基於無線感測網路之多人姿態辨識系統

(1)

國立交通大學

電機與控制工程學系

碩士論文

基於無線感測網路之多人姿態辨識系統

Multi-Person Pose Estimation Using

a Zigbee Sensor Network

研究生：陳俊瑋

指導教授：宋開泰博士

(2)

基於無線感測網路之多人姿態辨識系統

Multi-Person Pose Estimation Using a Zigbee Sensor Network

研究生：陳俊瑋

Student: Chun-Wei Chen

指導教授：宋開泰博士

Advisor: Dr. Kai-Tai Song

國立交通大學

電機與控制工程學系

碩士論文

A Thesis

Submitted to Department of Electrical and Control Engineering College of Electrical and Computer Engineering

National Chiao Tung University in Partial Fulfillment of the Requirements

for the Degree of Master in

Electrical and Control Engineering July 2007

Hsinchu, Taiwan, Republic of China

(3)

基於無線感測網路之多人姿態辨識系統

學生:陳俊瑋指導教授 :宋開泰博士國立交通大學電機與控制工程學系

摘要

本論文以 Zigb ee 無線感測網路發展了一套多人姿態辨識系統。此系統 包括人體姿態估測模組、Zigbee 無線網路發展板 (CC2420DBK board)及電腦端的多人姿態監測軟體。其中人體姿態估測模組由一個三軸加速度計、一個 Zigbee 晶片及一個 8-bit 的微控器所組成。人體姿態估測模組可與 CC2420DBK board 構成 Zigbee 無線網路，達到同時觀察多人姿態的效果。 CC2420DBK board 為 Zigbee 無線感測網路的接收端，透過 RS-232 介面將 Zigbee 無線感測網路中接收到的資訊與機器人溝通。多人姿態監測軟體則可以同時檢視三位使用者的姿態，並對各個使用者的姿態作記錄與統計。本文並提出一套結合時域分析與小波轉換的人體姿態估測演算法，實現在人體姿態估測模組的微控器中。透過此演算法分析三軸的加速度訊號，可辨識跌倒、站、坐、躺、上樓、下樓與走路七種人體姿態。本系統經由五位受測者測試，得到辨識率達 88%。

(4)

Multi-Person Pose Estimation Using

a Zigbee Sensor Network

Student: Chun-Wei Chen Advisor: Dr. Kai-Tai Song

Department of Electrical and Control Engineering

National Chiao Tung University

ABSTRACT

In this thesis, a multi-person pose recognition system has been developed. This system includes a human pose detection module, a CC2420DBK board and a multi-person pose monitoring software module. The human pose detection module consists of a triaxial accelerometer, a Zigbee chip and an 8-bit microcontroller. Several human pose detection modules and the CC2420DBK board form a Zigbee wireless network. The CC2420DBK board works as the receiver of the Zigbee wireless sensor network and communicates with the robot onboard computer through RS-232 link. The multi-person pose monitoring software monitors and records activities of multiple users simultaneously. We propose a pose classification algorithm by combining time-domain analysis and wavelet transform analysis. This algorithm has been implemented in the microcontroller of the human pose estimation module. Through the algorithm, the system can classify seven human poses: falling, standing, sitting, lying, walking, going upstairs and going downstairs. A pose recognition rate of 88% has been demonstrated after testing the system by five different users.

(5)

誌謝

謹向我的指導教授宋開泰博士致上感謝之意，感謝他兩年來在專業上和生活上待人處事的指導，以他豐富的學識與經驗，配合理論的應用，使得本論文得以順利完成。感謝與我共同奮鬥的同學濬尉、富聖、振暘、志昇的相互鼓勵及提攜，學長奇謚、孟儒、嘉豪、奕龍的指導，以及學弟裕宏、弘哲、仕傑、兆戊、煥坤、科棟、舒涵、巧敏在生活上帶來的樂趣。最後，特別感謝我的爺爺、奶奶、爸爸、媽媽、姑姑、哥哥，由於他們的辛苦栽培，使我能順利求學至今，而完成這篇論文。在此以這篇論文獻給我摯愛的的家人們。

(6)

目錄

摘要... i 英文摘要... ii 誌謝... iii 目錄... iv 圖例... vi 表例... ix 第一章緒論 ... 1 1.1 研究動機 ... 1 1.2 相關研究回顧 ... 1 1.3 問題描述 ... 5 1.4 章節說明 ... 5 第二章基於三軸加速度計之人體姿態估測模組 ... 6 2.1 系統架構 ... 6 2.2 人體姿態估測模組設計 ... 7 2.2.1 加速度計電路設計 ... 8 2.2.2 加速度計之測試與補償 ... 9 2.2.3 CC2420 Zigbee 晶片介面電路設計 ... 15 2.3 Zigbee 感測網路 ... 17 第三章人體姿態辨識演算法 ... 22 3.1 人體姿態估測系統設計概念 ... 22 3.2 小波轉換 ... 23 3.3 訊號前處理 ... 26 3.4 人體動態與靜態姿態判定 ... 28 3.5 跌倒辨識演算法 ... 28 3.6 站、坐、躺之姿態辨識 ... 29 3.7 走路、上樓、下樓之辨識 ... 31 3.7.1 訊號前置處理 ... 31 3.7.2 特徵參數擷取 ... 36 3.8 系統整合 ... 36 第四章實驗結果 ... 39

(7)

4.1 五位不同測試者之七種姿態辨識結果 ... 39 4.2 不同測試者之連續姿態辨識結果 ... 46 4.3 同時辨識三位測試者之連續姿態辨識結果 ... 47 第五章結論與未來工作 ... 52 5.1 結論 ... 52 5.2 未來工作 ... 52 參考文獻... 53 附錄 A ... 56

(8)

圖例

圖 1-1 不同身體狀態下 IMA 與_tot EE_act之關係………….……….…..2

圖 1-2 (a)加速度計所放置在人體的位置 ..………3 (b)由圖 (a)三個位置得到的角度所重建出的簡圖 ...………..….3 圖 1-3 加速度訊號的碎型維度在平地走路和上下樓的分佈 ………...4 圖 2-1 人體姿態估測系統架構圖 ……….…..6 圖 2-2 人體姿態估測模組實體圖 ……….…..7 圖 2-3 加速度計與微控器之溝通介面 ……….….9 圖 2-4 加速度校準測試實驗設置 ……….……….11 圖 2-5 ax=0g,ay=0g,az=1g 之測試情形 ……….12 圖 2-6 ax=0g,ay=1g,az=0g 之測試情形 ……….12 圖 2-7 ax=1g,ay=0g,az=0g 之測試情形 ……….13 圖 2-8 ax=0.5g, az=0.866g 之測試情形 …….………..13 圖 2-9 ax=0.866g, az=0.5 g 之測試情形 ………..…..…..14 圖 2-10 ay=0.5g，az=0.866g 之測試情形 ………...14 圖 2-11 ay=0.866g,az=0.5g 之測試情形 ………...15 圖 2-12 CC2420 Zigbee chip 之周邊電路 ……….16 圖 2-13 微控器與 CC2420 之溝通介面 ..………...………..17 圖 2-14 Zigbee 無線感測網路示意圖 ..………..………..18 圖 2-15 CC2420 傳送封包格式 …..………...………..19 圖 2-16 Zigbee 網路之溫度監測實驗示意圖 ……..………...………19

圖 2-17 (a)Sensor 端之 Zigbee module 程式流程 ……….20

(b)監控端之 Zigbee module 程式流程 ……….20

圖 2-18 (a)Active mode 之程式流程 ………21

(9)

圖 2-19 電腦端溫度監控介面 ………21 圖 3-1 人體姿態估測演算法之架構 ……….………23 圖 3-2 ) 2 ( 2 1 ) (t t_m n m mn = φ − φ 中 m 的大小與可展開之集合的關係圖 ………..25 圖 3-3 V 、j W 與j Vj+1之間的關係圖………25 圖 3-4 小波分解示意圖 ………..………26 圖 3-5 步行之三軸加速度訊號與靜態加速度及動態加速度成份 ……….…27 圖 3-6 人體姿態估測模組之配置與重力加速度的關係 ………..27 圖 3-7 不同姿態的 SMA 之分布情形 ………28 圖 3-8 測試者在一段時間內跌倒十次之 SMV_max …..……….…...29 圖 3-9 軀幹傾斜角度與重力加速度之間的關係 ...…….………..…30 圖 3-10 走路之三軸加速度波形 ………….……….………..………..32 圖 3-11 上樓之三軸加速度波形 ……….…..………32 圖 3-12 下樓之三軸加速度波形 ……….………..…………33 圖 3-13 走路上樓下樓之 z 軸加速度平方圖 ………..………33 圖 3-14 利用第二層小波係數找到 az^2 的區域極大值 ……..………34 圖 3-15 週期化至 512 點之走路波形 ……….……….34 圖 3-16 週期化至 512 點之上樓波形 ….……….……….35 圖 3-17 週期化至 512 點之下樓波形 ……….………..35 圖 3-18 由 RTF 與 RVF 判斷走路及上下 ..………..37 圖 3-19 多人姿態估測系統軟體架構圖 ....………..………..38 圖 4-1 人體姿態估測模組實際配帶情形及身體與感測軸之間的關係 ..….40 圖 4-2 Zigbee 接收端與多人姿態監測軟體 ……….40 圖 4-3 決定 RTF th.及 RVF th.之示意圖 ….………41 圖 4-4 欲辨識之七種姿態示意圖 …….……….…………42 圖 4-5 實驗一中受測者一辨識坐姿 20 次之紀錄與多人姿態監測軟體界面

(10)

說明...………..….43 圖 4-6 實驗二中受測者一之連續姿態辨識實驗紀錄 ………..46 圖 4-7 多人姿態辨識實驗網路架構圖 ………48 圖 4-8 多人姿態辨識實驗設置 ………....48 圖 4-9 多人姿態連續辨識實驗 _走路 ..………49 圖 4-10 多人姿態連續辨識實驗 _受測者二跌倒 ………..…51 圖 A-1 人體姿態估測模組方塊圖 ………56

(11)

表例

表 2-1 MMA 7260QT 三軸加速度計之量測範圍與靈敏度之間的關係 ……..8 表 2-2 加速度校準測試 ……….….11 表 4-1 測試者一之七種人體姿態辨識結果 ………...43 表 4-2 測試者二之七種人體姿態辨識結果 ……….……..44 表 4-3 測試者三之七種人體姿態辨識結果 ……….……..44 表 4-4 測試者四之七種人體姿態辨識結果 ……….……..45 表 4-5 測試者五之七種人體姿態辨識結果 ………...45 表 4-6 五位測試者之七種人體姿態總辨識結果 ………..46 表 4-7 五位測試者之連續七種人體姿態總辨識結果 ………..…..….47 表 4-8 兩組測試者之連續七種人體姿態總辨識結果 ……..…………..…….49

(12)

第一章緒論

1.1 研究動機

由於現代醫療科技進步，人類的平均壽命增長，老年人口逐漸增加，也因此衍生出許多老年人居家照顧的問題。老年人獨處在家的時間增加，要是老年人發生緊急的情況(如跌倒或久臥不起等)，子女很可能無法及時得知，而造成無法挽回的結果。目前常見的看護作法是在老年人的房間或養老院裝置攝影機，監看他們的行動。但是利用攝影機監視除了有其死角以外，還需要額外的人力時時刻刻注意攝影機所拍攝到的影像。這個工作不但枯燥無趣，且不尊重老年人們的隱私權。近年來已有運用慣性感測器所發展的人體姿態估測系統[1]-[3]，在不侵犯老年人隱私的前提下，達到居家看護的效果。另一方面，由於機器人技術已日漸成熟。我們希望未來機器人可以逐漸走入家庭中，不僅能幫助人類工作，也能扮演家庭保全、看護老年人的功能。因此本論文發展一套多人姿態辨識系統，希望藉由此系統與機器人結合，讓在家裡服務的機器人能夠協助看護家中老年人。由老年人身上配戴的人體姿態估測模組，以感測器估測老年人的姿態。並透過 Zigbee 無線感測網路，使機器人可同時看護多位被看護者，相當適合應用在養老院或家中有多位需要看護者的情形。當機器人感測到被看護者有跌倒等意外發生時，機器人可馬上前往事發地點關切，並立刻發出警訊通知子女，讓老人家們的居家安全更加保障。

1.2 相關研究回顧

在基於慣性感測器之姿態估測系統方面，Bouten et al.[4]發展了一個可攜帶的 裝置，用來記錄、判斷使用者的日常活動。該裝置內有ㄧ個三軸的加速度計，利用人體產生的加速度與人體能量消耗量的相關性為基礎所發展的ㄧ套姿態辨識

演算法。各軸加速度與身體總能量消耗(Energy expenditure在此簡稱為EE )之間_act

為最理想的關係為利用各軸加速度取絕對值後的積分和(IMA )來預測。_tot IMA 如_tot

(13)

∫

=+ + = + = + + = t T t t T t t t T t t t tot a dt a dt a dt IMA 0 0 0 0 0 0 1 2 3 (1.1)

由圖1.1可看出IMA 與tot EEact有極高的相關性，故可以用 IMA 來估測人體消耗的tot

能量EE ，利用不同的動作所造成不同的能量消耗來判斷姿態。該篇論文的優點act 為只用一個三軸加速度計，構造簡單，可以判斷能量差異大的動作，但若完全以所消耗的能量來判斷姿態，在判斷能量損耗量差異不大的動作時，容易產生誤判的情形，且無法判斷靜態的姿態。另外此篇論文中提出了一個簡單的關係式以推算人體運動能量，圖1-1中可發現動態姿態的IMA 值遠較靜態姿態大，因此可利用式 (1.1) 加上一個適當的閥tot 值，以判斷人體處於運動或靜止狀態。

(14)

Tanaka et al.[5]也提出一套姿態辨識系統，由三個雙軸加速度計及一個陀螺儀 所組成。除了可以判斷人體姿態之外，還有可量測行走速度的功能。三個加速度計的位置關係如圖 1-2(a)所示，在身體的胸部、大腿、小腿三個部份各裝上一個加速度計，這三個加速度計可以由重力加速度的分量，得到 y-z 平面上θ₁、θ₂、θ₃ 三個角度的資訊。由這三個角度就可以重建出軀幹之間關係的簡圖，如圖 1-2(b) 所示，可判斷出站、坐、躺三種姿態。至於走路的速度則透過安裝在大腿的陀螺儀，計算走路時大腿的擺幅角度及時間，推算出走路的速度。此論文利用加速度計計算各個身體部位的傾斜角度以觀察身體姿態，然而此系統需要配帶在三個身體部位，配帶不便且不易將感測器結合在皮帶、鞋子等常見的生活用具中，不容易實用化。 (a) (b) 圖1-2 (a)加速度計所放置在人體的位置 (b)由圖(a)三個位置得到的角度所重建出的簡圖[5] 在姿態感測與辨識之訊號處理方面，Sekine et al.[6]用小波轉換理論將放置在人體腰帶部分的三軸加速度計的讀值作處理。本篇的作者發現利用以小波轉換為基礎的碎型分析(Wavelet-based fractal analysis)，可以明顯分辨出走路、上樓與下樓的差別。將三軸加速度計各軸的讀值經過小波轉換，將原來的加速度波形作七

層的小波分解，計算出這七層訊號個別的變異數(Variance)。圖1-3為各層小波係

數的變異數，可以看出第七層與第六層(scale 7與scale 6)的小波分解結果差異最顯

(15)

第六與第七層的分解所包含頻段有與走路有密切相關的頻率，因此只需取第六和第七層的小波分解來看即可，則加速度訊號的碎型維度(Fractal dimension)就可以由變異數變化的斜率決定。所得到的加速度訊號的碎型維度在平地走路和上下樓皆有顯著的差異，由圖1-3可看出此差異性。而且對老年人或病人，這個差異更顯著，更容易分辨出來。因此只要對加速度訊號的碎型維度找出適當的閥值，即可分辨出在平地走路和上下樓這三種狀態。此論文提供了一個分辨走路、上樓與下樓的方法，然而此論文採用離線分析的方式，先紀錄2MB的加速度波形，再將此紀錄在電腦端分析。若要提高此系統的實用性，必須簡化其方法，並將達到即時分析的效果。圖 1-3 加速度訊號的碎型維度在平地走路和上下樓的分佈[6]

Karantonis et al.[3]提出一個利用三軸加速度計、微控器與 Zigbee 模組所組成

的人體訊號量測模組，佩帶於腰部，利用三軸加速度計量測的結果判斷出人體的姿態。並將演算法實現在微控器中，只傳出運算後的結果，可達到即時監測的效果。此系統的演算法結合時域分析與傅立業轉換的頻域分析。加速度訊號先經過數位濾波器將靜態與動態加速度分開，再利用 Bouten et al.[4]所提出加速度計與 人體能量的關係判斷出使用者處於運動或靜止狀態，若為靜止則由靜態加速度判斷靜態的姿態。若為運動狀態，則以傅立業轉換分析加速度之頻率響應，判斷是否為走路，此系統可偵測站、坐、躺下、跌倒、走路，且經過了 283 個不同姿態的測試後，計算出總辨識率達到 90.8%。

(16)

此論文整合了多位學者的研究成果，並將其演算法在微控器內實現。然而此系統以 Zigbee 模組傳送人體姿態判斷的結果資訊，卻沒有利用到 Zigbee 網路佈建方面的應用。若利用多個 Zigbee 模組佈建出 Zigbee 無線感測網路，便可以同時觀察多位使用者的姿態，並增加感測範圍，提升系統的實用性。

1.3 問題描述

綜合上述，目前基於慣性感測器之人體姿態估測系統有三個可以改進的方向： 1.用來估測人體姿態的人體姿態估測模組必需具備體積小，可結合日常生活用具使用等特性，避免造成使用者配帶的不便。 2.許多分析都是在電腦上進行離線的姿態分析研究，為了實用化，必須發展具備即時辨識人體姿態能力的系統。 3.大多數的研究中，看護的對象只有一位，然而家中往往不止只有一位被看護者，未來居家看護系統必須朝著可同時看護多人的目標發展。本論文以解決上述三項問題為目標，希望在配帶方便、能同時監測多位使用者與即時監測使用者的前提下，發展以單一個三軸加速度計量測人體的加速度訊號的人體姿態估測模組。此模組以一個 8-bit 微控器作為運算核心，藉由 Zigbee 無線網路與機器人溝通，透過 Zigbee 無線網路可溝通多個人體姿態感測模組，達到同時監測多個目標的效果。本論文同時發展了以三軸加速度計讀值判斷跌倒、站、坐、躺、走路、上樓和下樓 7 種姿態的人體姿態辨識演算法，並將此演算法實現在微控器中，減少電腦端的計算量及傳送的資料量，以達到即時監測多位使用者姿態的效果。

1.4 章節說明

本論文共分五章，第一章為描述相關研究背景，並說明研究動機目的。第二章介紹系統架構，包括說明本實驗室自行設計之人體姿態估測模組中加速度計與 Zigbee 晶片的介面電路，並說明 Zigbee 無線感測網路的佈建。第三章介紹小波理論，描述人體姿態辨識系統的演算法，以及說明本論文以小波理論計算出的特徵參數之物理意義。第四章描述本論文設計的三種實驗測試方法和結果，驗證本系統具有同時監測多位使用者的能力，並計算出本系統辨識姿態的準確性。第五章為結論與未來工作。附錄 A 為本實驗室開發之人體姿態估測模組之電路圖。

(17)

第二章基於三軸加速度計之人體姿態估測模組

在本章中，首先介紹基於無線感測網路之多人姿態估測系統的系統架構，接著介紹本實驗室自行開發的人體姿態估測模組之設計與介面電路，最後說明如何以多個Zigbee 模組佈建成 Zigbee 無線感測網路。

2.1 系統架構

本論文之多人姿態辨識系統架構圖如圖2-1 所示，環境中有多個配戴 Zigbee 人體姿態感測模組的老年人，利用各模組中的三軸加速度計，透過人體姿態辨識演算法辨識出人體姿態，再透過 Zigbee 無線感測網路將人體姿態估測模組所估

測之姿態傳送給電腦端的Chipcon CC2420DBK Zigbee module，由 RS-232 port 將人體姿態資料傳入電腦中。電腦端並發展一個多人姿態監測軟體，可以同時紀錄並統計所接收到的人體姿態資訊，達到同時監測多人姿態的效果。

(18)

2.2 人體姿態估測模組設計

本論文之感測網路系統之硬體部份包含人體姿態估測模組及機器人端人體

姿態接收模組。其中人體姿態估測模組為本論文自行研製，此模組如圖2-2 所示，

包含了 Freescale 公司的 MMA7260QT 三軸加速規加速規、Atmel 公司的

Atmega128L 8 bit 微控器及 Chipcon 公司的 CC2420 Zigbee chip。

其中 Atmega128L 微控器為人體姿態估測模組之核心，溝通加速度計與

Zigbee 晶片，並外加了 32Kbyte 的外部記憶體以便日後擴充，此外模組上的 pin

腳分別對應到微控器的各個腳位，方便量測訊號與擴充電路。透過JTAC 介面，以Atmel 公司出產之 JTAC MK II 燒錄器對本模組燒錄程式。本模組可對 Chipcon 公司出產的 CC2420DBK board 互相溝通，而 CC2420DBK board 可透過 RS-232 port 連接機器人控制電腦，因此本論文中利用多個人體姿態估測模組與一個CC2420DBK board 佈建成一個 Zigbee 無線感測網路。其中CC2420DBK board 與電腦端連接，由電腦整合並觀察 Zigbee 無線測網路中各節點的資料。雖然人體姿態估測模組僅內建一個三軸加速度計，然而可以透過其上的pin 腳連接外加的感測器電路與微控器，便可以視實際需要構成各種不同的Zigbee 感測網路。圖2-2 人體姿態估測模組實體圖

(19)

2.2.1 加速度計電路設計

人體姿態估測模組中採用 Freescale MMA7260QT 三軸加速度計，此加速度計具有下列特點： 1. 此加速度計是以微機電技術製造而成之電容式加速度計，體積為 mm mm mm 6 1.45 6 × × ，消耗電流為 500μA，在睡眠狀態時更低達 3μA，操作電壓為2.3V~3.6V，十分適合隨身佩帶並作長時間觀測的應用。 2.此加速度計為類比輸出，需要由微控器的 A/D converter 將類比訊號轉為數位訊號。 3.此三軸加速度計具有± 1.5g、 ± 2g、 ± 4g、 ± 6g 四種感測範圍可供選擇，僅需透過微控器對g-select 1 與 g-select 2 做控制，即可改變加速度計的量測範圍。而加速度計的可測範圍與靈敏度成反比，表2-1 說明了 g-select 1 與 g-select 2 兩腳位與量測範圍及靈敏度的關係。圖2-3 為加速規與微控器之間的介面，由 PD2、PD3 及 PD5 對加速度計初始化，由微控器之PD5 控制加速規是否處於休眠狀態；PD2 及 PD3 腳位控制加速度計之 g-select1 及 g-select2 兩個腳位，以選擇加速規之感測範圍。本論文採用的量測範圍為± 4g，因此在微控器的程式中令 PD2=1，PD3=0，完成對加速度計之初始設定。表2-1 MMA 7260QT 三軸加速度計之量測範圍與靈敏度之間的關係

g-select 2 g-select 1 g-Range Sensitivity

0 0 1.5g 800mV/g

0 1 2g 600 mV/g

1 0 4g 300 mV/g

(20)

而加速規之三軸輸出為類比訊號，各經過一個低通濾波器濾除高頻雜訊

後，進入微控器之三個A/D converter：A/D 0、A/D 1、A/D 2。至於對加速度計

的取樣頻率則由微控器中的Timer 控制取樣週期，每隔一個取樣週期，對連接三

軸加速度計的三個A/D converter 分別取樣一次。

本模組所搭配的微控器之A/D converter，可以選擇以 10bit 或 8bit 兩種精確

度的取樣。雖然10bit 精確度較高，但需要較多的記憶體來儲存取樣後的加速度值，而在本論文之人體姿態估測之應用中，除了需要大量記憶體儲存取樣的加速度外，其餘的訊號處理也同樣大量的記憶體。8bit 取樣可用 Byte 為儲存加速度資料的單位，資料處理方便。且人體運動時的加速度變化明顯，可以放寬對精確度的要求。又考慮微控器的記憶體有限，因此我們選取8bit 的取樣精確度。 Sleep Mode g-select 1 Xout Vdd Vss Yout Zout g-select 2 0.1µF 1kO 1kO 1kO 0.1µF 0.1µF 0.1µF Vdd Vss 0.1µF PD5 A/D0 PD3 PD2 A/D2 A/D1

Fr

ee

sc

al

e

M

A726

0QT

Ac

cel

er

om

et

er

At

m

el

AT

me

ga

12 8L

Mic

roc

ont

ro

lle

r

圖2-3 加速度計與微控器之溝通介面

2.2.2 加速度計之測試與補償

本姿態感測模組選取感測範圍為± 4g，由表 2-1 得知加速度計在感測範圍為 ± 4g 的情況下，靈敏度為 300mV/g。接下來需要推算出由微控器之 A/D converter 的讀值求出加速度之對應公式。利用重力加速度來推導出加速度計的公式，在校準測試中分別讓加速度計處於ax=1g，ay=0g，az=0g；ax=0g，ay=1g，az=0g 及 ax=0g，ay=0g，az=1g 三

(21)

種情形下，每種情形分別對三軸以128Hz 的取樣頻率取樣 1000 次，將值紀錄下來。接著計算當ax、ay 及 az 為 0g 時 A/D converter 的平均讀值。我們得到當 ax=0g 時，ADC 讀值為 126；當 ay=0g 時，ADC 讀值為 136；當 az=0g 時，ADC 讀值為127。由於模組上的微控器之最高電壓為3.3V，而 8bit 取樣的最大數值為 256，則三軸加速度與ADC 讀值的關係式分別為： 11 ) 256 126 ( − × = x x ADC a (g) (2-1) 11 ) 256 136 ( − × = y y ADC a (g) (2-2) 11 ) 256 127 ( − × = z z ADC a (g) (2-3) 利用這三個公式對先前取樣的 3 種情形之加速度作計算，得到的波形如圖 2-5~7。以受 1g 之加速度感測軸之讀值來推算此加速度的準確度，求出 ax 軸受到1g 的加速度作用下，1000 筆量測值平均為 1.03g，百分誤差為 3%；ay 軸受到 1g 的加速度作用下，1000 筆量測值平均為 0.99g，百分誤差為 1%；az 軸受到 1g 的加速度作用下，1000 筆量測值平均為 0.99g，百分誤差為 1%。再以加速度之雙軸同時感測重力加速度的方式測試，實驗設置如圖 2-4(a)~2-4(d)，利用加速度計傾斜時，重力加速度對各軸的分量當作理想值，測試校準後的加速度計的準確度。以test1 為例，加速度計的 x 感測軸與重力加速度夾角為60 度。因此可以推算理想上 x 軸所受到的重力加速度分量為 g·cos(60˚)，z 軸所受到的重力加速度分量為 g·sin(60˚)。圖 2-8 為加速度計三軸實際感測到的1000 筆加速度值。將圖 2-8 中各軸的 1000 筆資料作平均，記算出與理想值的百分誤差，紀錄在表 2-2 中。由表 2-2 可看出，test1~test4 中，最大誤差為9%，顯示加速度計經過校準後之準確度。

(22)

( d ) test4 ( c ) test3 ( b ) test2 ( a ) test1 ( d ) test4 ( c ) test3 ( b ) test2 ( a ) test1 60° g ax=g·cos(60°) =0.5g az=g·sin(60°) =0.866g X axis Z axis 30° g ax=g·cos(30°) =0.866g az=g·sin(60°) =0.5g X axis Z axis 30° g ay=g·cos(30°) =0.866g az=g·sin(60°) =0.5g Y axis Z axis 60° g ay=g·cos(60°) =0.5g az=g·sin(60°) =0.866g Y axis Z axis 圖2-4 加速度校準測試實驗設置表2-2 加速度校準測試結果 Test 1 Test 2 Sensing axis ax az Sensing axis ax az Average 0.510 0.899 Average 0.86 0.47 Ideal value 0.5 0.866 Ideal value 0.866 0.5

Error 2% 3.8% Error 0.7% 6% Test 3 Test 4 Sensing axis ax az Sensing axis ay az Average 0.47 0.90 Average 0.88 0.54 Ideal value 0.5 0.866 Ideal value 0.866 0.5

(23)

0 100 200 300 400 500 600 700 800 900 1000 -0.2 0 0.2 ax ( g) 0 100 200 300 400 500 600 700 800 900 1000 -0.2 0 0.2 ay ( g) 0 100 200 300 400 500 600 700 800 900 1000 0.8 1 time (x 1/128 sec) az ( g) 圖2-5 ax=0g，ay=0g，az=1g 之測試情形 0 100 200 300 400 500 600 700 800 900 1000 -0.2 0 0.2 ax ( g) 0 100 200 300 400 500 600 700 800 900 1000 0.8 1 ay ( g) 0 100 200 300 400 500 600 700 800 900 1000 -0.2 0 0.2 time (x 1/128 sec) az (g) 圖2-6 ax=0g，ay=1g，az=0g 之測試情形

(24)

0 100 200 300 400 500 600 700 800 900 1000 0.8 1 ax ( g) 0 100 200 300 400 500 600 700 800 900 1000 -0.2 0 0.2 ay (g ) 0 100 200 300 400 500 600 700 800 900 1000 -0.2 0 0.2 time (x 1/128 sec) az ( g) 圖2-7 ax=1g，ay=0g，az=0g 之測試情形 0 100 200 300 400 500 600 700 800 900 1000 0.3 0.4 0.5 0.6 ax ( g) 0 100 200 300 400 500 600 700 800 900 1000 -0.2 0 0.2 ay (g ) 0 100 200 300 400 500 600 700 800 900 1000 0.7 0.8 0.9 1 1.1 time (x 1/128 sec) az ( g) 圖2-8 ax=0.5g，az=0.866g 之測試情形

(25)

0 100 200 300 400 500 600 700 800 900 1000 0.7 0.8 0.9 1 1.1 ax ( g) 0 100 200 300 400 500 600 700 800 900 1000 -0.2 0 0.2 ay (g ) 0 100 200 300 400 500 600 700 800 900 1000 0.3 0.4 0.5 0.6 time (x 1/128 sec) az ( g) 圖2-9 ax=0.866g，az=0.5 g 之測試情形 0 100 200 300 400 500 600 700 800 900 1000 -0.2 0 0.2 ax ( g) 0 100 200 300 400 500 600 700 800 900 1000 0.3 0.4 0.5 0.6 ay (g ) 0 100 200 300 400 500 600 700 800 900 1000 0.7 0.8 0.9 1 1.1 time (x 1/128 sec) az ( g) 圖2-10 ay=0.5g，az=0.866g 之測試情形

(26)

0 100 200 300 400 500 600 700 800 900 1000 -0.2 0 0.2 ax ( g) 0 100 200 300 400 500 600 700 800 900 1000 0.7 0.8 0.9 1 1.1 ay (g ) 0 100 200 300 400 500 600 700 800 900 1000 0.3 0.4 0.5 0.6 time (x 1/128 sec) az ( g) 圖2-11 ay=0.866g，az=0.5g 之測試情形

2.2.3 CC2420 Zigbee 晶片介面電路設計

本模組的Zigbee RF 部分，我們採用了 Chipcon 公司所出產的 CC2420 晶片，它的特點有： 1. 符合 802.15.4 之單晶片模組，只需要極少的外接元件即可運作，周邊電路如圖2-12 所示，體積僅有7mm×7mm×1mm，操作電壓在1.6~2.0V 之間，在傳送狀態時耗電量為17.4mA，接收狀態的耗電量為 18.8mA。 2. 提供連線強度及連線品質等資訊，可得知節點之間的連線的情形。 3. 傳輸速度最快達 250kbps。 4. 提供傳送及接收暫存器各 128Byte。圖2-12 中為 CC2420 中的週邊電路圖，只要選取下列幾個重要的元件規格便可以使晶片正常運作： 1. 天線：選取適用於 2.4GHz 的天線，內部電阻為 50Ω。

(27)

圖2-12 CC2420 Zigbee chip 之周邊電路[7] 2.震盪器：圖 2-12 中的 XTAL 為一個外接的 16MHz 震盪器，搭配 C381 與 C391 兩個27pF 的 loading 電容使其震盪。 3.偏壓電阻：圖 2-12 中的 R451 為偏壓電阻，目的是設定 CC2420 內部的電流轉換器，需選取43kΩ 且精確度在 1%內的電阻。 4.電壓轉換器：CC2420 有內部的電壓轉換器，提供自身需要的 1.8V 之電壓供應，因此我們在其電壓轉換的輸入處接上我們電路板大多數原件的3.3V，在電壓輸出處接上一個10μF 的電容以保障輸出電壓的穩定。 CC2420 Zigbee chip與微控器間之介面如圖2-13所示，微控器透過CC2420的 SPI(CSn、SI、SO及SCLK)介面設置CC2420的狀態，控制CC2420讀取、寫入暫存的資料或回報晶片狀態資訊。其中微控器為Master，所以MOSI(Master Output Slave Input )連接CC2420的輸入SI；MISO (Master Input Slave Output )連接CC2420 的輸出SO；CSn腳位接SS。在對CC2420執行動作時，CSn必須設為低電壓，SCLK 則是微控器供給CC2420時脈的腳位。微控器透過SO與SI對CC2420發出命令，以讀取或寫入CC2420中的接收或傳送暫存器，控制CC2420中資料的讀寫。

(28)

FIFO FIFOP SCLK SO CCA SFD CSn SI SCLK SS MISO MOSI PD4 INT1 INT0 PD6

At

m

el

Atme

ga

128L

M

ic

roc

on

tr

oll

er

Ch

ip

co

n

CC

2420

Z

igbe

e C

hip

圖2-13 微控器與 CC2420 之溝通介面而FIFO、FIFOP、 SFD、和CCA四個腳位則用來告知微控器發收資料的狀態，其所提供的狀態資訊如下： FIFO：若有資料在CC2420之接收暫存器中RXFIFO中，FIFO pin腳會變high，直到存在RXFIFO暫存器之資料清空為止。我們將FIFO接到微控器的外部中斷腳位以告知微控器有資料可供讀取。 FIFOP：若CC2420接收資料的個數超過了預先設定的閥值，FIFOP會變為high。若在沒超過閥值的情形下，則在CC2420接收到最後一個Byte的資料時， FIFOP才會變high。這個腳位提醒我們資料傳輸完成，因此也接到微控器的一個外部中斷腳位使微控器知道何時資料接收完成。 CCA：透過CCA管腳狀態的設置可以知道頻帶通道是否有被佔用的情形。CCA pin腳在通道有信號時輸出為high，告知微控器目前通訊頻道是被佔據的；反之，若通訊頻道是空的，則此腳位為low。 SFD：在接收到資料的起始位元或傳送出起始位元時，SFD 腳位會變 high，因此 SFD 接到微控器中的時間抓取腳位，以計算傳送或接收封包所費的時間。

2.3 Zigbee 感測網路

Zigbee感測網路可以成為一個有效的網路監控系統，可整合多感測器，將遠

(29)

端資訊利用點接點方式，形成一個網路系統，如圖2-14所示。資料傳輸模式由原本的單點對單點傳輸，可透過一連串節點得到遠端資料，讓資料可以傳輸到更遠的地方。使用Zigbee讀取sensor的值透過網路傳送，將各處感測器的感測值傳回中央監控系統，可監控各節點資訊，增加感測的範圍。資料封包設計如圖2-15所示，由於CC2420是基於802.15.4之PHY層與MAC層之晶片，以硬體實現了802.15.4之通訊協定，只需對MAC payload寫入希望要傳送的資料，其餘的封包格式將由CC2420產生，插入適當的位置而形成一個完整的封包。若傳送出去的封包成功被接收，則接收端會回傳一個acknowledge封包給傳送端告知傳送端接收成功。本論文將 Zigbee 模組利用點接點方式，串列形成一個網狀網路系統。透過一連串節點接力傳送的方式，將資料傳送至監控端呈現。我們在交通大學工程五

館六樓以四個Zigbee module 進行佈建 Zigbee 網路之測試，如圖 2-16 所示，其

中 Module4 是與電腦連接的接收端，Module1~ Module3 是 sensor 端。Module2

可直接與Module1 溝通，但無法直接與接收端溝通。三個 sensor 端之 Module 各

接上一個溫度感測器，所感測的環境分別是：Module_1 感測手指溫度；Module_2

感測一般走廊室溫；Module_3 感測冰箱的溫度。

基於圖2-15中的資料封包，本論文設計了兩個傳輸模式，Active mode與 Passive mode。Active mode定義為傳送模組本身所附的sensor之資料時的處理模

(30)

式；Passive mode定義為轉傳其他sensor端傳來的資料時的處理模式。Sensor端與接收端的動作如圖2-17(a)及2-17 (b)所示，sensor端的Zigbee module起初處於 Active mode，但若接收到其他其他sensor端傳來的資料時，則切換為Passive mode。而與電腦連接的監控端Zigbee module之動作僅有在接收到Zigbee網路傳來的資料時，便將此資料透過RS-232傳送給電腦。圖 2-15 CC2420傳送封包格式 Room 623-2 Room 623-1 Room 621 Room 622 Room 633 Room 634 Room 632 1 2

Zigbee module 1 (sensor side) 3

4

1

Zigbee module 2 (sensor side)

Zigbee module 4 (monitor side) Zigbee module 3 (sensor side) 2

3 4

PC with monitoring software

(31)

Active mode

Passive mode Receiving data from other sensor side

node No Yes Sensor side Waiting to receive data Transmitting data to PC through RS-232 Monitor side ( a ) ( b )

圖2-17 (a)Sensor 端之 Zigbee module 程式流程(b)監控端之 Zigbee module 程式流程

Active mode的處理流程如圖2-18 (a)所示，sensor端先試著直接將資料傳送給監控端，若成功傳給監控端，則結束這筆資料的傳送。若無法直接將資料傳送給監控端，則此Zigbee module便試著將這筆資料傳給環境中的其他節點作處理，若成功傳給其他節點，則結束這筆資料的傳送。

Passive mode 的處理流程如圖 2-18 (b)所示，若 sensor 端的 Zigbee module 接收到其他sensor 端傳來的資料封包，則進入 Passive mode。Passive mode 的動作

與Active mode 十分類似，差別在於傳送的封包是由其他 sensor 端傳來的的資料

封包。此時sensor 端也是先試著直接將資料傳送給監控端，若成功傳給監控端，

則結束這筆資料的傳送。若無法直接將資料傳送給監控端，則此 Zigbee module

便試著將這筆資料傳給環境中的其他節點作處理。若成功傳給其他節點，則結束這筆資料的傳送。

(32)

Saving the data in transmission register Transmitting data to monitor side Yes No No Yes Active Mode Passive mode Yes No

Sampling data from temperature sensor Transmitting data to monitor side Transmission success Transmitting data to other Zigbee module Yes No No Yes Active mode Transmission fail to all Zigbee

modules No Yes Transmission success Transmission success Transmitting data to other Zigbee module

Transmission success

Transmission fail to all Zigbee

modules

( a ) ( b )

圖2-18 (a)Active mode 之程式流程 (b) Passive mode 之程式流程

在監控端的電腦上，我們以一個溫度監控介面，如圖 2-19，顯示出監控端

Module 所接收到環境中之 Zigbee module 的資料。可看出即使 Module2 距離接收端太遠而無法直接將資料傳送給接收端，還是可以透過環境中其他的節點將資料輾轉傳送給接收端，達到同時監測環境中三個節點的效果。

(33)

第三章人體姿態辨識演算法

人體姿態辨識演算法大致可分為兩大類，即以時域分析或以頻域分析。這兩種分析方法各有所擅長分辨的姿態。例如以時域中的動態加速度可推算出人體消耗的能量，容易判斷出人體處於運動或靜止狀態；跌倒也可由時域的動態加速度觀察其是否有異常的脈波出現而判斷之。至於頻域分析則常見於走路、上樓、下樓等具有特定頻率的週期性運動。因此本論文提出一個結合時域與小波轉換的分析，且能夠實現在微控器中之人體姿態估測演算法。能判斷站、坐、躺、走路、上樓、下樓與跌倒七種常見的人體姿態。

3.1 人體姿態估測系統設計概念

利用本實驗室自行發展的人體姿態測模組，實現人體姿態估測演算法。人體姿態估測模組透過一個三軸加速度計量測人體的加速度，作為判斷人體姿態的依據。此三軸加速度計經由微控器的A/D converter 讀取加速度計的數值後，在微控器中完成辨識演算法，以達成即時辨識姿態之功效。一般設計可辨識的姿態有跌倒、走路、上樓、下樓、站、坐、躺七種姿態。本論文將這七種姿態分為突發狀況、動態與靜態姿態三組。突發狀況為跌倒；動態姿態為走路、上樓、下樓；靜態姿態為站、坐、躺。由於加速度計可以量測到由地心引力產生的重力加速度與由人體產生的動態加速度。其中重力加速度在各軸的分量可以推算出軀幹的傾斜角度，進而可以推算出相關的靜態姿態。而動態加速度是由人體的活動所產生的，可用來判斷走路、上樓、下樓及跌倒等動態姿態。本論文提出一個演算法架構，如圖3-1 所示：三軸加速度計之讀值先經過訊號的前置處理，分離出動態與靜態加速度。經過訊號前置處理後，檢查動態加速度中是否有由跌倒所造成的異常訊號，若無，則分析動態加速度，判斷人體處於動態或靜態姿態。若人體處於靜態姿態，則由軀幹的傾斜角度判斷為站、坐、躺三種姿態；若為動態姿態，則經由步伐偵測及步伐分析前處理的步驟，判斷是否有無步伐的動作。若偵測到步伐，則將加速度訊號經過小波轉換，計算特徵參數，分析一般人類步行時能量分布的頻段之小波係數，由這些小波係數計算出本論文所定義的特徵參數，判斷此步伐為走路、上樓或下樓三種姿態。若無偵測到步伐，則將姿態歸類為運動狀態。

(34)

3-axis accelerolation

Signal preprocessing

Distinguishing the user in action or rest

Wavelet transform and Calculating eigenparameters Classifing dynamic poses from the eigenparameters Classifing

static poses from the tilt angle

1. falling 3. sitting 6. going

upstairs Action Rest Abnormal dynamic accelerlation detected No 4. lying 2. standing 7. going downstairs 5. walking Gait classification preprocessing Gait detected Yes Yes No 8. sporting

Calculating tile angle of the user ´s trunk

圖3-1 人體姿態估測演算法之架構

3.2 小波轉換

本論文採用小波轉換作為訊號處理的工具，因為小波轉換可以視不同需求，將訊號分析出各種頻段的成分，以多解析度來分析訊號。因此在小波轉換的過程中，可跳過不需要的頻段，只需針對感興趣的頻段繼續分解；傅立業轉換則是將整個訊號的頻域成份全部計算出來，較沒效率。另一方面，小波轉換具有時-頻性，即小波轉換後的小波係數，與時域的原始波形有其關連性。可由小波係數之區域極大值定位出時域訊號中此頻帶發生的位置。在本論文中，利用這種時頻性來尋找原始訊號中的相對極大值。連續小波轉換的基本概念在於：先選定一個母波函數(Mother function) ) (t φ ，此母波函數經伸縮(Dilation)與平移(Translation)後產生如式(3-1)稱為 Scaling function，而母波函數的選取必須符合積分和為零，如式(3-2)和能量有限的特性式(3-3)

(35)

R b a a b t a t b a ∈ − = 1 ( ) , ) ( , φ φ (3-1)

∫

∞ ∞ − = 0 ) ( dtt φ (3-2)

∫

∞ ∞ − ∞ < dt t)2 ( φ (3-3) 其中a為比例係數(Scaling factor)，用來對小波基底函數壓縮或擴張。較大的 a值可使母波產生擴張的效果，反之，較小的a值表示對母波進行壓縮處理。b為位移係數(Translation factor)，用來對整段小波基底函數作平移，當母波較窄時，應選取較小的值使每次位移的距離縮短；母波較寬時，則應選取較大的值，避免位移重疊。根據連續小波轉換(CWT)的定義

∫

∞ ∞ − − = 1 ( ) ( ) ) , ( * dt a b t t f a b a CWT_f φ a,b∈ aR, ≠0 (3-4) 將式(3-1)代入式(3-4)中，可得到連續小波轉換式(3-5)

∫

∞ ∞ − = ( ) ( ) ) , ( * , t dt t f b a CWT_f φ_a_b 其中a,b∈ aR, ≠0 (3-5)

離散小波轉換(Discrete wavelet transform)就是把連續小波轉換公式中的尺度

參數a與平移參數b離散化(Discretization)，即可獲得離散小波轉換。因此 ba, 係數離散化後表示如式(3-6)與式(3-7)所示 R , 2 ∈ = m a m (3-6) R , ∈ =na n b (3-7) 將式(3-6)與式(3-7)代入式(3-1)，可得到離散小波函數，如式(3-8) ) 2 ( 2 1 ) ( , n t t _m m n m = φ − φ (3-8) 式(3-8)中，若 m 愈大，則波形寬度愈窄，解析度越高，可以展開的函數種類也就增加，若V 表示_m φ_m_,_n(t)可以展開的函數之集合，則有

(36)

∞ ∞ − ⊂ ⊂V ⊂V ⊂V ⊂V V ... ₀ ₁ ₂... 的關係，表示m 值愈大，可展開的集合也愈大，如圖3-2 的關係。圖3-2 ) 2 ( 2 1 ) ( , n t t _m m n m = φ − φ 中m 的大小與可展開之集合的關係圖考慮圖3-2 中兩個集合間的範圍(例如介於V₀V₁中間這個區域，即可被φ₁_,_n(t)展開但不能被φ₀_,_n(t)展開的範圍)，定義所謂的 Wavelet function ϕ_j_,_k(x)，用來展開介於V 及_j V_j₊₁之間的空間。若W 表示_j ϕ_j_,_k(x)可展開的集合範圍，則有V_j₊₁=V_j ⊕W_j 的關係，因此圖3-2 可改成圖 3-3。圖3-3 V 、_j W 與_j V_j₊₁之間的關係圖由Vj+1 =Vj ⊕Wj這個式子帶有將高頻訊號(Vj+1)分解成兩個成分的訊號(Vj 及W )的概念，而且可依需求再往下分解任意多層，即j Vj+1可表示成式子2-14 j jo jo jo j j j V W V W W W V ₊₁ = ⊕ = ⊕ ⊕ ₊₁⊕...⊕ (3-9) 其中 jo 為任意整數，式子(3-9)引出了小波分解的觀念。其物理意義相當於將訊號同時通過高通與低通濾波器。若原始訊號的頻帶為0~f，經過第一層分解後可得到原始輸入訊號的低頻 ca1(0~f/2)和高頻 cd1（f/2~f）的訊號分量。再將 ca1 經過低通及高通濾波器，可得到第二層的小波係數ca2、cd2。依此類推，可得到

(37)

圖3-4 小波分解示意圖(from http://www.wavelet.org/tutorial/wbasic.htm) 更多層的小波係數。小波轉換之概念圖可以由圖3-4 所示，可根據使用者的需求，自由決定分解的層數。以本論文的需求為例，因為人體產生的加速度訊號大都屬於低頻的訊號，故在低頻的訊號需要較大的解析度，所以可選擇將低頻頻段分解的層數增加，以增加低頻成分頻域的解析度。

3.3 訊號前處理

Mathie et al.[22]提到 99%以上之人體的運動頻率皆小於 20Hz。根據夏農取 樣頻率定理(Shannon sampling theorem)，取樣頻率的選擇必須大於 2 倍的來源訊

號之頻寬。不過實際應用上往往需要5~10 倍來源訊號的頻率，因此本論文採用的取樣頻率為128Hz，採用微控器的 Timer 之溢位中斷來控制取樣頻率。為了兼顧系統的反應時間及提供足夠的資料量，我們選擇每收集兩秒的資料後進行一次姿態演算法的處理流程，即每256 筆資料作一次人體姿態估測。每擷取到256 筆資料後，先進行訊號前處理，分離出動態與靜態加速度。我們利用小波轉換的方式來計算出靜態加速度，因為我們所取的資料有256 筆，因此可以作 8 層的 Haar 小波轉換。經過轉換後，我們取最低頻的一層，即代表 0~0.25Hz 的小波係數，將其還原到時域，代表此兩秒鐘的DC 成分。至於動態加速度，則是以原始加速度訊號減去靜態加速度訊號而得到。

(38)

圖3-5 之原始訊號為一段步行時的三軸加速度訊號，此原始訊號經過小波轉換後，保留最低頻的一個小波係數，經過還原，得到圖3-5 中間的靜態加速度。原始訊號再與靜態加速度相減，而得到圖3-5 中的動態加速度。其中靜態加速度來自地球的重力加速度。由圖3-6 為人體姿態估測模組的配帶情形與重力加速度之間的關係，可以看出在軀幹為直立的情況下(如走路及站立)，加速度計的 y 軸將感測到重力加速度，讀值為-1g，而加速度計 x 軸及 z 軸將不受重力加速度的影響，因此理想中的y 軸之靜態加速度應該趨近於-1g，x 及 z 軸之靜態加速度應該趨近於0g，而圖 3-5 中的靜態加速度符合我們這個推論。 0 100 200 300 -1 0 1 original acceleration time (x 1/128 sec) ax ( g) 0 100 200 300 -2 0 2 static acceleration time (x 1/128 sec) ax ( g) 0 100 200 300 -1 0 1dynamic acceleration time (x 1/128 sec) ax ( g) 0 100 200 300 -4 -2 0 original acceleration time (x 1/128 sec) ay ( g ) 0 100 200 300 -4 -2 0 static acceleration time (x 1/128 sec) ay ( g ) 0 100 200 300 -2 0 2dynamic acceleration time (x 1/128 sec) ay ( g ) 0 100 200 300 -1 0 1 original acceleration time (x 1/128 sec) az ( g) 0 100 200 300 -2 0 2 static acceleration time (x 1/128 sec) az ( g) 0 100 200 300 -1 0 1dynamic acceleration time (x 1/128 sec) az ( g) 圖 3-5 步行之三軸加速度訊號與靜態加速度及動態加速度成份 y z x g 圖3-6 人體姿態估測模組之配置與重力加速度的關係

(39)

3.4 人體動態與靜態姿態判定

本論文將姿態分成動態與靜態姿態兩類，Mathine et al.2003 提出利用三軸動

態加速度的絕對值積分得到動態加速度的signal magnitude area (SMA)

(

)

∑

= + + = 256 0 _ _ _ [ ]| | [ ]| | [ ]| | n dynamic z dynamic y dynamic x n a n a n a SMA (3-10) SMA 得到的數值與人體運動產生的能量為高度正相關的關係。因此可利用此參數高過某個閥值的情況判定此時人體處於運動狀態，反之則處於靜止狀態。下圖為人體處在靜止狀態與運動狀態之情形。圖3-7 可看出站、坐、躺這三個靜態姿態之 SMA 的數值遠小於走路、上樓、下樓這三個動態的姿態，我們取 SMA threshold=50g，便可以分辨動態與靜態的姿態。 0 10 20 30 40 50 60 0 50 100 150 200 250 300 SMA time (x 2 sec) g

sitting standing walkng going

upstairs downstairsgoing lying

SMA th. 圖3-7 不同姿態的 SMA 之分布情形

3.5 跌倒辨識演算法

跌倒發生的瞬間，三軸加速度會有劇烈的變化，Mathine et al.2003 提出若 g a a

(40)

器的編寫程式方便，我們將其公式作平方，同時定義 Signal magnitude vector (SMV)： 2 _ 2 _ 2

_dynamic y dynamic z dynamic

x a a

a

SMV = + + (3-11)

若ax2_{_}dynamic +a2y_{_}dynamic +az2_{_}dynamic >3.24g2，便判斷人體有異常劇烈的加速度產

生，判定為跌倒。但由於本論文中每收集2 秒的資料做一次判斷。因此三軸各有 256 筆資料，計算這 256 組三軸加速度資料中之 SMV 最大者作為這兩秒內 SMV 之代表，定義為SMV_max。若 SMV_max>3.24，則判斷有跌倒的狀況發生。圖3-8 為使用者在一個房間中自由活動，在記錄資料的期間生了十次跌倒之 SMV_max 波形的紀錄，實驗圖形中十個區域極大值即為跌倒所發生的時間點。可看出跌倒發生時，SMV_max>3.24 且跌倒時 SMV_max 遠大於其他各種姿態之 SMV_max 值，因此 SMV_max>3.24 可作為判斷跌倒是否發生的條件。 0 5 10 15 20 25 30 35 40 0 10 20 30 40 50 60 SMV-max time (x 2 sec) g 2 SMV th. 3.26 圖3-8 測試者在一段時間內跌倒十次之 SMV_max 值

3.6 站、坐、躺之姿態辨識

站坐躺這三種靜態姿態可以用人體軀幹的傾斜角度來判斷，根據觀察，若人體軀幹傾斜程度大於60 度時，判定此時人體為躺下的狀態，20 到 60 度為坐下， 0 到 20 度為站。由於靜態加速度是由地球之重力加速度之分量所產生，如圖3-9 所示，而人

(41)

體姿態感測模組中之加速度計之y 感測軸平行軀幹的方向，可感測到重力加速度在軀幹的分量，因此可由y 感測軸感測到之靜態加速度判斷出人體軀幹傾斜的角度，因為 y 軸所感測到的加速度值為重力加速度的餘弦分量，即 ) cos( _ = g• θ

ay static ，本論文以ay_static_th1 = g•cos(20°)與ay_static_th2 = g•cos(60°)為兩個閥值，因此ay_static會符合下列式(3-13)~(3-15)其中ㄧ情形： ) 0 cos( ) cos( ) 20 cos( ° < _{_} = • ≤ • ° • a g g g _y _static θ (3-13) ) 20 cos( ) cos( ) 60 cos( ° < _{_} = • ≤ • ° • a g g g y static θ (3-14) ) 60 cos( ) cos( _ =g• ≤g• ° a_y _static θ (3-15) 因為餘弦函數在θ < 90°的情形下為遞減函數，因此若(3-13)成立，則代表 ° < < ° 20 0 θ ，，即判斷為站；若(3-14)成立，表示20°<θ <60°，即判斷為坐下；若(3-15)成立，表示θ > 60°，即判斷為躺下。

g

g·cos(θ)

g·sin(θ)

θ

y_axis

z_axis

g

g·cos(θ)

g·sin(θ)

θ

y_axis

z_axis

圖3-9 軀幹傾斜角度與重力加速度之間的關係

(42)

3.7 走路、上樓、下樓之辨識

3.7.1 訊號前置處理

本論文透過小波係數來辨識走路與上下樓這三種姿態，但小波轉換需要較長的資料作分析以得到明顯結果。但是若以增加資料取樣的方式來增加資料量，會使系統反應時間變長。本論文不希望增加辨識所需的時間，但希望資料量夠大，足以使小波轉換後的特徵明顯。觀察圖3-10~12 中的走路、上樓、下樓三種步伐之 y 軸及 z 軸加速度(x 軸為左右晃動之加速度，參考價值較小)，可發現這三種運動的加速度波形大致上是呈現週期性的狀態。若能找到這三種姿態的週期單位，便可將此週期單位週期化，得到任意的訊號長度，以利於小波轉換。由圖3-10~12 亦可看出，這三種步伐的 z 軸加速度在每一步啟動時皆有一個明顯的區域極小值，這個區域極小值可以當作步伐開始的特徵。每兩個區域極小值之間的訊號，就是受測者步行一步所產生的加速度訊號。由於人類的左右腳發達程度往往不太相同，造成左右腳出力可能會不一致的現象，因此我們擷取連續兩步的步伐，即左右腳的步伐各一步。以這兩步步伐作為一個週期，將加速度週期化至512 筆資料以供小波轉換計算。為了快速找到這個區域極大值的位置，第一步：先將兩秒間的Z 軸方向加速度作平方的動作，使 z 軸加速度的變化更為明顯，結果如圖 3-13 所示，圖中之區域極大值便是步伐開始的位置。第二步：將第一步中的a 訊號做兩層的小波轉換，因為步伐發生的位置具_z2 有高頻成分，因此可以由小波轉換後的小波係數找出區域極大值發生的位置，如圖 3-14，且由於小波轉換具有時-頻特性，可由小波係數的區域極大值發生的位置推算出時域中區域極大值發生的近似位置，便可快速知道腳步發生的位置。又論文中希望取出兩個步伐(左右腳各一步)之間的時域訊號做分析，因此本論文截取第一跟第三個區域極大值之間的時域訊號作為分析步伐的對象。

(43)

0 50 100 150 200 250 300 -0.5 0 0.5 1 walking ax ( g) 0 50 100 150 200 250 300 -2 -1.5 -1 -0.5 ay ( g) 0 50 100 150 200 250 300 -1 -0.5 0 0.5 time (x 1/128 sec) az ( g) 圖3-10 走路之三軸加速度波形 0 50 100 150 200 250 300 -0.5 0 0.5 1 going upstairs ax ( g) 0 50 100 150 200 250 300 -2 -1.5 -1 -0.5 ay ( g) 0 50 100 150 200 250 300 -1 -0.5 0 time (x 1/128 sec) az ( g) 圖3-11 上樓之三軸加速度波形

(44)

0 50 100 150 200 250 300 -0.5 0 0.5 1 going downstairs ax (g) 0 50 100 150 200 250 300 -3 -2 -1 0 ay (g ) 0 50 100 150 200 250 300 -1 -0.5 0 0.5 time (x 1/128 sec) az ( g) 圖3-12 下樓之三軸加速度波形 0 50 100 150 200 250 300 0 0.5 1 walking az s quare ( g 2 ) 0 50 100 150 200 250 300 0 0.5 1 going upstairs az s qu are ( g 2 ) 0 50 100 150 200 250 300 0 0.5 1 going downstairs time (x 1/128 sec) az s quar e (g 2 ) 圖3-13 走路、上樓、下樓之 z 軸加速度平方圖

(45)

0 10 20 30 40 50 60 70 0 0.1 0.2 walking (2nd l ay er de ta il si gnal of az 2 ) 2 0 10 20 30 40 50 60 70 0 0.2 0.4 going upstairs (2nd l ay er det ai l si gnal of az 2 ) 2 0 10 20 30 40 50 60 70 0 0.05 0.1 going downstairs n (2nd l a yer d et ai l si gnal of az 2 ) 2 圖3-14 利用第二層小波係數找到 az^2 的區域極大值接著便以z 軸第一到第三個區域極大值發生的時間點之 y 軸及 z 軸加速度為週期單位，將ay 及 az 的資料週期化至 512 點，如圖 3-15~17，而完成了步伐判斷的前處理。 0 100 200 300 400 500 600 -2 -1.5 -1 -0.5 walking ay ( g) 0 100 200 300 400 500 600 -0.8 -0.6 -0.4 -0.2 0 0.2 time (x 1/128 sec) az ( g) 圖3-15 週期化至 512 點之走路波形

(46)

0 100 200 300 400 500 600 -1.6 -1.4 -1.2 -1 -0.8 -0.6 going upstairs ay ( g) 0 100 200 300 400 500 600 -1 -0.8 -0.6 -0.4 -0.2 time (x 1/128 sec) az ( g) 圖3-16 週期化至 512 點之上樓波形 0 100 200 300 400 500 600 -1 -0.8 -0.6 -0.4 -0.2 going downstairs ay ( g) 0 100 200 300 400 500 600 -0.8 -0.6 -0.4 -0.2 0 time (x 1/128 sec) az ( g) 圖3-17 週期化至 512 點之下樓波形

(47)

3.7.2 特徵參數擷取

將週期化後的512 點的步伐向量作 9 層的 Haar 小波轉換，分出各頻段的訊號成分。與人體走路有關頻段分佈在 1~16Hz。因此本論文將分佈在 1~16Hz 的頻段之小波係數視為這三種運動狀態的能量。由實驗發現，上樓時的z 軸方向(人體正前方)的能量最小，佔總能量 az 的比例也最小，因為上樓有較多的姿態變化，這些姿態變化的頻率低於1Hz 的範圍，產生這種現象。利用這個觀察到的現象，

定義一個特徵參數稱為 Ratio of total power to detail signal in front direction (RTF)，可以用 RTF 超過某個閥值分辨出上樓。

∑

= = ₆ 3 2 2 j zj z d a RTF (3-12) 至於下樓時及走路，加速度計受到 y 軸方向的能量最大(鉛直方向)，但 z 軸方向

的受力遠小於走路，因此本論文中定義了另一個特徵參數Ratio of vertical power

to frontal power (RVF)

∑

= = = ₆ 3 6 3 j zj j yj d d RVF (3-13) 由RVF 可分辨出下樓與走路，若 RVF 大於某個閥值，便可判斷為下樓。綜合這兩個參數便可以判斷出走路、上樓與下樓三種姿態，圖 3-18 為使用者走路->上樓至七樓->下樓返回六樓所記錄的 RTF 及 RVF 兩參數的變化，可看出 RTF 在上樓時數值有顯著變化，RVF 在下樓時數值有顯著的變化。因此在此實驗中當 RTF>15 時為上樓，RVF>4 時為下樓，否則為走路，判斷出走路及上下樓。

3.8 系統整合

將人體姿態估測演算法及 Zigbee 無線網路之傳輸程式整合，將人體姿態估測的結果傳送給電腦端的Zigbee 接收端，透過 PC 上的的多人姿態記錄軟體便可同時

(48)

0 5 10 15 20 25 30 35 0 10 20 30 RTF 0 5 10 15 20 25 30 35 0 5 10 15 RVF time (x 2 sec) going

upstairs upstairsgoing

going

downstairs downstairsgoing RTF th. RVF th. 圖3-18 由 RTF 與 RVF 判斷走路及上下樓紀錄並觀察三位使用者的姿態，完成了多人姿態估測系統。本論文之結合Zigbee 無線感系統整合程式的架構，如圖 3-19 所示。圖 3-19 (a)為人體端的姿態感測模組之程式流程：對三軸加速度計取樣 256 次之後，進入微控器中的人體姿態估測演算法計算出 SMA、SMV、RTF、RVF 與軀幹傾斜範圍五個特徵參數，接著將特徵參數及模組本身位址與接收端位址資訊放入傳送封包中準備傳輸。若傳輸成功，則進行下一次的人體姿態估測；若傳送失敗，則再重新傳送封包，若失敗三次則放棄此封包，進入下一次的人體姿態估測。圖3-19 (b)為電腦端的 Zigbee 接收端與電腦端之多人姿態監測軟體之程式流程，Zigbee 接收端接收到人體端的姿態特徵參數後，進入多人姿態監測軟體，先判斷資料來源，接著計算出該模組傳來的特徵參數，與設定的SMA、SMV、RTF、 RVF 與軀幹傾斜範圍之閥值比較，判斷出人體姿態，將結果顯示在電腦端並作紀錄。本系統以星狀拓墣的方式建構 Zigbee 無線感測網路，只要加入監測的人數不超過本多人姿態管理軟體的上限，傳送範圍不超過此 Zigbee 無線感測網路的範圍，即可隨時加入此Zigbee 無線網路。

(49)

Sam pling 3 axis acceleroltion 256 tim es Hum an Pose detection Algorithm M aking the transm ission fram e Transm itting the frame T ransm ission Success Receiving the frame

Identify where the fram e from

Showing the outcom e of the

corresponding user and updating

Determ ining the outcom e through the thresholds

Transm ission fail over three

tim es

ax ay az

Human side PC side

Yes No Yes No ( a ) ( b ) 圖3-19 多人姿態估測系統軟體架構圖

(50)

第四章實驗結果

本章內容主要描述本論文所設計的人體姿態辨識系統之實驗的方法和結果。利用自行設計的人體姿態估測模組搭配人體姿態估測演算法判斷出測試者的姿態，並以多人姿態監測軟體紀錄辨識的結果。由下面三個實驗來驗證系統的辨識能力，並歸納出本系統辨識的準確性： 1. 由五位不同測試者，一次監測一位受測者，每位測試者對跌倒、站、坐、躺、上樓、下樓、走路七種姿態逐項做20 次辨識，由人體姿態監測軟體紀錄辨識結果，觀察以本系統在一次辨識一位使用者的情況下，各個姿態的辨識率。 2. 由五位不同測試者，一次監測一位受測者，每個測試者連續作出跌倒、站、坐、躺、上樓、下樓、走路七種姿態，由人體姿態監測軟體紀錄辨識結果，觀察以本系統在一次辨識一位使用者的情況下之連續姿態的辨識結果。 3. 由六位不同測試者，一次監測三位測試者，三位測試者配帶之人體姿態估測模組形成一個Zigbee 無線網路，三位受測者一起連續作出跌倒、站、坐、躺、上樓、下樓、走路七種姿態，由人體姿態監測軟體同時紀錄三人的辨識結果，觀察以本系統一次辨識三位使用者的情況下之連續辨識結果。

4.1 五位不同測試者之七種姿態辨識結果

本論文將人體姿態估測電路安裝在一個塑膠盒中，以腰包包覆，置做成人體姿態估測模組，以便於實驗時以腰帶配帶。實際配帶情形模組的外觀如圖4-1 所示，將此姿態感測模組置於腰部的正前方，則人體姿態感測模組的三個加速度感測軸方向分別是：x 軸為身體正右方，y 軸為身體正上方，z 軸為身體正後方。本系統並包含了一個電腦端的 Zigbee 接收端，及電腦上的人體姿態紀錄與

統計軟體，如圖4-2 所示。Zigbee 接收端為 Chipcon 公司的 CC2420DBK board，

它可以接收Zigbee 無線感測網路中傳來的資訊，並可以透過 RS-232 將接收到的

資料傳送給電腦或機器人端。人體姿態監測軟體是我們以Borland C++發展的一

個程式，它可以讀取Zigbee 接收端由 RS-232 port 傳到電腦裡的資訊，由資料中

判斷從該筆資料是由網路中的哪一個節點所發出，而進行記錄與統計，目前我們所設計的多人姿態監測軟體可以同時紀錄三位使用者的狀態。

(51)

圖4-1 人體姿態估測模組實際配帶情形及身體與感測軸之間的關係本實驗由五位受測者，測試本系統對跌倒、站、坐、躺、上樓、下樓與走路七種狀態的辨識率，圖4-4 為這七種姿勢的示意圖。在進行測試前，因為每位測試者因為每個人的走路習慣不同，用來判斷走路與上、下樓三種狀態的 RTF 及 RVF 參數分布也可能不同。因此在進行實驗之前先對每位測試者進行一次走路上樓下樓的實驗，由實驗後的紀錄觀察不同使用者其RTF 及 RVF 參數之分布情

形，如圖 4-3 所示，由 RTF 中找出上樓時 RTF 值的下界(going upstairs lower bound)，及走路與下樓 RTF 值的上界(walking and going downstairs upper bound)。取RTF th.為 going upstairs lower bound 與 walking and going downstairs upper bound 的平均值，即 Chipcon CC2420DBK Zigbee board Multi-person pose monitor software Chipcon CC2420DBK Zigbee board Multi-person pose monitor software 圖4-2 Zigbee 接收端與多人姿態監測軟體

X axis

Z axis

Y axis

(52)

0 5 10 15 0.2 0.4 0.6 0.8 1

RTF

0 5 10 15 0 0.1 0.2 0.3 0.4

RVF

time (x 2 sec)

lower bound of going upstairs RTF th.

upper bound of walking and going downstairs

RVF th.

lower bound of going downstairs

upper bound of walking and going upstairs

圖4-3 決定 RTF th.及 RVF th.之示意圖 ) 1 4 ( 2 bound upper downstairs going and bound lower upstairs going .= +walking − th RTF

同樣地，由RVF 中找出下樓時 RVF 值的下界(downstair lower bound)，及走路與

上樓RVF 值的上界(walk and upstair upper bound)。則我們取 RVF th.為 downstair lower bound 與 walk and upstair upper bound 的平均值，即

) 2 4 ( 2 bound upper stairs u going and bound lower downstairs going .= +walking p − th RVF 找到RTF th.及 RVF th.兩個閥值後，先以 RTF 觀察使用者是否有上樓，若 RTF 大於RTF th.，則為上樓。若無上樓的情形，則以 RVF 觀察使用者是否有下樓的情形，若RVF 大於 RVF th.，則為下樓，若無上樓也無下樓，則為走路。每位使用者，經過計算出RTF th.與 RVF th.後，便依序對跌倒、站、坐、躺、上樓、下樓、走路七種姿態各做 20 次測試，統計其各姿態之辨識率。圖 4-5 為本論文發展之多人姿態監測軟體介面之各部份說明，由此介面紀錄受測者的姿態，與實際的姿態比較。表4-1 至表 4-5 分別為五位測試者姿態辨識的結果，表 4-6 為五位測試者之總辨識率。

(53)

(a) 跌倒

(b) 站 (c) 坐 (d) 躺

(e) 走路 (f) 上樓 (g) 下樓

(54)

Elements to save the parameters Element to save the outcome Symbol of the outcome Information of user 1 Information of user 2 Information of user 3

Date and time of receiving data

Parameters from the Zigbee module

Detection outcome Number of received frame Histogram of each pose Line chart of recording pose Elements to save the parameters Element to save the outcome Symbol of the outcome Information of user 1 Information of user 2 Information of user 3

Detection outcome Number of received frame Histogram of each pose Line chart of recording pose Information of user 1 Information of user 2 Information of user 3

Detection outcome Number of received frame Histogram of each pose Line chart of recording pose 圖4-5 實驗一中受測者一辨識坐姿 20 次之紀錄與多人姿態監測軟體界面說明表4-1 測試者一之七種人體姿態辨識結果 actual pose estimated pose

sitting standing walking going upstairs going downstairs falling lying sitting _{18 0 0 0 0 0 0} standing _{2 20 0 0 0 0 0} walking _{0 0 20 2 2 0 0} going upstairs _{0 0 0 18 1 0 0} going downstairs _{0 0 0 0 17 0 0} falling _{0 0 0 0 0 20 0} lying _{0 0 0 0 0 0 20} sporting _{0 0 0 0 0 0 0} accurate rate _{90% 100% 100% 90% 85% 100% 100%}

(55)

表4-2 測試者二之七種人體姿態辨識結果 actual

pose estimated pose

sitting standing walking going upstairs going downstairs falling lying sitting _{17 0 0 0 0 0 0} standing _{3 20 0 0 0 0 0} walking _{0 0 19 3 4 0 0} going upstairs _{0 0 1 16 0 0 0} going downstairs _{0 0 0 0 15 0 0} falling _{0 0 0 0 0 18 0} lying _{0 0 0 0 0 0 20} sporting _{0 0 0 1 1 2 0} accurate rate _{85% 100% 95% 80% 75% 90% 100%} 表4-3 測試者三之七種人體姿態辨識結果 actual pose estimated pose

sitting standing walking going upstairs going downstairs falling lying sitting _{16 0 0 0 0 0 0} standing _{4 20 0 0 0 0 0} walking _{0 0 19 0 4 0 0} going upstairs _{0 0 1 19 1 0 0} going downstairs _{0 0 0 0 14 0 0} falling _{0 0 0 0 1 20 0} lying _{0 0 0 0 0 0 20} sporting _{0 0 0 1 0 0 0} accurate rate _{80% 100% 95% 95% 70% 100% 100%}

基於無線感測網路之多人姿態辨識系統

國立交通大學

電機與控制工程學系

碩士論文

基於無線感測網路之多人姿態辨識系統

Multi-Person Pose Estimation Using

a Zigbee Sensor Network

研 究 生：陳俊瑋

指導教授：宋開泰 博士

基於無線感測網路之多人姿態辨識系統

Multi-Person Pose Estimation Using a Zigbee Sensor Network

研 究 生：陳俊瑋

Student: Chun-Wei Chen

指導教授：宋開泰 博士

Advisor: Dr. Kai-Tai Song

國 立 交 通 大 學

電 機 與 控 制 工 程 學 系

碩 士 論 文

基 於 無 線 感 測 網 路 之 多 人 姿 態 辨 識 系 統

摘 要

Multi-Person Pose Estimation Using

a Zigbee Sensor Network

ABSTRACT

誌 謝

目錄

圖 例

表 例

第 一 章 緒 論

1.1 研究動機

1.2 相關研究回顧

∫

∫

∫

1.3 問題描述

1.4 章節說明

第二章 基於三軸加速度計之人體姿態估測模組

2.1 系統架構

2.2 人體姿態估測模組設計

2.2.1 加速度計電路設計

Fr

ee

sc

al

e

M

M

A726

0QT

Ac

cel

er

om

et

er

At

m

el

AT

me

ga

12

8L

Mic

roc

ont

ro

lle

r

2.2.2 加速度計之測試與補償

2.2.3 CC2420 Zigbee 晶片介面電路設計

At

m

el

Atme

ga

128L

M

ic

roc

on

研究生：陳俊瑋

指導教授：宋開泰博士

研究生：陳俊瑋

指導教授：宋開泰博士

國立交通大學

電機與控制工程學系

碩士論文

基於無線感測網路之多人姿態辨識系統

摘要

誌謝

圖例

表例

第一章緒論

第二章基於三軸加速度計之人體姿態估測模組

第三章人體姿態辨識演算法

第四章實驗結果