第三章 人體姿態辨識
3.2 走路、上樓、下樓之姿態辨識
動態姿態中，走路、上樓與下樓分別代表著畫面中人體不同的行進方式。可 以利用前後張影像的人頭位置，在 x 軸與 y 軸的位置變化來加以判斷，在走路姿 態中，代表水平方向的 x 軸位置變化最大，人在走路姿態時速度約 3km/hr，每 一步伐相當於身高高度的 0.3 倍，透過人體比例圖可換算出每步伐約為人頭高度 的 2.19 倍，因此當前後影像的人頭 x 軸相對位置差距超過人頭高度的 2.19 倍時，
可判斷為向左或向右之走路姿態如圖 3-7。
上下樓的姿態中，代表垂直方向的 y 軸位置變化最大，因此可以利用前後張 影像人頭的 y 軸位置，當差距超過下張影像 1 倍人頭高度時，可判別為上樓或下 樓姿態，如圖 3-8 與 3-9 所示。
圖 3-7 走路姿態之比對
圖 3-8 上樓姿態之比對
圖 3-9 下樓姿態之比對
3.3 結論與討論
本章使用前後張影像人頭位置變動幅度，先將畫面中的人體姿態分類為靜態 姿態（站、坐、躺）與動態姿態（走路、上樓、下樓），並以人體姿態之間不同 的特徵差異，分別辨識出站、坐、躺、走路、上樓與下樓等六種姿態。影像系統 在辨識人員姿態上可能因為畫面角度、遮蔽或受測人員的動作造成系統的誤判，
另因已有基於慣性感測器之姿態辨識模組，對於躺下有良好之辨識結果，但是對 於站立、坐下、上樓與下樓等姿態則較差，可將兩者加以結合以得到更佳的辨識 率。
第四章 基於三軸加速規之人體姿態辨識
在前兩章的描述中，我們使用影像系統解決了如何在環境中尋找出人體以及 作六種姿態辨識，而在此章節中將簡述本實驗室研發的人體姿態估測模組，並且 與影像系統以類神經網路作結合。
4.1 人體姿態估測模組
本實驗室研發之人體姿態估測模組如圖 4-1 所示[22]，包含了 Freescale 公司的 MMA7260QT 三軸加速規加速規、Atmel 公司的 Atmega128L 8 bit 微控器及 Chipcon 公司的 CC2420 Zigbee chip。透過一個三軸加速度計量測人體的加速度，
作為判斷人體姿態的依據。此三軸加速度計經由微控器的 A/D converter 讀取加 速度計的數值後，在微控器中完成辨識演算法，以達成即時辨識姿態之功效。
4.2 人體動態與靜態姿態判定
人體姿態估測電路安裝在一個塑膠盒中，以腰包包覆，置做成人體姿態估測模 組，以便於實驗時以腰帶配帶。實際配帶情形模組的外觀如圖 4-2 所示。
圖 4-2 人體姿態估測模組實際配帶情形及身體與感測軸之間的關係 利用三軸動態加速度的絕對值積分得到動態加速度的 signal magnitude area (SMA) power to detail signal in front direction (RTF)，可以用 RTF 超過某個閥值分辨出上 樓。 的受力遠小於走路，因此定義了另一個特徵參數 Ratio of vertical power to frontal power (RVF)
6 3 6
3
j zj j
yj
d d
RVF (4-3)
由 RVF 可分辨出下樓與走路，若 RVF 大於某個閥值，便可判斷為下樓。綜 合這兩個參數便可以判斷出走路、上樓與下樓三種姿態。
4.3 融合設計
當人員出現在攝影機畫面當中時，透過影像處理系統可以獲知人員位置，但 是人員出現在畫面以外或被遮蔽時，將導致影像系統無法處理，而人體姿態感測 模組則隨時可接收到人體姿態資訊，卻無法得到人員的位置，此外影像系統與人 體姿態感測模組在姿態辨識上各有優缺點，影像系統對於靜態姿態的站與坐、動
態姿態的上下樓具有高辨識率，而感測模組則是靜態姿態的躺下與動態姿態的走 路有高辨識率。
影像處理系統中，靜態姿態的站立與坐下可藉由手部與腰部的位置明確判別 出來，躺下則使用頭部與肩膀方向判別，人體姿態感測模組利用角度辨識站立、
坐下與躺下之差別；在動態姿態上，影像系統係利用前後影像人頭位置的 x 軸與 y 軸位置變化為判斷走路、上樓和下樓之條件，人體姿態感測模組則使用 RTF 與 RVF。
將兩個系統在靜態與動態姿態的判斷條件與以整合，不僅可提高辨識率也能 結合兩者之優點，而具有學習能力的倒傳遞類神經網路，已經廣泛應用在許多領 域中，包括樣本辨識、分類問題、適應控制、雜訊過濾等各個領域中，其優點勢 學習準確度很高，可處理複雜的辨識問題，因此本論文使用倒傳遞類神經網路融 合影像系統與人體姿態感測模組。
在靜態姿態的類神經融合訓練中，設定 3000 次的學習循環，50 筆訓練資料，
網路有四個輸入節點，四個隱藏節點及三個輸出節點，學習效率與慣性因子皆為 0.5，其中輸入層為影像系統的手部與腰部位置、頭部與肩膀方向、人頭大小以 及人體姿態感測模組的角度和 SMA 等，輸出層則為站、坐、躺，如圖 4-4。為 了測試網路是否收斂，定義下列誤差函數來表示網路的學習品質。
圖 4-4 辨識靜態姿態之類神經網路資訊融合系統示意圖
圖 4-5 靜態姿態(站、坐、躺)收斂過程圖
圖 4-7 動態姿態(走路、上樓、下樓)收斂過程圖
第五章 實驗結果
在前幾章的描述中，從只使用影像系統辨識畫面人物的存在，進一步辨識六 種人體姿態，再以倒傳遞類神經網路將影像系統與基於慣性感測器之人體姿態估 測模組作結合。本章將呈現將在不同階段下之實驗結果，且皆以三名不同人員進 行實驗。
5.1 影像系統辨識在不同角度下之人體辨識結果
如圖 5-1 所示，0o表示測試者人的正面對著攝影機，180o為人背對著攝影機。
此實驗中為三位不同測試者，每相隔 45o進行實驗，分別以 0o、45o、90o、135o、 180o、225o、270o與 315o等八種不同角度作為辨識如圖 5-2 至圖 5-10。M 表示為 待測人員與攝影機之間的距離，並且每 0.5 公尺為一間距，共有 2.5m、3m、3.5m、
4m、4.5m、5m、5.5m 等七種不同距離如圖 5-11 至圖 5-16。表 5.1 顯示受測者在 面對鏡頭的不同角度下，辨識人體存在的正確率。，實驗過程中，每一種角度皆 以七種不同距離進行辨識，且每次皆辨識 30 秒(每測試者約 50 張影像畫面，三 位測試者共約 150 張影像畫面)，藉以觀察本系統僅使用影像處理偵測環境中人 體的正確率。
圖 5-2 當人面對攝影機角度為 0 度 圖 5-3 當人面對攝影機角度為 45 度
圖 5-4 當人面對攝影機角度為 90 度 圖 5-5 當人面對攝影機角度為 135 度
圖 5-6 當人面對攝影機角度為 180 度 圖 5-7 當人面對攝影機角度為 225 度
圖 5-8 當人面對攝影機角度為 270 度 圖 5-9 當人面對攝影機角度為 315 度
圖 5-10 當人面對攝影機距離為 2.5 公尺 圖 5-11 當人面對攝影機距離為 3 公尺
圖 5-12 當人面對攝影機距離為 3.5 公尺 圖 5-13 當人面對攝影機距離為 4 公尺
圖 5-14 當人面對攝影機距離為 4.5 公尺 圖 5-15 當人面對攝影機距離為 5 公尺
圖 5-16 當人面對攝影機距離為 5.5 公尺
表 5-1 三位測試者在各種角度與距離之辨識結果
Accurate 82.75% 84.66% 82.88% 82.28% 81.65% 78.35% 78.35% 81.56%
在表 5-1 的實驗結果中，在相同距離不同角度之下，可以知道人以 0o和 180o
表 5-2 測試者在 2.5 公尺距離之辨識結果 Actual pose
Estimated pose
Standing Sitting Walking Upstairs Downstairs Lying
Standing 125 1 0 0 4 6
Recognition rate 83.89% 86.52% 84.74% 84% 80.55% 72.84%
Average
recognition rate 82.09%
表 5-3 測試者在 3 公尺距離之辨識結果 Actual pose
Estimated pose
Standing Sitting Walking Upstairs Downstairs Lying
Standing 122 0 0 0 4 7
Recognition rate 82.99% 85.33% 85% 82.85% 80.26% 67.56%
Average
recognition rate 80.67%
表 5-4 測試者在 3.5 公尺距離之辨識結果 Actual pose
Estimated pose
Standing Sitting Walking Upstairs Downstairs Lying
Standing 121 0 0 0 3 6
Recognition rate 82.31% 82% 81.13% 81.08% 80% 65.77%
Average
recognition rate 78.71%
表 5- 5 測試者在 4 公尺距離之辨識結果 Actual pose
Estimated pose
Standing Sitting Walking Upstairs Downstairs Lying
Standing 121 1 1 2 2 10
Recognition rate 80.66% 81.33% 80.95% 79.1% 77.63% 63.94%
Average
77.26%
表 5- 6 測試者在 4.5 公尺距離之辨識結果 Actual pose
Estimated pose
Standing Sitting Walking Upstairs Downstairs Lying
Standing 121 0 0 2 2 10
Recognition rate 81.20% 79.33% 78.68% 76.05% 73.33% 61.07%
Average
recognition rate 74.94%
表 5- 7 測試者在 5 公尺距離之辨識結果 Actual pose
Estimated pose
Standing Sitting Walking Upstairs Downstairs Lying
Standing 111 2 0 1 0 11
Recognition rate 74.49% 73.5% 71.42% 70.42% 68.91% 57.14%
Average
69.31%
表 5-8 測試者在 5.5 公尺距離之辨識結果 Actual pose
Estimated pose
Standing Sitting Walking Upstairs Downstairs Lying
Standing 110 2 0 0 1 14
Recognition rate 72.36% 72.36% 71.21% 68% 67.5% 58.78%
Average
recognition rate 68.36%
表 5-9 2.5 公尺至 5.5 公尺之平均辨識率 Accurate rate
Distance
Standing Sitting Walking Upstairs Downstairs Lying
2.5m 83.89% 86.52% 84.74% 84% 80.55% 72.84%
3m 82.99% 85.33% 85% 82.85% 80.26% 67.56%
3.5m 82.31% 82% 81.13% 81.08% 80% 65.77%
4m 80.66% 81.33% 80.95% 79.10% 77.63% 63.94%
4.5m 81.20% 79.33% 78.68% 76.05% 73.33% 61.07%
5m 74.49% 73.50% 71.42% 70.42% 68.91% 57.14%
5.5m 72.36% 72.36% 71.21% 68% 67.50% 58.78%
Average
recognition rate 79.7% 80.05% 79.01% 77.35% 75.45% 63.87%
結果，其辨識率定義為找到畫面中人的存在並且能正確完成姿態的辨識。
從表 5-2 至 5-8 的實驗結果中，站、坐、上樓、下樓、走路、躺等六種姿態 中在七種不同距離下之總辨識率，依序為 79.7%、80.05%、79.01%、77.35%、75.45%
以及 63.87%。由於必須先辨識出人體，再進一步辨識六種人體姿態，因此辨識 率最高為辨識出人體的 81.56%，若已經確認人體後才做姿態辨識，則應能提高 姿態辨識率。
其中靜態姿態中的站立辨識率最高，躺下的辨識率則是六種姿態中最差。站 立的辨識率與上一節實驗結論相同，肩膀的橢圓樣板比對時較容易辨識，坐下姿 態則因為椅子的椅背，會讓肩膀的橢圓樣板比對造成誤判而辨識失敗，躺下則因 為人體的肩膀緊貼地面，僅剩上半部肩膀可以進行比對，使得辨識率為所有姿態 中最低。在動態姿態中，走路姿態辨識率為最高，上樓次之，下樓則為最低，主 因是人體在走路姿態時，在前後影像中所辨識出的人頭位置變動幅度最大，不容 易誤判為其他姿態。
人在下樓過程中眼睛常會低頭看著往下的樓梯，使得影像系統在低頭與抬頭 過程中誤判為上樓姿態，而移動較為緩慢與手臂的擺動幅度，則使得系統誤判為 坐下姿態。上樓的姿態辨識則與下樓姿態相同，當人抬頭看著往上的樓梯時，與 平視前方時候的人頭位置，前後位置的差異造成了姿態辨識上的誤判。
5.3.1 以加速規進行姿態辨識
表 5-10 為三位不同測試者使用加速度量規對每位測試者對站、坐、躺、上樓、
下樓、走路等六種姿態逐項做 20 次之辨識結果，每兩秒傳送一次辨識結果至機 器人端。其中辨識率最高者為躺下與站立姿態，可達 100%，辨識率最低則為下 樓的 80%。
表 5-10 加速度量規辨識六種姿態結果 Actual pose
Estimated pose Standing Sitting Walking Upstairs Downstairs Lying
Standing 60 53 0 0 0 0
recognition rate 90.67%
5.3.2 融合影像系統之姿態辨識結果
辨識站立姿態由 80.24%改善至 98.044%，坐下姿態由 79.7%改善至 98.09%，走 路由 79.53%改善至 96.42%，上樓由 77.35%改善至 87.13%，下樓由 75.45%改善 至 84.28%，而表 5-9 中加速規的辨識率，站立與躺下姿態雖然由 100%降至 98.04%
與 97.37%，但是辨識坐下姿態由 89%改善至 98.09%，走路由 90%改善至 96.42%，
上樓由 85%改善至 87.13%，下樓由 80%改善至 84.28%。
表 5-11 融合後辨識結果(2.5 公尺)
表 5-11 融合後辨識結果(2.5 公尺)