人體特徵擷取

圖 2-8 橢圓比對前之膚色與黑色區塊 圖 2-9 除去不符合橢圓形區塊

圖 2-10 移除過大與過小區塊

在景深兩公尺之內時，畫面中的人體因距離過近不易保有完整的上半身身體，而 景深六公尺以外，畫面中的人體上半身則不夠明顯加以辨識，因此對於超過 60*60 和小於 15*15 的區塊當作雜訊於予忽略並移除，如圖 2-10。

2.2 人體特徵擷取

經過連通標記法與橢圓比對之後，剩餘之區塊皆認為疑似人頭之部位，而 人的肩膀在影像處理中經過 Sobel filter[15]後也為近似橢圓之圖形。因此將每一 個疑似人頭之區塊，以人體比例圖找出相對應之人體上半身範圍，再進一步比對 出肩膀便可確認已找出畫面中之人體。圖 2-11 中為人體各部位之間的比例，由 此圖可知頭部的高度為全身高度的 0.137 倍，兩邊的腋下寬度為全身高度的 0.224 倍，由腳部至腰部的高度為 0.435 倍。我們重新定義 H 所代表的意義，將原來代 表人的全身高度改為人頭之上下高度，以符合本論文所需，如圖 2-11，因而可換 算出上半身的高度和寬度為頭部高度的 1.63 倍和 3.175 倍，其中 1.63 倍為人體

圖 2-11 人體比例圖[4]

兩邊腋下寬度與頭部高度的比例。影像處理中對上半身的橢圓樣板比對是針對人 的肩膀進行比對，而 1.63 倍的寬度比顯然不符所求，因此必須增加雙手寬度，

將身體寬度由頭部高度的 1.63 倍增加為 2 倍，身體高度則依舊維持 3.175 倍。

圖 2-13 為圖 2-12 對映至原始影像後，所找出畫面中的人體上半身範圍，而人身 上所穿著的衣物也會增加身體的寬度，因此將範圍在作些微調整，如圖 2-15。

圖 2-13 比例對應圖

其中當人面對於不同攝影機角度時，對應於原始影像之上半身邊緣偵測結果如圖 2-14，可知其肩膀梯度皆符合橢圓外形。因此把所得到的影像範圍以 Sobel filter [15]找出梯度，如圖 2-17，並且定義頭的高度為參數 d，身體的寬度和高度參數 為 width 與 dd，帶入（7）式之橢圓公式，並以 sum of absolute difference(SAD)

（8）判斷是否符合上半橢圓樣板。

圖 2-18 比對出肩膀之橢圓 圖 2-19 皆符合橢圓形之區塊

圖 2-20 區塊 A 橢圓比對失敗 圖 2-21 區塊 B 橢圓比對成功 2.3 結論與討論

本章將 RGB 彩色空間轉換到 Normalized color coordinates(NCC)空間以減少 光源變化對於顏色之影響，並利用擷取出來的膚色與黑色區塊找出人頭影像，透 過連通標記法(Connected component labeling)、人體比例圖與橢圓比對等判斷人頭 與人體上半身是否存在影像當中，當比對成功時進一步將畫面中的人頭與人上半 身的位置與以紀錄下來。

第三章 人體姿態辨識法則

在前一章中，除了能找出畫面中是否有人體的存在，並能紀錄頭部與人體上 半身的位置，因此本論文利用每張影像中人體各部位的位置，將人體的姿態分為 靜態與動態兩種，分別進行判斷站、坐、躺、走路、上樓與下樓等六種常見的人 體姿態。其中靜態姿態為站立、坐下與躺下，動態姿態為走路、上樓與下樓。

3.1 站、坐、躺之姿態辨識

靜態姿態當中，畫面中人並非處於移動狀態，當前後影像所找出的頭部與上 半身位置在沒有位移狀況下，本論文提出以下方法可以判斷為靜態姿態中的站 立、坐下或躺下。在人體的站立或坐下姿態中，人的頭部與肩膀為垂直方向，躺 下時頭部與肩膀則為水平方向，因此在找出人頭的時候，將人頭的左右兩邊與人 頭下方先圈選出可能的上半身位置，如圖 3-1，分別以 Sobel filter 找出三個影像 範圍的上半身梯度，並且使用 SAD 對這三個區域進行肩膀的橢圓樣板比對，當 比對最為接近肩膀之橢圓在人頭的左右兩側時，則可判斷此人正楚於躺下姿態，

如圖 3-2。

在站立姿態時，人的雙手位置通常會在腰部以下位置，如圖 3-3，其中紅線 代表透過人體比例圖以人頭的位置所找出的人體腰部位置，並且將之前找出的膚 色區塊對應至上半身範圍內，將膚色區塊最接近地面的高度以綠線表示。

圖 3-1 三種位置之上半身範圍 圖 3-2 躺下姿態之比對

圖 3-3 站立姿態之對應圖

由人體比例圖了解到人的腰部與肩膀之距離為人頭高度的 3.14 倍，與膝蓋 之距離為人頭高度的 1.54 倍，因此當綠線的高度位置在肩膀與膝蓋之間時，可 認定人楚於站立姿態且雙手位置在腰部以下，如圖 3-4。

圖 3-4 站立姿態之手部位置

圖 3-5 坐下姿態之對應圖

同理，在坐立姿態時，人的雙手位置通常會在腰部以上位置，如圖 3-5 與圖 3-6，

代表雙手位置的綠線在腰部與肩膀距離內時，認定人楚於坐下姿態而雙手位置在 腰部以上。

圖 3-6 坐下姿態之手部位置

3.2 走路、上樓、下樓之姿態辨識

動態姿態中，走路、上樓與下樓分別代表著畫面中人體不同的行進方式。可 以利用前後張影像的人頭位置，在 x 軸與 y 軸的位置變化來加以判斷，在走路姿 態中，代表水平方向的 x 軸位置變化最大，人在走路姿態時速度約 3km/hr，每 一步伐相當於身高高度的 0.3 倍，透過人體比例圖可換算出每步伐約為人頭高度 的 2.19 倍，因此當前後影像的人頭 x 軸相對位置差距超過人頭高度的 2.19 倍時，

可判斷為向左或向右之走路姿態如圖 3-7。

上下樓的姿態中，代表垂直方向的 y 軸位置變化最大，因此可以利用前後張 影像人頭的 y 軸位置，當差距超過下張影像 1 倍人頭高度時，可判別為上樓或下 樓姿態，如圖 3-8 與 3-9 所示。

圖 3-7 走路姿態之比對

圖 3-8 上樓姿態之比對

圖 3-9 下樓姿態之比對

3.3 結論與討論

本章使用前後張影像人頭位置變動幅度，先將畫面中的人體姿態分類為靜態 姿態（站、坐、躺）與動態姿態（走路、上樓、下樓），並以人體姿態之間不同 的特徵差異，分別辨識出站、坐、躺、走路、上樓與下樓等六種姿態。影像系統 在辨識人員姿態上可能因為畫面角度、遮蔽或受測人員的動作造成系統的誤判，

另因已有基於慣性感測器之姿態辨識模組，對於躺下有良好之辨識結果，但是對 於站立、坐下、上樓與下樓等姿態則較差，可將兩者加以結合以得到更佳的辨識 率。

第四章 基於三軸加速規之人體姿態辨識

在前兩章的描述中，我們使用影像系統解決了如何在環境中尋找出人體以及 作六種姿態辨識，而在此章節中將簡述本實驗室研發的人體姿態估測模組，並且 與影像系統以類神經網路作結合。

4.1 人體姿態估測模組

本實驗室研發之人體姿態估測模組如圖 4-1 所示[22]，包含了 Freescale 公司的 MMA7260QT 三軸加速規加速規、Atmel 公司的 Atmega128L 8 bit 微控器及 Chipcon 公司的 CC2420 Zigbee chip。透過一個三軸加速度計量測人體的加速度，

作為判斷人體姿態的依據。此三軸加速度計經由微控器的 A/D converter 讀取加 速度計的數值後，在微控器中完成辨識演算法，以達成即時辨識姿態之功效。

4.2 人體動態與靜態姿態判定

人體姿態估測電路安裝在一個塑膠盒中，以腰包包覆，置做成人體姿態估測模 組，以便於實驗時以腰帶配帶。實際配帶情形模組的外觀如圖 4-2 所示。

圖 4-2 人體姿態估測模組實際配帶情形及身體與感測軸之間的關係 利用三軸動態加速度的絕對值積分得到動態加速度的 signal magnitude area (SMA) power to detail signal in front direction (RTF)，可以用 RTF 超過某個閥值分辨出上 樓。 的受力遠小於走路，因此定義了另一個特徵參數 Ratio of vertical power to frontal power (RVF)







 ₆ 3 6

3

j zj j

yj

d d

RVF (4-3)

由 RVF 可分辨出下樓與走路，若 RVF 大於某個閥值，便可判斷為下樓。綜 合這兩個參數便可以判斷出走路、上樓與下樓三種姿態。

4.3 融合設計

當人員出現在攝影機畫面當中時，透過影像處理系統可以獲知人員位置，但 是人員出現在畫面以外或被遮蔽時，將導致影像系統無法處理，而人體姿態感測 模組則隨時可接收到人體姿態資訊，卻無法得到人員的位置，此外影像系統與人 體姿態感測模組在姿態辨識上各有優缺點，影像系統對於靜態姿態的站與坐、動

態姿態的上下樓具有高辨識率，而感測模組則是靜態姿態的躺下與動態姿態的走 路有高辨識率。

影像處理系統中，靜態姿態的站立與坐下可藉由手部與腰部的位置明確判別 出來，躺下則使用頭部與肩膀方向判別，人體姿態感測模組利用角度辨識站立、

坐下與躺下之差別；在動態姿態上，影像系統係利用前後影像人頭位置的 x 軸與 y 軸位置變化為判斷走路、上樓和下樓之條件，人體姿態感測模組則使用 RTF 與 RVF。

將兩個系統在靜態與動態姿態的判斷條件與以整合，不僅可提高辨識率也能 結合兩者之優點，而具有學習能力的倒傳遞類神經網路，已經廣泛應用在許多領 域中，包括樣本辨識、分類問題、適應控制、雜訊過濾等各個領域中，其優點勢 學習準確度很高，可處理複雜的辨識問題，因此本論文使用倒傳遞類神經網路融 合影像系統與人體姿態感測模組。

在靜態姿態的類神經融合訓練中，設定 3000 次的學習循環，50 筆訓練資料，

網路有四個輸入節點，四個隱藏節點及三個輸出節點，學習效率與慣性因子皆為 0.5，其中輸入層為影像系統的手部與腰部位置、頭部與肩膀方向、人頭大小以 及人體姿態感測模組的角度和 SMA 等，輸出層則為站、坐、躺，如圖 4-4。為 了測試網路是否收斂，定義下列誤差函數來表示網路的學習品質。

圖 4-4 辨識靜態姿態之類神經網路資訊融合系統示意圖

圖 4-5 靜態姿態(站、坐、躺)收斂過程圖

圖 4-7 動態姿態(走路、上樓、下樓)收斂過程圖

第五章 實驗結果

在前幾章的描述中，從只使用影像系統辨識畫面人物的存在，進一步辨識六

在前幾章的描述中，從只使用影像系統辨識畫面人物的存在，進一步辨識六