第一章 緒論
1.4 章節說明
本論文一共分為六章，第一章描述相關研究背景，並說明研究動機目的。第二章說明 如何從影像中偵測人體並作特徵擷取。第三章介紹在影像系統辨識六種人體姿態 方法。第四章為簡述人體姿態感測模組與辨識原理。第五章則是描述影像系統與 人體姿態感測模組之實驗結果，第五章為結論與未來工作。
第二章 人體辨識與特徵擷取
在本論文的研究中，我們期望能在攝影機畫面中找出人體的位置並辨識其姿 態，因此首要便是如何能夠在畫面中判斷人是否存在。而在本章節中，將描述如 何透過人體特徵與人體比例關係來完成人體的判斷。
2.1 人體偵測
本系統架構流程，如圖 2.1 所示。以攝影機擷取影像後，分別取出每張畫面 中屬於膚色與黑色的部分，並將過大與過小的區塊視為雜訊區塊予以去除，接著 以人體的頭部和身體的比例關係圖找出人體上半身的位置，以橢圓樣板來進行比 對。當確認為身體的上半身時，將人頭和身體的座標位置紀錄下來給予後續影像 處理判斷姿態使用。
圖 2-1 系統流程圖
2.1.1 人體膚色之偵測
由於影像在 RGB 空間中會因為光源的強弱，而使原本相同顏色相同的物體 在影像畫面中所呈現出不同顏色。因此只要對 R 與 G 予以正規化，再由 RGB 彩 色空間轉換到 Normalized color coordinates (NCC) [13]空間，便能減少 R 與 G 對 光線的靈敏度，而 B 對光線的靈敏度較低因此在此忽略。其正規化公式如下：
r=R/R+G+B (1) g=G/R+G+B (2)
其中 R、G 與 B 分別代表像素上之數值，r 與 g 則分別代表正規劃後之 R 與 G 值 成分。正規化後 r 與 g 在膚色情況下之分布將如圖 22 所示。其中 X 軸代表 r ， Y 軸代表 g。由圖五可以觀察出膚色的分布範圍將會相當的集中，其中 X 軸的範 圍約在 0.2~06 之間，而 Y 軸的範圍則約在 0.2~0.4 之間。因此可以利用兩個二次 方程式，即可定義出膚色的上界 f1 和下界 f2,如式(3)與(4)，其數學式如下：
f1=-1.376*r2+1.0743*r+0.2 (3) f2=-0.706*r2+0.5601*r+0.18 (4) 由於白色像素發生時(r=0.33, g=0.33)，其 r 與 g 也會包含在定義的範圍中，
因此在這裡加入下面的條件加以排除：
圖 2-2 r 與 g 在膚色情況下之分布
w=(r-0.33)2+(g-0.33)2>0.0004 (5)
圖 2-5、一個二維矩陣表示的二值化影像
圖 2-6、經過連通標記法運算後之輸出結果
圖 2-7、經過連通標記法運算後之膚色與黑色區塊
在經過連通標記法運算後獲得影像畫面如圖 2-7 所示，可得知每個區塊的長 寬與座標，由於每一區塊皆可能為人頭影像候選區塊後，人的頭髮與臉部的組合 總是近似橢圓，因此針對每一個區塊進行橢圓比對，便可將人體的手腳等不符合 橢圓形區塊去除，減少下一步驟比對上半身橢圓之運算量，如圖 2-8 與圖 2-9。
由於本論文中攝影機所取得的每張畫面大小為 320*240 畫素，因此人的頭部 畫素大小在距離攝影機 2 公尺處約為 60*60 畫素，六公尺處則約 15*15 畫素，
圖 2-8 橢圓比對前之膚色與黑色區塊 圖 2-9 除去不符合橢圓形區塊
圖 2-10 移除過大與過小區塊
在景深兩公尺之內時，畫面中的人體因距離過近不易保有完整的上半身身體，而 景深六公尺以外，畫面中的人體上半身則不夠明顯加以辨識，因此對於超過 60*60 和小於 15*15 的區塊當作雜訊於予忽略並移除，如圖 2-10。
2.2 人體特徵擷取
經過連通標記法與橢圓比對之後，剩餘之區塊皆認為疑似人頭之部位，而 人的肩膀在影像處理中經過 Sobel filter[15]後也為近似橢圓之圖形。因此將每一 個疑似人頭之區塊，以人體比例圖找出相對應之人體上半身範圍，再進一步比對 出肩膀便可確認已找出畫面中之人體。圖 2-11 中為人體各部位之間的比例，由 此圖可知頭部的高度為全身高度的 0.137 倍，兩邊的腋下寬度為全身高度的 0.224 倍，由腳部至腰部的高度為 0.435 倍。我們重新定義 H 所代表的意義，將原來代 表人的全身高度改為人頭之上下高度，以符合本論文所需，如圖 2-11，因而可換 算出上半身的高度和寬度為頭部高度的 1.63 倍和 3.175 倍，其中 1.63 倍為人體
圖 2-11 人體比例圖[4]
兩邊腋下寬度與頭部高度的比例。影像處理中對上半身的橢圓樣板比對是針對人 的肩膀進行比對，而 1.63 倍的寬度比顯然不符所求，因此必須增加雙手寬度，
將身體寬度由頭部高度的 1.63 倍增加為 2 倍，身體高度則依舊維持 3.175 倍。
圖 2-13 為圖 2-12 對映至原始影像後，所找出畫面中的人體上半身範圍，而人身 上所穿著的衣物也會增加身體的寬度，因此將範圍在作些微調整，如圖 2-15。
圖 2-13 比例對應圖
其中當人面對於不同攝影機角度時，對應於原始影像之上半身邊緣偵測結果如圖 2-14，可知其肩膀梯度皆符合橢圓外形。因此把所得到的影像範圍以 Sobel filter [15]找出梯度，如圖 2-17，並且定義頭的高度為參數 d，身體的寬度和高度參數 為 width 與 dd，帶入（7）式之橢圓公式，並以 sum of absolute difference(SAD)
（8）判斷是否符合上半橢圓樣板。
圖 2-18 比對出肩膀之橢圓 圖 2-19 皆符合橢圓形之區塊
圖 2-20 區塊 A 橢圓比對失敗 圖 2-21 區塊 B 橢圓比對成功 2.3 結論與討論
本章將 RGB 彩色空間轉換到 Normalized color coordinates(NCC)空間以減少 光源變化對於顏色之影響，並利用擷取出來的膚色與黑色區塊找出人頭影像，透 過連通標記法(Connected component labeling)、人體比例圖與橢圓比對等判斷人頭 與人體上半身是否存在影像當中，當比對成功時進一步將畫面中的人頭與人上半 身的位置與以紀錄下來。
第三章 人體姿態辨識法則
在前一章中，除了能找出畫面中是否有人體的存在，並能紀錄頭部與人體上 半身的位置，因此本論文利用每張影像中人體各部位的位置，將人體的姿態分為 靜態與動態兩種，分別進行判斷站、坐、躺、走路、上樓與下樓等六種常見的人 體姿態。其中靜態姿態為站立、坐下與躺下，動態姿態為走路、上樓與下樓。
3.1 站、坐、躺之姿態辨識
靜態姿態當中，畫面中人並非處於移動狀態，當前後影像所找出的頭部與上 半身位置在沒有位移狀況下，本論文提出以下方法可以判斷為靜態姿態中的站 立、坐下或躺下。在人體的站立或坐下姿態中，人的頭部與肩膀為垂直方向，躺 下時頭部與肩膀則為水平方向，因此在找出人頭的時候，將人頭的左右兩邊與人 頭下方先圈選出可能的上半身位置，如圖 3-1，分別以 Sobel filter 找出三個影像 範圍的上半身梯度，並且使用 SAD 對這三個區域進行肩膀的橢圓樣板比對，當 比對最為接近肩膀之橢圓在人頭的左右兩側時，則可判斷此人正楚於躺下姿態，
如圖 3-2。
在站立姿態時，人的雙手位置通常會在腰部以下位置，如圖 3-3，其中紅線 代表透過人體比例圖以人頭的位置所找出的人體腰部位置，並且將之前找出的膚 色區塊對應至上半身範圍內，將膚色區塊最接近地面的高度以綠線表示。
圖 3-1 三種位置之上半身範圍 圖 3-2 躺下姿態之比對
圖 3-3 站立姿態之對應圖
由人體比例圖了解到人的腰部與肩膀之距離為人頭高度的 3.14 倍，與膝蓋 之距離為人頭高度的 1.54 倍，因此當綠線的高度位置在肩膀與膝蓋之間時，可 認定人楚於站立姿態且雙手位置在腰部以下，如圖 3-4。
圖 3-4 站立姿態之手部位置
圖 3-5 坐下姿態之對應圖
同理，在坐立姿態時，人的雙手位置通常會在腰部以上位置，如圖 3-5 與圖 3-6，
代表雙手位置的綠線在腰部與肩膀距離內時，認定人楚於坐下姿態而雙手位置在 腰部以上。
圖 3-6 坐下姿態之手部位置
3.2 走路、上樓、下樓之姿態辨識
動態姿態中，走路、上樓與下樓分別代表著畫面中人體不同的行進方式。可 以利用前後張影像的人頭位置，在 x 軸與 y 軸的位置變化來加以判斷，在走路姿 態中，代表水平方向的 x 軸位置變化最大，人在走路姿態時速度約 3km/hr，每 一步伐相當於身高高度的 0.3 倍，透過人體比例圖可換算出每步伐約為人頭高度 的 2.19 倍，因此當前後影像的人頭 x 軸相對位置差距超過人頭高度的 2.19 倍時，
可判斷為向左或向右之走路姿態如圖 3-7。
上下樓的姿態中，代表垂直方向的 y 軸位置變化最大，因此可以利用前後張 影像人頭的 y 軸位置，當差距超過下張影像 1 倍人頭高度時，可判別為上樓或下 樓姿態，如圖 3-8 與 3-9 所示。
圖 3-7 走路姿態之比對
圖 3-8 上樓姿態之比對
圖 3-9 下樓姿態之比對
3.3 結論與討論
本章使用前後張影像人頭位置變動幅度，先將畫面中的人體姿態分類為靜態 姿態（站、坐、躺）與動態姿態（走路、上樓、下樓），並以人體姿態之間不同 的特徵差異，分別辨識出站、坐、躺、走路、上樓與下樓等六種姿態。影像系統 在辨識人員姿態上可能因為畫面角度、遮蔽或受測人員的動作造成系統的誤判，
另因已有基於慣性感測器之姿態辨識模組，對於躺下有良好之辨識結果，但是對 於站立、坐下、上樓與下樓等姿態則較差，可將兩者加以結合以得到更佳的辨識 率。
第四章 基於三軸加速規之人體姿態辨識
在前兩章的描述中，我們使用影像系統解決了如何在環境中尋找出人體以及 作六種姿態辨識，而在此章節中將簡述本實驗室研發的人體姿態估測模組，並且 與影像系統以類神經網路作結合。
4.1 人體姿態估測模組
本實驗室研發之人體姿態估測模組如圖 4-1 所示[22]，包含了 Freescale 公司的 MMA7260QT 三軸加速規加速規、Atmel 公司的 Atmega128L 8 bit 微控器及 Chipcon 公司的 CC2420 Zigbee chip。透過一個三軸加速度計量測人體的加速度，
作為判斷人體姿態的依據。此三軸加速度計經由微控器的 A/D converter 讀取加 速度計的數值後，在微控器中完成辨識演算法，以達成即時辨識姿態之功效。
4.2 人體動態與靜態姿態判定
4.2 人體動態與靜態姿態判定