第五章 3D 人體模型建立
5.2 虛擬視角畫面建立
本系統由前一小節計算得到的關節景深值，藉由座標轉換，可以得到虛擬視 角的畫面，如圖5.3。圖 5.3 中，藍色攝影機為實際的擺設位置，紅色攝影機為 虛擬的擺設位置，在得知關節的景深資訊後，我們可經由座標轉換，建立俯視與
40
側視虛擬視角的3D 人體模型畫面，如圖 5.4。
(a) (b)
圖5.3 虛擬攝影機示意圖，藍色為真實攝影機的擺設位置，紅色為虛擬攝影機的擺設位置，
(a) 側視，(b) 俯視。
41
圖5.4 以不同視角建立人體 3D 模型：(圖中左上)為俯視的 3D 人體模型，人體正面向下，
(圖中左下)為側視的 3D 人體模型，人體正面向左。
42
第六章 實驗結果與加速方法
本章節中，將依照前兩章所提到3D 人體模型建立的方法，利用程式進行模 擬實驗並分析實驗結果。本系統使用的程式語言為C++，程式作業環境為 Microsoft Visual Studio 2005，測試電腦環境為 Pentium 4 3 GHz，2G RAM，作業 系統為XP 及 Vista，分別以影像品質較好的攝影機與筆電的網路攝影機，在單純 及複雜的背景環境下，對使用者進行3D 姿態的偵測，以俯視及側視的虛擬視角 重建3D 人體模型，來顯示系統辨識的正確性並對結果作分析。
6.1 關節對應的結果探討
我們在不同環境下對人體姿態做偵測，由於只對前景物上的膚色做偵測，在 影像品質穩定的情況下，背景的膚色區域不會影響肢體的判斷。如果背景的雜訊 為較大而未能被濾除，且偵測為膚色，亦在手部的偵測範圍內，此狀況則會造成 短暫的手部辨識錯誤，如圖6.3。另一方面，由於本系統是以前景物的近似中軸 線段來調整腳部姿態，所以在腳部形成的膚色近似中軸線段，像是短褲，不會影 響腳部的判定，如圖6.1(a)、(b)。
一般成人為7 到 9 頭身，若以頭部長度為參考長度，來計算肢體的相對長度，
其誤差較大。所以本系統以畫面上頭頂到肩膀距離的長度χ(約為身高的 1/6 至 1/7)為參考，來動態調整肢體長度，此方法會因為不同受測者人體比例的不同，
而產生誤差約為身高的0 倍至 1/42 倍。若畫面的高度為 H，在受測者全身入鏡 時，由於距離鏡頭的距離變化，會使在畫面上的人體身高為0 至 H。本系統當受 測者在畫面上身高為0.3H(如圖 6.8)至 0.9H 時，若對不同人固定以身高的 1/6 定 義χ，肩膀的高度與其它肢體長度的誤差為0 至 0.0216H；如果受測者真實身高 範圍為100 至 250 公分內，則實際肩膀的高度與其它肢體長度的誤差為 0 至 5.95 公分。這個誤差值，並不會影響像是擺動手部、拳擊、抬腳、原地走路、原地跑
43
步等姿態的辨識。我們在系統介面的輸入影像畫面中，即時於左上方重建俯視視 角的3D 人體模型，左下方重建側視視角的 3D 人體模型。
(a) (b)
(c) (d) 圖6.1 短袖的偵測結果。
圖6.1 中，由於腳部位置的偵測是基於前景物的近似中軸線段做判定，因此 受測者褲管的長短，所造成的腳部膚色近似中軸線段，不會影響系統對腳部的判 定。如果前景物與背景顏色接近，會使得前景物截面線段破損嚴重，造成近似中 軸線段形狀過扁或過小而被濾除，此狀況下會發生錯誤的偵測，如圖6.2 腳部區 域。此時我們可適度調低前背景色度扭曲門檻值(τCD)，增加擷取的前景物像素 面積。
在手部的活動範圍內，以膚色近似中軸線段的端點，來定位手末端及手肘位 置。若雜訊造成過大膚色前景物而未能被濾除，且在手部的活動偵測範圍內，會 造成手部偵測錯誤的狀況，如圖6.3(a)。若未能手部的偵測出膚色近似中軸線段，
44
本系統以預設手部姿態表示，如圖6.3(b)。未來在不同環境下的對膚色在色彩空 間中的分布作學習，期望可以使膚色辨識率提升。
(a) (b)
圖6.2 腳末端顏色接近背景顏色，造成腳部擷取過短的狀況，(a) 拖鞋與背景顏色接近的例
子，(b) 赤腳的例子。
(a) (b)
(c) (d)
圖6.3 手部偵測錯誤的狀況，(a) 雜訊造成過大的膚色前景物，且恰在手部的活動範圍內，
使右手的末端偵測錯誤，(b) 右手同(a)，左手因為偵測出膚色，而以預設姿態表示，
(c)、(d) 手舉過頭的情況。
45
假設頭部在最高位置，則以水平掃描線掃瞄到的第一個跨越3 條掃瞄線以上 的近似中軸線段的起點，即當作頭頂的位置，如圖6.3(c)、(d)。未來可以加入時 間因素，以前幾張關節位置的變化量，來預測頭部及其它關節的位置。另一種作 法，可以依近似中軸線段平均截面線段的寬度，來分析頭部或手部位置。但是由 於背景複雜或顏色與前景物近似的偵測環境下，會使得頭部、手部人體區域破損
圖6.4 膚色區域、衣著接近背景顏色的偵測結果。
46
嚴重，很難以破損的近似中軸線段來辨識頭部或手部，這時必須先整合破損的近 似中軸線段後，再以分布區域面積的大小，來分辨頭部或手部。
若單純以輸入影像與背景模型的像素RGB 絕對值差的和來取得前景物，會 使膚色區域或衣著，在與背景顏色接近時，難以分離前背景區域。本系統採[11]
的方法，可以得到較佳的前背景分割，以建立較佳的3D 人體模型，如圖 6.4。
我們進一步以不同顏色的衣著，在背景較凌亂的場景中做測試，其測試結果 如圖6.5、圖 6.6、圖 6.7。由前一章所述，本系統自動依人體在畫面中的身高，
動態調整肢體的長度，肢體的景深值亦產生相對的變化，如圖6.5。當腳部部分 重疊時，由於前景物截面線段的寬度變化，只要不為同一近似中軸線段，系統可 以建立此兩腳的末端資訊，如圖6.6。
(a) (b) 圖6.5 動態調整肢體長度，(a) 距鏡頭較近，(b) 距鏡頭較遠。
圖6.6 腳部部分重疊的偵測結果。
47
圖6.7 複雜場景中的偵測結果。
48
由於本論文是依據人體區域輪廓及人體比例來選取頭部位置，因此在人體背 向螢幕時，亦可建立3D 人體模型，但是人體方向會誤判成是正面，如圖 6.8。
未來我們可以進一步的分析膚色在頭部區域分布的面積大小，來辨識受測者為正 面或背面，甚至進一步辨識畫面中的人臉方向，但是此方法會因為頭部遮蔽物(口 罩、墨鏡等)或光頭(人臉正、背面的膚色面積差不多大)，使得此方法在某些情況 下不適用。當受測者距離鏡頭漸遠時，我們很難以人體區域外部輪廓判寬窄的變 化，來選取頭部的位置，此時本系統依人體比例動態調整肢體相對長度，在距離 鏡頭甚遠時，亦可計算畫面中人體關節的相對景深值資訊，如圖6.9。
本論文進一步探討軀幹往前曲折的狀況。當人體區域的立足點不變，表示受 測者沒有往鏡頭視線的前或後方移動，因此不調整其它比肢體(手、腳部)與χ的 比例，此時若外接矩形的高度變小，表示受測者做原地蹲下的動作。如果頭部與
圖6.8 背面的偵測結果。
49
身體互相遮蔽，會造成頭頂到畫面上肩膀的距離縮短。我們可以由頭頂到畫面上 肩膀的距離長度χ的變化，動態調整軀幹在畫面上的長度(2χ)，藉此估測軀幹 在螢幕上的長度，來計算軀幹的景深值，如圖6.10。受測者在往下蹲時，如果身 體曲折，可由前述的方法，如圖6.10 所示；如果身體不曲折，則軀幹在螢幕上 的長度不變，只在畫面上往下移動。此方法的限制為衣著顏色明顯與背景有差 異，才能在頭部下方找到畫面上肩膀的位置。
圖6.9 受測者距鏡頭較遠的偵測結果。
50
圖6.10 受測者蹲下的偵測結果。
6.2 加速方法
由第三章介紹的掃描線演算法，我們發現對畫面中的每個像素做前景物偵 測，其運算量較大。本系統使用類似降低解析度的概念，調整掃描線的間距以減 少偵測的資料量，以提升系統運算速度。
為了得知每條掃描線上前景物截面線段的端點位置，除了完整的偵測掃描線 上所有像素外，可再衍生降低解析度的概念，來減少偵測的像素資料量。
圖6.11 以降低解析度的概念，減少偵測的像素資料量，圖中淺、深藍色的實線，分別表示一般
的水平、垂直掃描線所需偵測的像素；淺、深藍色的虛線，分別表示以 i 為掃描線上像 素的偵測間距；紅色線段表示偵測到的前景物截面線段。
δ
i
51
52
表6-1 影像來源、掃描線方向、肢體表示及辨識比較
[15] [16] [17] 本論文
影像來源 灰階 彩色
掃描線方向 0°、45°、90°、145° 0°、90°
肢體表示 2D 3D
肢體辨識 無 無 有 有
部分遮蔽 不可 不可 不可 可
頭部位置 未限定 未限定 未限定 最高處
53
第七章 結論及未來工作
本篇論文中，我們將[15]、[16]、[17]研究中擷取近似中軸線段的條件放寬，
使用水平(0°)及垂直(90°)的掃描線及膚色資訊，來建立適用於辨識人體姿態的前 景物及膚色近似中軸線段，再藉由人體比例及基本運動學的概念，重建受測者的 3D 姿態人體模型。我們以腳部的外接矩形來偵測腳末端，並調整髖骨位置，使 姿態較符合真實情況。系統會依人體比例來動態調整錯誤選取的頭部大小，並推 算其它肢體的相對長度，此方法當使用者距離鏡頭甚遠時，亦有機會偵測使用者 的3D 姿態。由本論文提出的方法，在正身面對鏡頭時的正確率較高，因此適合 應用在人機互動的操作上，而不需使用控制感應器即可操作簡單的指令。經實驗 結果得知，在複雜的環境下或衣著與背景顏色相似的情況下，皆可偵測使用者的 3D 姿態。本系統使用畫面品質較好、影像擷取速度較快的攝影機作測試，速度 可以達到20 至 24fps，其特定姿態(手部擺動、拳擊、抬腳、原地踏步、原地跑 步等)的辨識率可達 85%以上；畫面品質較差的攝影機，如筆電的網路攝影機，
則會因影像的擷取速度較慢，降至8 至 15 fps，其特定姿態的辨識率可達 80%以 上。
未來相關研究可探討人臉及身體在影像畫面中的方向，並進一步在不同環境 光下對膚色區域做學習，以提高前景物上膚色區域的辨識率。另一方面，當受測
未來相關研究可探討人臉及身體在影像畫面中的方向，並進一步在不同環境 光下對膚色區域做學習，以提高前景物上膚色區域的辨識率。另一方面，當受測