本研究採用多攝影機所提供的多視角影像來提供只用單一攝影機取得的不足 資訊,彌補單一影像在人物間產生遮蔽時所提供模稜兩可的資訊。近年來,常見 的三維定位與追蹤,可區分成三類:﹙1﹚分析人物的特徵點、﹙2﹚使用完整的 前景資訊、﹙3﹚僅使用部分的前景資訊。
第一類的方法通常是利用粒子群演算法﹙particle filter 來作定位與追蹤﹚,由 於多攝影機可取得多視角影像,因此能獲得豐富的人物外觀資訊,因此形狀﹙如:
頭、軀幹與下肢﹚與顏色可以有效地被應用於人物的偵測與追蹤,如文獻〔4, 5〕。
在文獻〔4〕中,使用了人物上半身之三維模型及利用似擬函數﹙likelihood function﹚
來將前景中符合此三維模型的區域當成是人物前景。三維模型的好處在於不需要 訓練顏色及形狀等特性,其中利用改良粒子群演算法﹙modified particle filter﹚計 算出似擬函數最大值之作法,可用於多人的追蹤,以及使用數量較少的粒子群來 找出人物在影像上的位置,其中計算前景裡何處較符合該三維模型﹙可旋轉﹚,
並以該符合之區域為人物所在的前景區域。文獻〔6〕利用標點過程﹙marked point process﹚來描述擁擠的人群,將標點過程聯結到空間隨機過程﹙spatial stochastic process﹚來管理場景中人物的數量與位置,並且替每個被標點的人物加註身體大 小、形狀及運動方向之特性,以便於讓這些特性在追蹤時進行學習與更新。
第二類的方法將各畫面中的人物利用投影幾何轉換投影至參考平面﹙地平面﹚,
可觀察屬於同一人物的立足點被投影在相近的位置﹙如圖 2-1﹚。這樣的想法被普 遍應用於許多相關的文獻中〔1, 7, 8, 9, 10〕,並且能解決人物遮蔽情形﹙如圖 2-2﹚。
圖 2-1 藍線交點為人物立足點
圖 2-2 綠色人物在 View 1 中被遮蔽,但仍能透過其他 View 而找出綠色交點
在文獻〔9〕中,是將人物利用投影幾何轉換將各視角影像,再利用高斯背景 模型來做前/背景分割,計算每個前景像素所可能為前景的機率值,形成前景可 能圖﹙foreground likelihood maps﹚;而後再利用投影幾何轉換將各前景可能圖投 影至某一固定參考影像中並將前景可能值累加,該固定參考影像則成為協同圖
﹙synergy map﹚。在協同圖中,前景可能值較高的區域,即形成人物的佔地區域
﹙如圖 2-3﹚。
圖 2-3 從 從協同圖中可看出較高區域﹙紅色﹚為人物可能的立足區域
文獻〔1〕將前景投影至地平面,利用攝影機交於地平面的垂足,使用最小平 方﹙least square﹚法找出前景在地平面通過攝影機腳點之軸線,所取得之各軸線交 點即為人物立足點﹙如圖 2-4﹚。在使用將多人之前景投影至地平面找人物佔地區 域時,因為前景多部位的相疊可能造成在無人的位置卻呈現有人的假象﹙如圖 2-5﹚。
圖 2-4 藍軸交點為人物立足點,其中 Cg為攝影機與地平面之垂足
圖 2-5 紅點位置為人物假象之位置
文獻〔11〕則是提出支持積分法﹙support integration﹚來產生類似協同圖的積 分圖,將積分圖中具有較高積分值的區域當成是人物的佔地區域。文獻〔7〕為了 濾過假象區域,在投影至地平面之協同圖中,以各攝影機腳點為極坐標原點並調 整角度而產生的線段為可能射線﹙likelihood rays﹚,沿著可能射線統計所經各點 的佔地可能性來濾除假象的區域﹙如圖 2-6 藍色區域﹚。
圖 2-6 左圖:極座標圖和可能射線;右圖:統計值較低的藍色區域被判斷為假象區域
文獻〔12〕提出若將頭點使用某一高度之投影幾何轉換將各畫面中人物前景 投影至某一影像中,並將其前景像素值累加,則頭點部份會形成具有較高的累加 值。由於頭點部份在所屬之高度會有較高的累加值,因此可決定累加值高的區域 為人物頭點之位置,利用頭點位置來追蹤可避免計算因遮蔽而看不到的立足點位 置,其中所使用之投影幾何轉換之高度為人物身高。
的方式,以人物軸線代表前景來進行多人追蹤。由於攝影機架設具有一定的高度, 瞭解概念。圖 2-8 表示前景像素及利用主成份分析法﹙principal component analysis, PCA﹚所計算出的二維軸線。以圖 2-9 中的綠色軸為例,在畫面 2 中的 L1 及畫面 2 中的 L2 均代表同一位人物,而 L1 與 L2 分別能用投影幾何轉換矩陣 與
投影至參考平面π上並相交於 。隨著計算投影在不同高度平面的 L1 與
分佈在同一群的三維軸線取樣之位置與高度做加權平均可以合成出一根三維軸線,
此軸線之位置與高度,即代表人物之位置與高度。
圖 2-8 紅色線段為利用前景像素及主成份分析法計算出的二維軸線
圖 2-9 綠色最長軸為計算不同高度平面的 L1 與 L2 的投影交點所產生的一個三維軸線
下一章將介紹本論文利用文獻〔3〕之線取樣、從二維影像轉換至三維參考平 面以及不同高度之投影平面等概念,提出在參考平面上的隨機取樣找出人物之定 位作法,再搭配多重高度之投影幾何轉換而計算出人物身高之方法。