第三章 以人頭偵測為主的人群計數與追蹤
3.2 多人的移動追蹤
經由偵測來找出人在影像中的所在位置後，我們更進一步的希望追蹤人在 連續影像中的移動。我們參考 Mei Hail 等人所提出的基於偵測結果的多人移動追 蹤的架構[12]，並加以修改，加入符合我們需求的特徵(feature)。關於基於偵測結 果的多人移動追蹤的架構，在本論文的第二章中的 2.2 節曾經介紹過，在此就不 再多加贅述。本節的重點將著重於我們所使用的特徵及連接機率(connection probability)的計算。
我們的多人移動追蹤演算法為，針對 t-1 時刻影像中欲追蹤的人頭，計算對 於 t 時刻影像中所有偵測結果的連接機率，選擇機率最高的進行連接。若連接機 率過低，則認為無符合的人頭，即追蹤失敗。而若有兩個人頭連接至同一人頭，
則只選擇連接機率較高的進行連接。其中連接機率可以視為前後兩個人頭為同一 個人的可能性。我們使用三種特徵來計算連接機率：移動距離與路徑平滑度 (trajectory smoothness)、頭髮與肩膀的衣著色彩、以及肩膀區域的前景涵蓋率 (foreground coverage)。接下來我們就針對各個特徵加以說明。
移動距離與路徑平滑度
以人的移動來說，其移動路徑在短時間內，通常不會有太大的變動，即其 路徑為平滑的(smooth)。故我們以移動路徑的平滑度，來判斷此移動路徑是否合 理。我們以目前的移動方向與前一次移動的方向的夾角大小，來估計其移動路徑 的平滑度，如圖 3.17 中所示。圖中ht為在t時刻中的人頭位置，v(ht-1,ht)則為人頭 的移動方向。
v(ht-1,ht) 化(normalize)至 0~1 之間。若夾角越大，即移動方向在短時間內的改變越大，則 其餘弦值就會越小。 smooth v
− (moving state)。若移動距離過小，則認為此人為停止(Stop)狀態。若移動距離在 適當的範圍內，則認為此人為移動(Move)的狀態。若移動距離過大，超過一合理
但在垂直視角下，人所在的位置不同，其身體出現在影像中的部位也不同。
例如站在距離攝影機較遠的位置，若不考慮遮蔽的問題，其身體與腳的部份均可 被攝影到，但若站在攝影機的正下方，則只剩下肩膀的部位能夠被攝影到。唯一 在所有位置都會出現的身體部位為肩膀，故我們僅採用肩膀部位的色彩來當作身 體衣著的色彩。
Camera
3m
圖 3.18 肩膀部位與移動方向的三度空間關係圖
但是該如何得知肩膀部位的正確位置仍是一個問題。由於攝影機的位置是 固定的，故我們可以利用三度空間與影像的對應關係，以及其移動方向來推估肩 膀的概略位置。圖 3.18 中，地板的上半部為一個 170 公分高的人與架設在 3 公
1.7m
Ground M
D
Bird-view
Moving direction C E
F
B A
A’
E’ B’
C’
尺高天花板的攝影機在三度空間中的位置，下半部則為垂直視角的攝影機所看到 將式(3.15)代入(3.14)，即得到式(3.16)
MC (channel)的分布相似度(distribution similarity)。而計算分布相似度的方式則採用 Fisher 的標準(Fisher criterion)，如式(3.18)。
( )
再將各個色頻的分布相似度加權總和，即為色彩的相似度，如式(3.19)。而為了 減低光影變化的影響，給予亮度(Luminance)的色頻較低的權重。
H H C C L L
t f f f
color =ω +ω +ω (3.19)
肩膀區域的前景涵蓋率
在 3.1.1 中前景偵測所得到的結果，也可以用來輔助追蹤的判斷。依照前景 的定義，人的身體部分均屬於前景。若此連接為一個正確的連接，則用以上方式 所推估出來的肩膀區域，應該也都屬於前景。所以，計算所推估出的肩膀區域內，
屬於前景的像素所佔百分比，可以對肩膀區域的正確性加以確認。而我們將這個 百分比稱為肩膀區域的前景涵蓋率，如式(3.20)所示。
pixel shoulder All
foreground pixel
ver
co t = ∈ (3.20)
若所連接的位置並非真正人頭的所在位置，或是其移動的方向不正確，則 其區域內前景的涵蓋率將較低，反之則較高。從圖 3.19 中我們可以很明顯的看 到，其中圖 3.19(a)為 t-1 時刻的影像，圖 3.19(b)則為 t 時刻的影像，圖 3.19(c)則 為 t 時刻的影像經過前景偵測後所得到的前景影像。若以圖 3.19(a)中的人頭 H 為例，在所有可能的連接之中，只有正確的連接所推估出來的肩膀區域均屬於前 景，而其餘的連接，其推估出的肩膀區域的前景涵蓋率均較低。
(a)
形的部份即為所推估出的肩膀區域，可以看出其與實際的肩膀區域相去不遠。
(a) (b) 圖 3.20 多人移動追蹤的結果
(a) t -1 時刻 (b) t 時刻
如同在我們在 2.2 中所提到的，透過追蹤，我們也能對於偵測的結果加以確 認與改善。假設影像中偵測出一人頭 H，但前一漲影像中，卻沒有任何一個人頭 連接至 H。若 H 靠近影像的邊緣，則可能為一剛移動進入畫面的人，否則有可 能為一錯誤的偵測。在追蹤過程中，我們即可將此類錯誤的偵測加以去除。
另外，即使在人頭的偵測上發生了遺漏，我們也可以透過連續的影像，使 追蹤不至於中斷。若一人頭在 t 時刻的影像發生追蹤失敗，但在 t+1 時刻的影像 中卻找到可連接的人頭，則可能在 t 時刻發生了偵測的遺漏。故在追蹤過程中，
我們允許一次的追蹤失敗，並將其保留至下一時刻的影像中，來尋找是否有可連 接的人頭。如此即使在有偵測遺漏的狀況下，仍可正確的達追蹤的目的，但其缺 點為有可能造成錯誤追蹤的延續，故在一次追蹤失敗後，需要以較嚴苛的條件(如 較高的連接機率臨界值)來進行追蹤。