國
立
交
通
大
學
多媒體工程研究所
碩
士
論
文
排球影片分析—運動員軌跡之
移動與跳躍的區別
Volleyball Video Analysis – The Differentiation of Athlete
Moving and Jumping Tracks
研 究 生：馬國濂
指導教授：莊仁輝 教授
排球影片分析—運動員軌跡之移動與跳躍的區別
Volleyball Video Analysis – The Differentiation of Athlete Moving and
Jumping Tracks
研 究 生：馬國濂 Student：Kuo-Lian Ma
指導教授：莊仁輝 Advisor：Jen-Hui Chuang
國 立 交 通 大 學
多 媒 體 工 程 研 究 所
碩 士 論 文
A ThesisSubmitted to Institute of MultimediaEngineering College of Computer Science
National Chiao Tung University in partial Fulfillment of the Requirements
for the Degree of Master
in
Computer Science June 2011
Hsinchu, Taiwan, Republic of China
I
排球影像分析—運動員軌跡之
移動與跳躍的區別
學生：馬國濂 指導教授：莊 仁 輝 教授
國立交通大學
多媒體工程研究所碩士班
摘 要
在球類運動分析中，多數研究著重於足球或籃球等，相較之下排球的分析研 究偏少，本研究特別針對排球球員的運動軌跡，偵測其運動中跳躍的部分，可以 提供此球員正確的移動軌跡，以及跳躍的資訊。本篇論文提出兩種跳躍軌跡分析 方法，分別以軌跡垂直分量及消失點的特性，判斷球員移動軌跡中跳躍的部份。 細部來說，我們利用背景模型切割前景區域，偵測出影像中欲追蹤之球員頭部位 置，再藉由平面投影轉換，建構出球員在頂視平面上的軌跡，最後利用軌跡與消 失點的特性，判斷軌跡中屬於跳躍的部分。而從實驗結果來看，軌跡中球員跳躍 的部分都可有效的被偵測出來，並在移除跳躍軌跡後，呈現完整的球員移動軌 跡。II
Volleyball Video Analysis –
The Differentiation of Athlete Moving
and Jumping Tracks
Student：Kuo-Lian Ma Advisor：Dr. Jen-Hui Chuang
Institute of Multimedia Engineering
National Chiao Tung University
Abstract
In volleyball games, the analysis of players’ moving and jumping trajectories bring much tactical information. In this paper, we analyze volleyball videos to extract players’ trajectories and to identify the jumping parts of the extracted trajectories. The jumping parts can be determined via (i) vertical component analysis of trajectories and (ii) vanishing point-based collinear analysis of trajectories. Specifically, we first use background subtraction to segment foreground athletes and detect their head positions in an image sequence. The head positions are then transformed to top-view coordinates via homography transformation and form athletes’ trajectories. Finally, the method (i) and (ii) are applied to differentiate the moving and jumping parts of the trajectories. In our experiments, all the jumping parts of the trajectories are detected correctly, with moving trajectories of the athletes being displayed.
III
目 錄
摘 要... I Abstract ... II 目 錄... III 圖目錄... IV 表目錄... VI 第一章 緒論... 1 1.1 研究目的與動機... 1 1.2 相關研究... 2 1.3 想法與貢獻... 3 1.4 論文架構... 4 第二章 相關幾何原理... 5 2.1 平面投影轉換... 5 2.2 消失點... 7 第三章 頭部偵測... 9 3.1 背景模型... 9 3.2 前景物件之輪廓最高點... 10 3.3 頭部位置檢測及修正... 12 3.3.1 髮色與膚色提取... 12 3.3.2 頭部位置異常之修正... 13 第四章 跳躍分析... 17 4.1 跳躍偵測... 18 4.1.1 垂直軌跡檢測... 19 4.1.2 與消失點延伸線的一致性... 24 4.2 跳躍高度估測... 26 4.3 頭部尺寸不變性之分析... 27 第五章 實驗結果... 31 5.1 平面投影轉換... 31 5.2 頭部偵測... 32 5.3 跳躍分析... 35 第六章 結論與未來工作... 44 參考文獻... 45IV
圖目錄
圖 2.1 平面投影轉換示意圖... 5 圖 2.2 (a)原始影像，(b)影像平面經平面投影轉換至地平面的俯視圖 ... 6 圖 2.3 取得不同高度平面對應點示意圖... 6 圖 2.4 影像中消失點的位置... 7 圖 2.5 消失點的計算... 8 圖 3.1 背景模型... 9 圖 3.2 (a)原始影像，(b)切割出的前景 ... 10 圖 3.3 需要過濾掉的前景範例... 11 圖 3.4 前景外接矩形... 11 圖 3.5 前景輪廓最高點... 11 圖 3.6 白色箭頭處為輪廓區域最高點不為人物頭頂點的範例... 12 圖 3.7 前景中偵測髮色的結果... 13 圖 3.8 前景中偵測膚色的結果... 13 圖 3.9 結合髮膚色的結果... 13 圖 3.10 追蹤之頭部位置異常... 14 圖 3.11 頭部位置檢測 ... 15 圖 3.12 圖 3.10(b)修正過後正確的頭部位置 ... 15 圖 3.13 圖中綠色方框為受到黑色上衣干擾而找到錯誤的頭部位置... 15 圖 4.1 (a)人物移動實際畫面，(b)人物於身高平面的軌跡圖 ... 17 圖 4.2 造成軌跡異常之示意圖... 18 圖 4.3 (a)身高平面之軌跡圖，(b)軌跡之垂直分量對應時間的關係圖，白色箭頭處 為跳躍前後各有一次蹲下的動作所形成的波谷... 19 圖 4.4 找出的每組坡峰坡谷... 20 圖 4.5 跳躍特徵之 W 形狀中的三段間隔 ... 21 圖 4.6 向上搜尋直到不存在三個間隔，計算出跳躍點... 21 圖 4.7 以 W 的形狀特徵計算之跳躍點位置 ... 22 圖 4.8 波谷高度的差距會影響跳躍點的計算... 22 圖 4.9 計算跳躍點... 23 圖 4.10 找出實際的跳躍點... 23 圖 4.11 跳躍軌跡部分的延伸會交於消失點上 ... 24 圖 4.12 若 與消失點延伸線的角度相近則標示為紅色 ... 25 圖 4.13 與消失點延伸線一致，但不為跳躍部分的軌跡... 25 圖 4.14 與消失點連線一致性找出的跳躍軌跡... 26 圖 4.15 計算跳躍高度... 27 圖 4.16 頭部大小比較... 28 圖 4.17 一段實驗影片的若干畫面：上排影像為人物遠離攝影機並有兩次跳躍，V 下排為人物接近攝影機並做一次蹲下的動作... 29 圖 4.18 影像中頭部尺寸與軌跡垂直分量變化關係圖... 29 圖 4.19 (a)綠色線段為利用正常軌跡與頭部尺寸之間的關係計算出來的頭部尺寸 變化關係圖... 30 圖 5.1(a)為球場原始影像，(b)為轉換至地平面的俯視圖 ... 32 圖 5.2 (a)~(f) 影片 1 球員頭部連續偵測結果，(c)和(d)中的綠框為修正過後的頭 部頂點位置………..………32 圖 5.3 (a)~(f) 影片 2 球員頭部連續偵測結果，(b)~(d)中的綠框維修正過的頭部頂 點位置，但因為黑色衣服的干擾而使結果有些偏差……….…………..33 圖 5.4 與手動標示之軌跡圖的比較，(a)為球員 1 的軌跡，(b)為球員 2 的軌跡…34 圖 5.5 球員跳躍片段………35 圖 5.6 圖 5.4(b)所計算軌跡之垂直分量圖……….35 圖 5.7 圖 5.4(b)軌跡經移除跳躍部分軌跡，得到完整的平面移動軌跡局部放大結 果………..36 圖 5.8 (a)為圖 5.4(a)球員 1 的軌跡經移除跳躍部分軌跡，得到完整的平面移動軌 跡局部放大結果，(b)為球員跳躍的影像片段……….……….36 圖 5.9 跳躍判斷失誤，判斷出的跳躍部分過大………37 圖 5.10 僅觀察影像垂直分量造成之跳躍判斷失誤... 37 圖 5.11(a)、(b)為與消失點一致性的跳躍判斷結果 ... 38 圖 5.12 (a)結合垂直分量的檢測與消失點延伸線一致性的結果，(b)球員跳躍的影 像片段... 39 圖 5.13 (a)原始偵測軌跡與實際移動軌跡，(b)球員跳躍的影像片段 ... 40 圖 5.14 (a)原始偵測軌跡與實際移動軌跡，(b)球員跳躍的影像片段 ... 40 圖 5.15 (a)原始偵測軌跡與實際移動軌跡，(b)球員跳躍的影像片段 ... 41 圖 5.16 (a)原始偵測軌跡與實際移動軌跡，(b)球員跳躍的影像片段 ... 41 圖 5.17 (a)左圖為原始偵測軌跡，中圖為垂直分量分析跳躍判斷錯誤，右圖為經 消失點一致性分析後的實際移動軌跡，綠色軌跡為經過檢查後判定為原正常移動 軌跡，(b)球員跳躍的影像片段 ... 41 圖 5.18 (a)原始偵測軌跡，(b)為球員跳躍片段，由於手部與頭部區塊接近使跳躍 偵測錯誤... 42 圖 5.19 (a)原始偵測軌跡，(b)為球員跳躍片段，由於手部與頭部區塊接近使跳躍 偵測錯誤... 42 圖 5.20 (a)原始偵測軌跡，由圖中描繪的半場綠色框可以看出，整個軌跡偵測已 經錯誤的連接到對場球員，(b)為球員跳躍片段，由於追蹤的球員頭部與對場球 員褲子顏色相近又重疊，使軌跡偵測錯誤... 42
VI
表目錄
表 1 跳躍高度分析... 27 表 2 四組對應座標... 31 表 3 影像平面對於球場平面與球員身高平面之平面投影轉換矩陣... 32 表 4 頭部位置正確率... 34 表 5 球員跳躍高度... 431
第一章
緒論
1.1 研究目的與動機
現今全球運動相關科技蓬勃發展，有越來越多的觀眾或球員，希望藉由多媒 體資訊處理系統的輔助，來取得更多樣的運動資訊。在運動比賽中，裁判可以利 用影片重播，精準的判定選手是否犯規、或是球有沒有出界等，以維護比賽公平 性，例如最廣為人知的網球鷹眼系統。此外，球隊的教練也可望利用電腦軟體， 分析出整場比賽中，某一段時間各個球員的跑位、動作，並在整合各項資訊後， 進一步研判雙方球隊的戰術。 目前學術界對於運動影片分析的研究，大致分為兩類：非球類運動影片分析 與球類運動影片分析。非球類運動如跳水、游泳和田徑等，大多是由每位運動員 自己的表現，決定比賽的勝負，所以在非球類運動的影片分析中，可以藉由電腦 科技的輔助來判斷有爭議性的勝負，例如田徑與游泳中抵達終點的順序，或是以 慢動作重播比賽過程的精彩片段，像是跳水在空中的轉體及入水的瞬間。 另一大類則是球類運動，與非球類運動的最大差別就是，雙方必頇為了球權 相互對抗，例如籃球、足球和排球等，這時候球員之間的互動，無論同隊或不同 隊都對比賽有著極大的影響，同隊球員之間互相傳接配合，不同隊球員之間的攻 擊與防守，都左右著比賽的結果。透過影片紀錄分析，無論是得到己方球隊或敵 方球隊球員之跑位或動作，都使教練有充足的資訊，對於不同的情況安排適當的 戰術以求增加勝率，由此可知比賽過程中，球員的移動以及動作之自動化分析， 也是球類運動影片研究之重點。 在球類運動分析中，大多著重於足球、籃球與棒球等，相較之下排球的分析 研究偏少。如先前所提到的，能分析出比賽中球場上有多少位球員、球員各自的 運動速度及各時間不同動作，有很多研究課題需要探討。以排球的觀點來看，跳 躍這個動作出現的次數，相較於別的球類運動來得少，而且主要發生在扣球的瞬2 間。考量戰術以及跳躍的高度，可將球員的動作分為是假動作或是真的扣球，這 些細節往往都是得分和球隊勝利的關鍵。若是能取得球員跳躍的位置與高度資訊， 便可以讓教練針對不同球員特質，進行較為個人化的訓練。 本研究目的為結合影像處理技術，對排球比賽影片進行分析，希望能在排球 影片中，偵測出球員在場上的實際位置，進一步追蹤球員軌跡，並以軌跡為基礎， 分析球員跳躍的資訊。
1.2 相關研究
本篇論文的研究與兩大類主題有著密切關係，第一類為人物頭部偵測，第二 類為運動員軌跡分析。 人物頭部偵測在電腦視覺及多媒體相關領域中一直都是重要的課題之一，用 來偵測頭部的特徵有許多種，最常用到的方法如輪廓與形狀，在加上髮膚色的資 訊來判別頭部區域。文獻[1]利用頭部周圍的輪廓會呈現有如Ω的型狀，對前景 的輪廓做加權比重分析，再配合頭部尺寸比例過濾後找到頭部的區域。文獻[2] 在影像中利用影像梯度 (gradient) 的資訊尋找橢圓形的物體，再對橢圓形的物件 內的顏色建立直方圖 (histogram)，比較顏色的分佈是否為頭部區域。文獻[3]與 文獻[2]的做法相似，一樣對橢圓形的物件中判斷髮膚色的比例，主要以 XYZ 和 HSV 色彩模型 (color model) 來搜尋頭髮及皮膚的顏色，判斷是否在此形狀中占 有足夠的比例。文獻[4]使用 Four Direction Feature (FDF) 和 Linear discriminant Analysis (LDA) 這兩種檢測方法，偵測臉的五官及頭部的資訊。文獻[5]利用對 行人偵測有很好效果的 Histogram of Oriented Gradient (HOG)，將 HOG 特徵訓練 成偵測頭部區域的偵測器，以在影像中偵測頭部位置。在運動員軌跡偵測的部分，通常分為兩類，一類為室外球類比賽，一類為室 內球類比賽。室外球賽如足球，比賽場地十分廣大，通常需要藉由多攝影機的輔 助才能包含住整個球場，以進行球員的軌跡偵測。文獻[6]利用多攝影機，使監 控畫面能涵蓋整個足球場，並且偵測及追蹤球員位置，結合向前搜尋 (forward
3
search) 及向後搜尋 (backward search)，判斷每個切割出來的前景區塊，在連續 的影像中是否一致，以解決球員遮蔽(occlusion)的問題。文獻[7]對同一個區域以 多個不同角度攝影機做球員定位，再加強處理室內球場容易反光及影子的問題， 以降低球員偵測失誤率。在單攝影機的情況下，文獻[8]先對許多球員可能的動 作姿態都建立模組，對於每個切出來的前景，套用到已知模組來判斷是否為球員。 文獻[9]以 particle filter，追蹤球員上半身衣服的顏色以及身體的動作，使系統對 於跳躍和撲身救球等特殊動作進行偵測，同時加上膚色的判定以搜尋腳點，進行 人物定位和追蹤。文獻[10]以電視播出的足球比賽畫面做分析，使用大量的球員 模組訓練 Haar-like 特徵，對切割出的前景判斷是否為球員，並利用顏色資訊分 辨各球員為哪支球隊。
1.3 想法與貢獻
在運動影片中，球員頭部比腳部更不容易被遮蔽，本研究利用此特性，進行 人物頭部頂點的偵測與追蹤。偵測出影像中頭部的頂點位置後，為了取得球員在 球場上實際的移動軌跡，我們透過平面投影轉換 (Homography Transformation)， 將頭部頂點位置轉換到球場實際平面座標系，得到軌跡的資訊。接著我們在軌跡 分析的研究上，由於人物跳躍時的軌跡之變化，與場景中鉛直線於影像中的消失 點有密切的關係，因此我們先於影像中計算消失點的位置，再利用消失點的特性 偵測軌跡中跳躍的部分，並在取得跳躍的部分後，進一步分析出球員跳躍的高 度。 在排球比賽中，得分的方式幾乎都靠扣球，而要確保扣球的成功率，球員就 必頇盡全力跳躍，由此可知跳躍對於排球的重要性。本論文主要貢獻為，提出兩 種有效的跳躍軌跡分析方法，從取得的軌跡資訊中，判斷其中屬於跳躍的部分， 並藉由消除屬於跳躍部分的軌跡，得到球員在身高平面上正確的移動軌跡。同時， 利用身高平面上，跳躍部分的軌跡與攝影機鉛直投影點的關係，可即時計算球員 跳躍的高度資訊。4
1.4 論文架構
在第二章中，我們將先介紹平面投影轉換的建立以及影像消失點的幾何原理； 第三章則介紹影像前背景區域切割與人物頭部區域偵測和追蹤；第四章主要對於 計算出來的球員軌跡進行分析，並偵測軌跡中跳躍的部分；第五章則列出實驗的 結果；第六章將會針對整個研究做結論，並提出未來可以繼續探討之方向。5
第二章
相關幾何原理
球員的軌跡通常是在球場的俯視圖(Top View)上做分析，但本研究的攝影機 位置在球場的後側上方，而非球場正上方，因此我們必頇對影像中偵測到的球員 頭部點，經過平面投影轉換後得到球員在身高平面的位置。於 2.1 節中將會介紹 如何計算平面投影轉換矩陣，並且對於每個不同身高的球員，計算與其身高高度 相對應的平面投影轉換矩陣。此外，由於在後續進行球員軌跡的分析時，需要運 用消失點的特性，以偵測軌跡中跳躍的部分，因此在 2.2 節中將會介紹如何計算 消失點的位置。2.1 平面投影轉換
平面投影轉換的簡單定義，如圖 2.1 所示，有兩平面 、 ，要將一位在 平 面上的點 ，透過透視投影對應到另一平面 上的點 。其間存在一個 的 投影轉換矩陣 H，可將 中的座標點轉換至 中對應的座標點，如式 (2.1) 所示。 圖 2.1 平面投影轉換示意圖 對兩個平面計算未知的平面投影轉換矩陣 H，其中有九個未知數，但因為其中一 個為縮放系數 (up to scale)，所以其自由度為 8，也就是至少八條方程式才能解 出 H。因此至少需要四個已知相對應的點座標 ，方能求解 H。 為了取得四個相對應的點，我們在球場的四個角落放置鉛直的標記竿，竿長為 100 公分並且頂點與腳點各有一標記點，方便在影像座標中取得標記點的資訊。 式(2.1) H6 利用四組標記竿的腳點在影像中的位置，我們可以取得影像平面對應地平面的平 面投影轉換矩陣 ，圖 2.2 為影像平面轉換至地平面的結果。 圖 2.2 (a)原始影像，(b)影像平面經平面投影轉換至地平面的俯視圖 由於每個球員的身高皆不相同，必頇使用其對應高度平面的矩陣 H。在實際 的情況中，影像平面對每個球員可能的身高之平面都建立一個矩陣 H 是一件麻 煩且沒效率的事情，因此我們利用外插的方式，建立需要的高度平面的矩陣 H。 以圖 2.3 為例， 為標記竿的頂點， 為此頂點經過「影像對地平面」的平面投 影轉換矩陣 後，投影到地平面的點。對於一個高度 W 的平面，可以藉由直線 ，計算出與平面 W 的交點 ，同理可算出四個在平面 W 與影像上相對應的 標記點，接著算出影像平面對高度平面 W 的平面投影轉換矩陣 。 圖 2.3 取得不同高度平面對應點示意圖 地平面 平面 W (a) (b)
7
2.2 消失點
兩條在實際空間中平行的線段，若攝影機拍攝時與此兩線段不平行，則在影 像中此兩線段的延伸必定會交於一點，即為消失點。實際空間中各組不同方向的 平行線，在影像中的延伸會交於各自的消失點，而本研究中，我們著重在「垂直 於地面」這個方向的消失點。由於排球比賽影片皆為斜角往下俯拍，因此在影像 中，垂直於地面的方向的延伸線會交於影像的下方，如圖 2.4 所示。我們發現若 將影像以 2.1 節所介紹的平面投影轉換，將此影像中的消失點投影至地平面後， 恰巧會是攝影機垂直投影至地平面的座標，由圖中也可以看出，垂直於地面的線 段投影至地平面後，會與影像中消失點投影至地平面的點所射出的射線一致。 圖 2.4 影像中消失點的位置 在 2.1 節計算平面投影轉換時在球場的四個角落放置標記竿，任意取兩個標 記竿，如圖 2.5 所示，將此兩標記竿的頂點 和 投影至地平面得到 和 ， 再分別與標記竿的腳點 和 連線，此兩線段 和 的交點 ，即為 攝影機鉛直投影至地平面的 2D 座標位置，也是空間中「垂直於地面」直線在影 像上延伸交會的消失點，以鉛直方向投影至地平面的點。此一地平面之攝影機地 面座標也將應用在後續分析跳躍的部分，計算球員跳躍的高度。因為平面投影轉8 換在計算上會產生些微誤差，在計算消失點的時候可能會將此誤差放大，因此我 們將此球場四個角落的標記點，每兩個計算一組攝影機的位置，總共可以得到六 組，再取其平均做為最後的攝影機位置結果。由於在跳躍分析中，我們希望能提 供球員跳躍的高度，而跳躍的高度必頇在攝影機的高度已知的情況下才能計算， 因此，知道 的座標點後，透過相似三角型的定理，如式 2.2 所示，即可計算攝 影機的高度。 圖 2.5 消失點的計算 式(2.2)
9
第三章
頭部偵測
由於本研究是以影像中的人物頭部位置為基礎，進行後續的軌跡分析，因此 首要目的即為在影像中找到人物的頭部。我們透過建立背景模型，擷取每張影像 的前景區塊，再經過連通元件 (connected component) 處理後，對於每個元件找 出最高點作為頭部區域的偵測結果。最後再由此頭部頂點結果，經過平面投影轉 換，建構出球員的軌跡。3.1 背景模型
本研究以建立高斯背景模型，並且使用背景相減法(background subtraction) 的方式擷取前景。建立高斯背景模型，首先以新進的第一張影像為初始背景模型， 而接下來的影像將陸續更新此背景模型。對於每一張新進影像的像素值與相對應 背景模型之像素值相減，若相減的絕對值小於門檻值 ，則當作背景，反之則 當作前景。圖 3.1 為對於其中一段實驗影片所建立的排球場背景，圖 3.2 (a)顯示 一張新進影像，圖 3.2 (b)則為透過背景相減法所取得之前景。 圖 3.1 背景模型10 圖 3.2 (a)原始影像，(b)切割出的前景
3.2 前景物件之輪廓最高點
本研究中頭部的偵測是基於切割出的前景結果，偵測到一相連的前景物件區 域後，尋找此物件區域的最高點作為頭部頂點。相較於一般的人物偵測，排球比 賽的場景有許多干擾人物偵測的因素，例如球員大幅度的動作、球網時常的晃動 及球場上的反光，都會影響前景偵測結果。因此我們先對前景區域的外接矩形 (bounding box)做過濾，過濾的方法分成以下幾點： 1.外接矩形中前景面積比例：因為排球場地的材質關係，影子很容易被判斷 為前景，但又影子時常因為光線反光的關係，造成前景破碎比較嚴重，所以外接 矩形內的前景面積比例會比較低，如圖 3.3 (a)所示，前景是由影子所造成，因此 面積比例較小。 2.外接矩形的長寬比：經過實驗觀察發現，屬於球員的前景物件其外接矩形 的長寬比例，考量其動作變化大，比例約落在 1.0~3.1 之間，不同於球網的晃動， 屬於水平狹長型，故可將球網的晃動造成的前景過濾掉，如圖 3.3 (b)。 3.外接矩形的大小：影像中常見的雜訊，或是前景破碎均會造成一些前景區 塊過小。而過濾後的外接矩形結果如圖 3.4 所示。 (a) (b)11 圖 3.3 需要過濾掉的前景範例 圖 3.4 前景外接矩形 由於頭部為人體的頂端，因此在許多應用情境中，我們可以假設一個輪廓之 最高點，將對應到頭部的位置，所以我們利用偵測輪廓區域最高點的方式，找出 球員的頂點。我們參考[11]的方法，作為前景物輪廓區域最高點之偵測演算法， 圖 3.5 為輪廓區域最高點偵測的結果，可以看出對於每個前景物件所找到的最高 點大多數為人物頭部頂點，但由於[11]之演算法並非針對球員設計，因此頭部偵 測之結果有一些誤差的因素存在。 圖 3.5 前景輪廓最高點 (a) (b)
12
3.3 頭部位置檢測及修正
在 3.2.1 節中有提到，由於[11]是尋找每個外接矩形中的輪廓最高點，因此 在球員互相遮蔽或球員舉球、扣球時手比頭高這兩種情況下(圖 3.6 箭頭處)，會 造成輪廓最高點不一定是真正球員的頭頂點。為了解決此問題，我們對於找到的 輪廓最高點下方，計算一定範圍內髮色與膚色的像素數量作為檢查的依據。於 3.3.1 節中將介紹在影像提取髮色與膚色資訊的方法，3.3.2 節中將說明如何檢測 頭部的位置是否正確。 圖 3.6 白色箭頭處為輪廓區域最高點不為人物頭頂點的範例3.3.1
髮色與膚色提取
假設球員的頭髮顏色皆為黑色，我們對檢測範圍內屬於前景的像素值，計算 其 YCbCr 顏色模型中的 Y 成分，Y 代表著明度(luminance)，經多次實驗後將髮色 的範圍設定為 Y<50，圖 3.7(a)為原始影像，而提取的結果如圖 3.7 (b)所示。而膚 色的部分，則以 YCbCr 中的 Cb 及 Cr 成分作計算。Cb 與 Cr 代表色度(chrominance)， 我們令找尋的範圍分別是 和 。但在排球場地內， 木製地板的顏色與膚色在 CbCr 的成分上十分接近，在膚色提取上會造成一些干 擾，如圖 3.8(a)。為了區隔膚色及地板顏色，另外加上 HSV 顏色模型中的 V 成 分。V 代表亮度(value)，也就是明暗的程度，由於場地光線的關係，地板的亮度 值會比較高。利用此特性，設定 V 的範圍為 ，由圖 3.8(b)可以看出 提取的膚色部分已經不受地板干擾。圖 3.9 為聯集髮膚色提取的結果。13 圖 3.7 前景中偵測髮色的結果 圖 3.8 前景中偵測膚色的結果 圖 3.9 聯集髮膚色的結果
3.3.2
頭部位置異常之修正
由於每張影像都會切割出許多前景物件，對於每個物件都可能會找到一個輪 廓最高點，所以我們必頇使用一些判斷方法，使結果只顯示出我們想要得到的球 員頭部資訊。在每一段比賽影片中，我們對於第一張被切割出有前景的影像，手 動標示出欲追蹤之球員的頭部頂點位置，並在之後的影像皆以前一張影像的頭部 偵測點為基礎，進行頭部位置追蹤。令 t 為時間、i 為追蹤的頭部編號、j 為前景 物件數目，當前一張影像已經確認頭部的位置座標 後，對於目前影像所找 出的所有物件區域最高點座標 ，與確認的頭部位置計算距離 ，取 相距最近者為此影像中的頭部位置 。 (a) (b) (a) (b)14 經過實驗觀察發現，以每個影格 (frame) 為單位，影像中球員移動 (包含走 動、跑動及跳動) 的時候，頭部位置變動的像素數最多不會超過 15 個像素。若 發現同一個球員在連續兩張影像中，追蹤到的頭部位置相距超過 15 個像素，即 判定為異常追蹤結果。以圖 3.10 為例，frame163 中最下方欲追蹤的球員(箭頭所 指)的頭頂點，在第 164 張影像裡因為前景與同隊球員互相遮蔽的情況，使外接 矩形的範圍錯誤，進而遺失球員頭部的真實位置。 圖 3.10 追蹤之頭部位置異常 當目前影像頭部位置發生異常時，我們將以前一張影像的頭部位置為中心， 利用上一節的作法，搜尋周圍 範圍內，擁有最多髮膚色資訊的點。在本研 究拍攝的實驗影片中，我們注意到球員的頭部在影像中大小約略落在 到 個 pixel 之間，因此對於每個搜尋的像素點建立一個 的檢查範圍，計算 範圍內的髮膚色資訊數量。如圖 3.11 所示，紅色點為前一張影像中的頭部位置， 以紅點為中心搜尋周圍 的範圍，而綠點為搜尋到擁有最多髮膚色資訊的點， 故以此點作為這張影像的人物頭部點。圖 3.10 可以看出，第 164 張影像中下方 欲追蹤的人物頭部因為與對場球員的前景重疊，導致外接矩形範圍錯誤，因此真 正的頭部點並沒有被找到，經過前述的方法後成功追蹤到正確的頭部位置(圖 3.12 中綠框)。不過此頭部檢測方法需建立在一個條件上，即球員衣服的顏色必 頇和髮色及膚色有明顯差異。如果球員身上的衣服顏色與髮膚色相近，如黑色或 紅色等，由於其面積比頭部區域大很多，因此在檢測時容易將身體的部分判定為 Frame 163 Frame 164
15 頭部，如圖 3.13 中左邊的球員即檢測出錯誤的頭部位置。此論文的實驗影片中， 我們設定球員的上衣為白色，使頭部區域的顏色資訊能不被干擾。 圖 3.11 頭部位置檢測 圖 3.12 圖 3.10(b)經過修正後正確的頭部位置 圖 3.13 圖中綠色方框為受到黑色上衣干擾而找到錯誤的頭部位置
16 在此章節中，我們介紹了背景模型的建立，以及對前景進行輪廓最高點的偵 測，做為球員頭部頂點的判斷，並利用髮色及膚色的資訊檢測，將異常頭部位置 做修正，取得每張影像中，我們有興趣的球員頭部位置。配合第二章建立好的平 面投影轉換矩陣，我們能將球員的移動過程完整的轉換到身高平面上，形成球員 的軌跡。接下來在第四章中，我們將會介紹如何對這些球員的軌跡進行分析，判 斷出其軌跡不符合平面投影轉換的跳躍部分。
17
第四章
跳躍分析
在一般情況下，行人的軌跡會以單一方向行進，並且維持著幾乎相同的速率， 但球員的軌跡就有著很大的差異。球員在球場上，運動的方向及速率時常改變， 造成偵測出的軌跡十分不規則。本研究以偵測到的球員之頭部頂點，經由相對應 高度之平面投影轉換矩陣，投射到身高平面後，取得其在身高平面的移動軌跡。 我們拍攝了一段簡單的實驗影片，影片中人物以影像垂直方向行走並漸漸遠離攝 影機位置，而在行走的期間內人物在某兩個位置上各做了一次原地跳躍的動作。 此實驗影片經過頭部偵測與平面投影轉換後，得到人物的軌跡圖，如圖 4.1 所示， 其中紅色的區段為兩次跳躍時所偵測到的軌跡片段。 圖 4.1 (a)人物移動實際畫面，(b)人物於身高平面的軌跡圖 由圖 4.1 可以看出這兩次跳躍的軌跡片段(紅色部分)明顯與行走的軌跡片段 (藍色部分) 差異甚大。以圖 4.2 作為說明，由於在影像中我們是以人物頭部頂點 做為人物的偵測點，並且以人物身高所對應的身高平面，進行軌跡計算，當人物 行走時 (圖中黑色人物) 頭部頂點高度與身高高度一樣 (圖中綠色點)，此時可以 找到正確的人物軌跡。但是當人物跳躍時 (圖中紅色人物)，雖然實際空間中人 物的頭頂點高度已經超越其身高高度，但在影像中所偵測到的頭頂點，若依舊以 攝影機 (a) (b)18 身高高度所對應的身高平面進行座標轉換，則轉換至該身高平面的點與人物實際 位置將出現極大差異 (圖中紅色點)，反映在身高平面的軌跡圖中，看起來就像 “人物短時間內突然來回移動了很長的距離”。 圖 4.2 造成軌跡異常之示意圖 從上述情況可以觀察到，如果排球球員的軌跡出現這樣異常的變動，我們就 能假設球員在某些地方做了跳躍的動作，並且利用這類異常軌跡的幾何特性，經 過分析後可得到球員跳躍的資訊。在 4.1 節中我們以不同的方式分析的軌跡，判 斷軌跡中何時有跳躍的部分；4.2 節我們對於偵測到的跳躍部分，估計其跳躍高 度；而 4.3 節則分析頭部尺寸不變性與跳躍偵測的關聯性。
4.1 跳躍偵測
當人物跳躍時在軌跡中會有明顯的大幅度位移現象，而此現象與攝影機的位 置有密切的關係，從圖 4.2 中我們可以想像，對於每張影像，由攝影機射出的射 線，連接到人物頭部頂點後，再延伸交會於人物身高平面，即為人物頭點在身高 平面的投影位置。如前面圖 2.4 的說明，因為攝影機的位置投影至身高平面上的 座標，剛好與影像中垂直於地面之線段的消失點，投影至身高平面上的座標相同， 因此當人物跳躍時，其軌跡異常的變動方向，會與此身高平面上的消失點，所散 發出的射線一致。此外，球員跳躍時大多與垂直於地面的方向平行，因此跳躍時 所造成的異常軌跡，在垂直於攝影機的方向變動量最大。因此我們利用這兩種特 性，偵測軌跡中的異常部分，判斷是否為跳躍所造成。這兩種方法分別為「影像19 垂直軌跡檢測」以及「與消失點延伸線的一致性」，前者利用跳躍軌跡的變化在 垂直方向有明顯的差異做為檢測，而後者則是判斷跳躍軌跡的角度變化找出跳躍 的部分。
4.1.1
垂直軌跡檢測
由於人物在跳躍時，在影像中大致呈現向上的運動，我們可以適切的選定座 標系，使得投影在身高平面上的人物軌跡也會是向上的變化。對此我們對於球員 軌跡，若單獨只看垂直方向的分量時，可以發現有一些部分軌跡在垂直方向的變 化量非常大。圖 4.3 為一段實驗影片中，所偵測出的人物軌跡，與其軌跡之垂直 分量對應時間的關係圖，影片中人物在場地裡逆時針行走一圈，並做了五次原地 跳躍，在關係圖中可以發現，其中有五次較為尖銳突出的波形即為五次跳躍的部 分。 圖 4.3 (a)身高平面之軌跡圖，(b)軌跡之垂直分量對應時間的關係圖，白色箭頭處為跳躍前後各有 一次蹲下的動作所形成的波谷 我們注意到人物在跳躍之前會有一個些微蹲下的準備動作，並且在跳躍後也 (a) (b)20 會有一個些微蹲下的緩衝動作，這兩個動作都會使軌跡的垂直座標略為下降，如 圖 4.3 軌跡垂直分量圖中的箭頭處。另外跳起時垂直座標會在短時間內迅速上升， 經過多次實驗發現，跳躍時造成的異常軌跡之最遠移動距離均會超過 150 公分， 而在跳躍的過程中，每個單位時間內 (這裡為每個影格) 的移動距離則會超過 30 公分，與平常移動的距離有明顯差異，使整段跳躍的波形猶如一個中間波峰隆起 很高的“W”，因此，若在軌跡垂直分量圖中找到符合此“W”形狀的軌跡片段，我 們就認定其為一次跳躍。圖 4.4 為找出的波峰波谷，每一個波峰 (綠色點) 與其 附近的兩個波谷 (粉紅色點) 為一組，都代表著一次跳躍。得知每次跳躍後，利 用每組波峰波谷我們即可精準的計算出人物實際跳躍的位置。 圖 4.4 找出的每組坡峰坡谷 為了精確計算在實際場景中人物跳躍的位置，我們以下列方法計算跳躍位置： 由於軌跡垂直分量圖中跳躍的特徵呈現“W”的形狀，而在此形狀中會存在“三個 間隔”，如圖 4.5，但由於此形狀中間的波峰特別長，所以這三個間隔只會存在於 此形狀較底部的部分，也就是說，對於每個找到的跳躍部分，我們將其兩個波谷 連線，並以此連線的平行線逐漸向上搜尋 (圖 4.6 (a))，直到偵測不到三段間隔時， 將波峰下的間隔取平均值，即為跳躍點的位置，如圖 4.6 (b)。
21 圖 4.5 跳躍特徵之 W 形狀中的三段間隔 圖 4.6 向上搜尋直到不存在三個間隔，計算出跳躍點 此尋找跳躍點之方法的結果如圖 4.7，可以看出每個跳躍部分均能找到一個跳 躍點，但考慮到前面所提到的，於跳躍前後都會有些微的蹲下，如果我們將蹲下 的軌跡暫時忽略，會發現到計算的跳躍點與移動軌跡有時會不太一致，這是因為 兩個波谷的高度如果相差很大，會使連線的斜率變大，進而影響搜尋間隔的結果， 如圖 4.8 (a)的兩個波谷垂直差距很大，將跳躍的部分消除掉後，連接前後線段， 發現跳躍點的位置偏低，如圖 4.8 (b)所示。而圖 4.8 (c)的兩個波谷垂直差距較小， 找到的跳躍點位置比較接近真實移動軌跡，如圖 4.8 (d)所示。 不存在間隔 3 (a) (b)
22 圖 4.7 以 W 的形狀特徵計算之跳躍點位置 圖 4.8 波谷高度的差距會影響跳躍點的計算 由於我們希望以跳躍點替代整段跳躍的軌跡，而呈現出完整的球員移動動線 (a) (b) (c) (d)
23 (不包含跳躍)，因此跳躍點的估計希望能與非跳躍的移動軌跡有一致性，對此， 我們改良前面的方法，以每一組的兩個波谷，分別向兩側搜尋，若各自搜尋到連 續三個垂直座標的數值變化為“向下減少”或是“向上增加量很小”，即定義此連續 三個座標的第一個點為“波谷周圍最高點”，如圖 4.9 中的藍點。以此兩個藍點連 線形成的線段 (圖中橘線) 之方程式，將波峰的時間點代入此方程式，即可得到 在此時間關係軸上的跳躍點 (圖中紅點)。由此方法找到的波谷周圍最高點，其 座標位置與相鄰的非跳躍的移動軌跡高度大約相同，因此計算出的跳躍點較能符 合我們所期望的，與移動軌跡一致。圖 4.10(a)為在垂直軌跡分量圖上找出的所 有跳躍點，若再對應回原軌跡圖，就能得到所估計出的跳躍點，如圖 4.10(b)所 示。 圖 4.9 計算跳躍點 圖 4.10 找出實際的跳躍點 (b) (a)
24
4.1.2
與消失點延伸線的一致性
在 4.1 節的前言中我們提到，在身高平面上，人物垂直跳躍的軌跡連線，其延 伸線段會通過消失點，也就是說我們將整段軌跡中，對所有跳躍的軌跡連線延伸 後，皆會交於消失點上，如圖 4.11 所示。如此，我們即可利用此性質來偵測出 人物移動軌跡中，屬於跳躍的部分。 圖 4.11 跳躍軌跡部分的延伸會交於消失點上 如圖 4.12 所示，考慮身高平面上時間 T-1 到 T 的軌跡 ，與時間 T 的 軌跡點和消失點之連線 (綠色虛線) 的角度，若角度在 0 度或是 180 度時， 我們就將此段軌跡標示為紅色，其中夾角若是 0 度如圖(a)，代表人物正向上跳 躍，或是以遠離攝影機方向行走；而夾角為 180 度，如圖(b)，則代表人物可能 為跳躍至最高點後正落下回地面，或是蹲下及以接近攝影機方向行走所造成。25 圖 4.12 若 與消失點延伸線的角度相近則標示為紅色 因為消失點是由“垂直於地面方向”的線段投影在身高平面上之交點，所以人 物即使沒有跳躍，只要移動的方向與此消失點射出之延伸線的角度相近，就會被 標示出來，形成錯誤資訊，如圖 4.13。因此我們必頇加上移動距離的資訊做為過 濾，如 4.1.1 節中提到，經由觀察結果，人物跳躍時，每單位時間內其頂視平面 上的軌跡移動量都會超過 30 公分。因此，當偵測出角度與消失點延伸線一致時， 若該移動距離超過 30 公分，才將此線段做標記。圖 4.14 為其中一段實驗影片的 軌跡結果，紅色線段即為找出的跳躍部分軌跡，藍色虛線為與消失點的延伸線。 圖 4.13 與消失點延伸線一致，但不為跳躍部分的軌跡 (a) (b)
26 圖 4.14 與消失點連線一致性找出的跳躍軌跡
4.2 跳躍高度估測
在球類運動中，球員跳躍的高度和次數，會因為不同的球類而有不一樣的統 計數據，在籃球中需要不停的進攻以及爭奪籃板球，跳躍的次數很多，但跳躍的 高度不一定需要每次都跳很高；然而在排球的比賽裡，通常會互相傳接球兩次， 傳到戰術所需的位置後才進行扣球，因此跳躍的次數比較少，跳躍的高度也必頇 盡球員所能的達到最高點，而每個球員在比賽中跳躍高度與次數的資訊，可以使 教練在訓練時給予不同的指導方針。 於 4.1 節我們已經能夠擷取出一段移動軌跡中，每次球員跳躍部分的軌跡， 接著我們將介紹如何以此跳躍部分的資訊，計算球員跳躍的高度。如圖 4.15 中， 以 4.1 節所估計出之跳躍點作為球員的位置 P，而偵測出的跳躍部分中，垂直分 量最高的軌跡點為 ，此 座標點即為球員跳躍至頂點時，頭頂點 投影至身高 高度平面的位置座標。此外，攝影機的座標位置 C 在 2.2 節中已經介紹如何計算， 將攝影機的座標位置 C 投影到身高高度平面，即為 。因此，只要利用相似三 角型之關係，即可計算跳躍的高度 ，也就是圖中的紅色部分，如式 4.1。27 圖 4.15 計算跳躍高度 表 1 為圖 4.10 中五次跳躍的高度分析，在此段實驗影片中的人物都以差不 多的方式向上跳，可以看出計算出的跳躍高度也十分接近，其中垂直跳躍高度為 跳躍高度與人物身高相減，由於每個人的身高不盡相同，在球類運動中此數據更 能顯示球員跳躍的素質如何。 表 1 跳躍高度分析 跳躍高度 垂直跳躍高度 第一次跳躍 215.0cm 45.0cm 第二次跳躍 206.0cm 36.0cm 第三次跳躍 210.1cm 40.1cm 第四次跳躍 211.7cm 41.7cm 第五次跳躍 213.7cm 43.7cm 平均 211.3cm 41.3cm
4.3 頭部尺寸不變性之分析
在影像畫面中，我們知道當相同的一件物體靠近攝影機時，所佔的畫面面積 會比較大，反之遠離攝影機時，其畫面裡的面積會越來越小。經過前面的研究分 析結果，我們已經知道當人物跳躍時，所偵測到的軌跡會是一個“短時間內遠離 C 式(4.1)28 攝影機很長的距離後，又馬上回來原點”的情況，但是在影像裡人物的面積其實 並沒有多少改變，因此，我們希望透過影像中人物的特定部位面積之變化，探討 與軌跡的相關性。由於在影像裡的人物偵測上，計算頭部面積的大小比起計算整 個人的面積大小，少了很多影響的因素，例如人體側面和正面的面積大小就不一 定相同，但頭部的形狀以任何角度拍攝，都會大致呈橢圓型的形狀，因此在計算 面積大小上會比較可靠。 圖 4.16 頭部大小比較 圖 4.16 為頭部尺寸的比較圖，(a)為起跳前，(b)為起跳至最高點，從這裡可 以看到頭部大小並沒有太大的變化，因為人物只是在原地跳躍而已，並非來回移 動很長的距離。(c)與(b)的圖中，人物頭部頂點在身高平面中，所計算出的軌跡 點之垂直分量會相同，很明顯的這兩張圖中，人物的頭部大小並不一樣。 根據前面所觀察的結果，在影像中人物跳躍時，頭部尺寸之變化差異不大， 因此可以對 4.1 節中，所找出的跳躍部分之軌跡進行驗證：若有一段軌跡被標示 為跳躍的部分，其整段軌跡之相對應的影片中，如果人物的頭部面積均和起跳前 的面積相差甚小，就可以更確切的表示跳躍偵測的正確性。 我們拍攝了一段實驗影片，影片中的人物為遠離攝影機方向行走，並做兩次 跳躍，接著向攝影機方向走回來，而途中有蹲下一次，如圖 4.17 所示。在圖 4.18 裡，藍色線段為人物軌跡的垂直分量，紅色線段為同時間相對應的影像中人物頭 部尺寸大小，而在 frame234 之後的紅色曲線之所以不平滑，是因為人物正面時 膚色的判斷上較容易受雜訊干擾。如前面所敘述的，當藍色線段往上成長，也就 是人物移動方向遠離攝影機時，紅色線段就會向下遞減，也就是頭部尺寸越來越 (a) (b) (c)
29 小，此兩曲線之行走部分大致呈現反比的變化趨勢。其中箭頭處分別為兩次跳躍 和一次蹲下的部分，跳躍時人物頭部與攝影機的距離先遠離再轉近再遠離，而蹲 下則為先遠離再轉近。明顯發現雖然當跳躍或蹲下時軌跡所產生的劇烈變化，所 對應到的頭部尺寸變化是相對較小的，但是跳躍所造成的“W”變化趨勢，仍是 依稀可見的。 圖 4.17 一段實驗影片的若干畫面：上排影像為人物遠離攝影機並有兩次跳躍，下排為人物接近 攝影機並做一次蹲下的動作 圖 4.18 影像中頭部尺寸與軌跡垂直分量變化關係圖
30 我們將正常的移動軌跡（即非跳躍和蹲下的部分）的垂直分量位移與頭部尺 寸之間的關係，從 frame1 到 frame234，扣除掉跳躍的部分（frame30~68 與 frame129~177），再利用此關係計算各垂直分量的位移所對應的頭部尺寸，如圖 4.19 (a)中的綠色線段，再與實際偵測到的頭部尺寸做比較，即可發現在跳躍與 蹲下時，這兩條曲線有很大的差異，包括近乎反向的變化趨勢，如圖 4.19 (b)。 利用這個特性，只要兩條曲線的差值大於一定的定值時，就可以判斷軌跡為異常， 更進一步利用差值的正負關係，可以判斷人物的動作為跳躍或是蹲下。 圖 4.19 (a)綠色線段為利用正常軌跡與頭部尺寸之間的關係計算出來的頭部尺寸變化關係圖 (b) 實際頭部尺寸與計算出的頭部尺寸變化對照圖 以上述的研究結果，我們可以將頭部尺寸的不變性對於 4.1 節中所做的跳躍 偵測結果再次進行檢測，若偵測出有可能為跳躍但頭部尺寸變化偏大，表示可能 球員移動軌跡恰好與跳躍時特徵相似，可予以排除；相反的，若頭部尺寸變化範 圍小，則可以確認跳躍偵測的結果。不過此方法必頇建立在系統能很穩定的偵測 出整個頭部區域上，尤其在排球影片中，球員的肢體動作多，以及攝影機的解析 度可能不足等情況，上述方法都還有很多可以進行改善的部分。 (a) (b)
31
第五章
實驗結果
本研究之目的在於判斷球員的軌跡，偵測軌跡中跳躍的部分，而在本章節中， 我們進行實際影像畫面的實驗，以驗證本系統的可行性與正確性。拍攝實際場景 的影片中，場地為體育館內的排球場，而球員為排球校隊的選手，影片中球員進 行 2 對 2 的模擬比賽，由於比賽場地中人數較少，我們能假設球員不會遮蔽或交 會，使球員的頭部軌跡追蹤不易失誤。本實驗結果描述分為三小節，5.1 節為平 面投影轉換的設定，以及矩陣之計算結果；5.2 節中我們將軌跡追蹤的結果，與 手動標示的軌跡做比較，判斷其正確率；而 5.3 節為結合兩種跳躍偵測方法之實 驗結果，顯示軌跡中跳躍的偵測，並計算每次跳躍的高度。5.1 平面投影轉換
建立平面投影轉換需要四個平面之間的對應點，我們於球場上放置四個 100 公分高的標記竿，並且記錄其影像與球場上的對應座標資訊，如表 2 所示，經由 計算後取得影像平面對於球場平面以及球員身高平面的投影轉換矩陣，如表 3 所示。圖 5.1 為排球場影像以平面轉換矩陣轉換至身高平面的頂視圖，而後續軌 跡圖也都是以類似方式來呈現。 表 2 四組對應座標 標記竿於球場上 的座標(公分) 標記竿腳點在影 像上的座標(像素) 標記竿頂點在影 像上的座標(像素) (0, 0) (122, 231) (120,197) (0, 900) (7, 133) (5, 108) (900,605) (250, 118) (251, 94) (900, 900) (207, 101) (208, 79)32 表 3 影像平面對於球場平面與球員身高平面之平面投影轉換矩陣 地平面 球員身高平面(ex: 172cm) 0.00195934 -0.00166970 -0.24890451 -0.00251723 0.00179489 0.21594768 0.00368260 0.00096587 -0.96851711 -0.00493635 -0.00111365 0.97638689 -0.00000254 0.00000001 -0.00018608 0.00000371 -0.00000006 0.00026084 圖 5.1(a)為球場原始影像，(b)為轉換至地平面的俯視圖
5.2 頭部偵測
我們在建立好背景模型後，先對於第一張有切出前景的影像，手動標示要進 行追蹤的球員，並對後續影像進行自動頭部偵測。圖 5.2 與圖 5.3 分別為兩段影 片頭部偵測結果片段，圖 5.2 為影片 1 而圖 5.3 為影片 2，紅色框為各前景的輪 廓最高點所找出的頭部區域，而綠色框則為欲觀察的球員之輪廓最高點產生異常 時，修正過後的結果，由圖中可以看出圖 5.2 (c)和(d)的球員因為前景切割錯誤， 遺失球員頭部區塊，而圖 5.3 (b)、(c)和(d)左側球員則是與對場球員互相遮蔽， 使外接矩形範圍錯誤。經過 3.3.2 節的方法修正後，取得正確頭部區域位置，其 中我們可以注意到球衣的顏色也會影響結果，圖 5.2 球員為白色上衣，不會干擾 髮膚色的判斷，而圖 5.3 的球員穿黑色球衣，因為被判斷為髮色，導致修正過後 的頭頂點還是有些偏差。 (b) (a)33 圖 5.2 (a)~(f) 影片 1 球員頭部連續偵測結果，(c)和(d)中的綠框為修正過後的頭部頂點位置 圖 5.3 (a)~(f) 影片 2 球員頭部連續偵測結果，(b)~(d)中的綠框維修正過的頭部頂點位置，但因為 黑色衣服的干擾而使結果有些偏差 表 4 為兩段影片的球員頭部位置偵測正確率，其計算方法為比較影片中所標 示的頭部位置，是否與手動標示的頭部頂點距離在 10 個像素以內，由表格中可 以看出由 3.2 節所敘述之輪廓最高點偵測法，所偵測到的頭部位置正確率已經很 (a) (b) (c) (d) (e) (f) (a) (b) (c) (d) (e) (f) 球員 1 球員 2 球員 3 球員 4
34 高，再經由檢測及修正後，正確率還能提升一些。其中影片 2 的球員 3 之正確率 與其他三者為低，主要是因為此球員穿著黑色的球衣，在檢測時球衣區域易被當 作是髮色的區域，因此有很多頭部修正的結果是找到衣服的部分，使結果被影響 很多。 表 4 頭部位置正確率 影片 1 影片 2 球員 1 球員 2 球員 3 球員 4 正 確 率 頭部位置修正前 94% 97% 83% 97% 頭部位置修正後 94% 98% 85% 97% 圖 5.4 與手動標示之軌跡圖的比較，(a)為球員 1 的軌跡，(b)為球員 2 的軌跡 圖 5.4 為第二段比賽影片兩個球員的軌跡圖，其中紅色的線段為手動標示影 片中頭部頂點所獲得的軌跡，藍色的線段為偵測出來的球員軌跡，從圖中可以看 出頭部偵測的位置與手動標示的結果十分相近。右圖顯示出球員 2 的軌跡有一部 分是在對場的範圍內，而此部分就是因為跳躍所造成。 (a) (b)
35
5.3 跳躍分析
對於找到的軌跡，我們可以以 4.1.1 節的方法取其垂直分量，作為第一階段 的分析，再以 4.1.2 節的方法，對第一階段找出的跳躍軌跡做驗證。圖 5.5 由左 而右為圖 5.4(b)的軌跡圖中，球員 2 跳躍片段的實際影像。其整段軌跡分析如圖 5.6 所示，可在對應軌跡垂直座標的時間關係圖中找到一個符合跳躍波形“W”的 片段，因此確定此區段為跳躍部分，而將判斷為跳躍的部分軌跡消除後，連接跳 躍部分軌跡的起點及終點，就能得到球員完整的平面移動軌跡。圖 5.7 淡藍色線 段為消除跳躍部分後所連接的跳躍移動軌跡，紅色點為標示出的跳躍點，圖 5.8 為影片 2 的球員 2 之跳躍軌跡移除後的結果。由這兩張結果圖可以看出，跳躍軌 跡部份完整的被消除，並且跳躍點的標示位置也很正確。 圖 5.5 球員跳躍片段 圖 5.6 圖 5.4(b)所計算軌跡之垂直分量圖 (a) (b) (c)36 圖 5.7 圖 5.4(b)軌跡經移除跳躍部分軌跡，得到完整的平面移動軌跡局部放大結果 圖 5.8 (a)為圖 5.4(a)球員 1 的軌跡經移除跳躍部分軌跡，得到完整的平面移動軌跡局部放大結果， (b)為球員跳躍的影像片段 另外在影片二的球員 1 之軌跡，在進行跳躍偵測時出現失誤，如圖 5.9 所示， 偵測到跳躍的部分明顯有問題，由影片中觀察到，紅色圈出的部分為起跳前的助 跑軌跡，此球員邊助跑邊做跳躍前的準備動作，對應其軌跡垂直分量中 (圖 5.10) 可以觀察到，軌跡垂直部分呈現平滑向上的形勢，使應該被偵測到的真正跳躍的 部分 (藍色框部分) ，將紅色圈出部分也被判斷為“W”形狀之一部分，使偵測跳 (a) (b)
37 躍的結果產生失誤。 圖 5.9 跳躍判斷失誤，判斷出的跳躍部分過大 圖 5.10 僅觀察影像垂直分量造成之跳躍判斷失誤 對於前述問題，我們以 4.2 節所述，以“跳躍軌跡與消失點延伸線一致”的性 質做處理，計算連續兩個軌跡點與消失點連線之間的角度，若角度顯示趨近於平 行，又其單位時間內軌跡移動距離大於正常移動範圍 (在此設為 30 公分)，則將
38 此段軌跡標示出來。圖 5.11 為影片 2 之兩個球員的軌跡偵測結果，由圖中可以 看出，大部分被標記的軌跡都屬於跳躍的部分。不過也可以看出兩個錯誤的部分， 其一為跳躍的軌跡部分，在軌跡最突出的地方經常不會被判斷出來，這是因為人 跳至最高點時，速度已經接近 0，因此其移動的距離經過平面投影轉換至頂視平 面後，得到的移動量與正常移動軌跡相似。另外在非跳躍的軌跡部分，也有一些 被標示為跳躍，其原因正好與前者相反，人物可能正好在跑動，又剛好移動的方 向與消失點射出的延伸線一致所導致。 圖 5.11(a)、(b)為與消失點一致性的跳躍判斷結果 這兩個方法各有優缺點，垂直分量檢測能夠對於軌跡中，垂直座標變化量與 跳躍特徵明顯的部分，有很好的跳躍偵測效果，缺點是如果跳躍前或跳躍後的 “蹲下動作”如果不明顯，可能會使偵測出跳躍的範圍異常，如前面圖 5.9 的例 (a) (b)
39 子；在消失點延伸線一致性的判斷中，由於人物跳躍時通常會與地面垂直，造成 跳躍部份經平面投影轉換後得到的軌跡，其變化的方向幾乎會與消失點延伸線一 致，因此很容易就可以找到大部分的跳躍軌跡，但如同前一段所敘述的，跳躍至 頂點時的軌跡不易偵測出來，而非跳躍時也可能產生誤判。我們試著結合這兩種 方法各自的優點，互相彌補偵測結果產生的失誤。如圖 5.12 即為利用圖 5.10 的 垂直分量檢測法的結果，將其找到的跳躍部分，與圖 5.11(a)偵測到與消失點延伸 線一致的部分配合，若以垂直分量方法找出的整段跳躍之移動距離超過 5 公尺 （圖 5.9 的淡藍色線段），則將此跳躍部分軌跡再以與消失點延伸線一致的方法 檢查，扣除掉移動角度不一致的部分，找到真正的跳躍片段 (圖 5.12 中淡藍色線 段)。 圖 5.12 (a)結合垂直分量的檢測與消失點延伸線一致性的結果，(b)球員跳躍的影像片段 接下來我們列出另外 8 個實驗影片之結果，其中有 5 個影片中的球員軌跡被 完整的偵測出跳躍的部分，分別如圖 5.13 至圖 5.17 所示，而圖 5.17 的垂直分量 找出來的跳躍結果過長，超過五公尺，因此再配合消失點一致性的方式找出正確 (a) (b)
40 的跳躍軌跡。而剩下 3 個影片則各自因為不同原因而使跳躍結果無法偵測出來， 分別由圖 5.18 至圖 5.20 說明，圖 5.18 與圖 5.19 的球員在跳躍時，因為手部的區 塊距離頭部很近，並且位置比頭部區域高，影響輪廓最高點之偵測；而圖 5.20 的球員則因為頭部與對場球員的褲子互相遮蔽，顏色也一樣，造成位置修正時被 嚴重干擾，進而造成追蹤結果錯誤。 圖 5.13 (a)原始偵測軌跡與實際移動軌跡，(b)球員跳躍的影像片段 圖 5.14 (a)原始偵測軌跡與實際移動軌跡，(b)球員跳躍的影像片段 (a) (b) (a) (b)
41 圖 5.15 (a)原始偵測軌跡與實際移動軌跡，(b)球員跳躍的影像片段 圖 5.16 (a)原始偵測軌跡與實際移動軌跡，(b)球員跳躍的影像片段 圖 5.17 (a)左圖為原始偵測軌跡，中圖為垂直分量分析跳躍判斷錯誤，右圖為經消失點一致性分 析後的實際移動軌跡，綠色軌跡為經過檢查後判定為原正常移動軌跡，(b)球員跳躍的影像片段 (a) (b) (a) (b) (a) (b)
42 圖 5.18 (a)原始偵測軌跡，(b)為球員跳躍片段，由於手部與頭部區塊接近使跳躍偵測錯誤 圖 5.19 (a)原始偵測軌跡，(b)為球員跳躍片段，由於手部與頭部區塊接近使跳躍偵測錯誤 圖 5.20 (a)原始偵測軌跡，由圖中描繪的半場綠色框可以看出，整個軌跡偵測已經錯誤的連接到 對場球員，(b)為球員跳躍片段，由於追蹤的球員頭部與對場球員褲子顏色相近又重疊，使軌跡 偵測錯誤 (b) (a) (a) (b) (a) (b)
43 對於取得的軌跡中之跳躍部分，以跳躍至頂點時影像上的頭頂點，經過投影 轉換到身高平面上進行計算，估計出球員在比賽中跳躍的高度資訊。在 4.3 節的 實驗影片中，人物只做普通的跳躍，而其跳躍資訊已經呈現在該章節中。而表 5 為實際排球比賽影片中，球員跳躍的高度資訊。此跳躍高度是透過估算出的攝 影機空間位置，以及偵測出的球員跳躍部分進行計算，由於此場景的攝影機與球 場位置距離很長（超過十公尺），因此從攝影機的位置估算直到跳躍高度的計算 上，誤差不斷被放大，造成跳躍高度有些超出正常範圍，因此如何精確的計算出 跳躍高度也是往後值得討論得一個重點。 表 5 球員跳躍高度 跳躍高度 垂直跳躍高度 圖 5.7 的跳躍 279.3cm 109.3cm 圖 5.8 的跳躍 259.9cm 89.9cm 圖 5.12 的跳躍 241.8cm 71.8cm 圖 5.13 的跳躍 255.7 cm 85.7 cm 圖 5.14 的跳躍 246.3 cm 76.3 cm 圖 5.15 的跳躍 248.1 cm 78.1 cm 圖 5.16 的跳躍 241.9 cm 71.9 cm 圖 5.17 的跳躍 249.9 cm 79.9 cm
44
第六章 結論與未來工作
本篇論文中，我們經由建立背景模型和擷取前景區域後，偵測屬於球員的頭 部資訊，再透過平面投影轉換矩陣，建構出比賽中球員在身高平面上的移動軌跡， 接著對於軌跡的部分進行分析，判斷出軌跡中屬於移動或是跳躍的部分。本論文 主要的貢獻為判斷出屬於跳躍部分的軌跡，並且消除掉因跳躍造成的軌跡異常。 從實驗結果來看，球員的移動軌跡中，屬於跳躍的部分都能被偵測出來，在消除 掉跳躍的部分後，即能提供完整的軌跡，並且可以在軌跡上標示的跳躍位置。同 時我們也計算球員跳躍的高度，提供使用者更多能參考的資訊。 為了增進本系統的強健性，有一些未來工作值得更進一步的探討。由於運動 員的姿態十分豐富，在頭部偵測上會受到很多因素的干擾，因此頭部區域的偵測 上需要更精準的量測方式。而在本篇論文的 4.3 節中，提到影像中對於跳躍時的 頭部尺寸不變性，如果能夠精準的得知頭部尺寸大小，則在跳躍分析上將會是一 個很有力的檢測方式，這會使我們的系統正確率更為提升。另外在人物的追蹤上 也需要很穩定的系統，不同於足球的室外場地，足球球員在場地上的分布比較鬆 散，有許多方式檢定追蹤結果，而實際的排球場地為九平方公尺，比賽球員有六 個，在密度高且活動方式複雜的區域裡，對全員進行追蹤有一定的難度。如果能 夠對於以上未來工作進行更深入的研究，將使本系統有更完善的資訊來進行更完 整的軌跡分析。45
參考文獻
[1] M. Li, S. Yang, and X.-W. Li, “A Head Detection Method Based on Curvature Scale Space,” IEEE Intelligent Information Technology Application Workshops, pp. 390-393, 2009.
[2] S. Birchfield, “Elliptical Head Tracking Using Intensity Gradients and Color Histograms,” IEEE Conference on Computer Vision and Pattern Recognition, pp. 232-237, 1998.
[3] Z. Zhang, H. Gunes, and M. Piccardi, “An Accurate Algorithm for Head Detection Based on XYZ and HSV Hair and Skin color Models,” IEEE
International Conference on Image Processing, pp. 1644-1647, 2008.
[4] Y. Ishii, H. Hongo, K. Yamamoto, and Y. Niwa, “Face and Head Detection for a Real-Time Surveillance System,” IEEE International Conference on Pattern
Recognition, Vol. 3, pp. 298-301, 2004
[5] T. Matsuyama, and N. Ukita, “Stable Multi-Target Tracking in Real-Time Surveillance Video,” Proceedings of the IEEE, Vol. 90, No. 7, pp. 1136-1150, 2002.
[6] P. J. Figueroa, N J. Leite, and R. Barros, “Tracking Soccer Players Aiming Their Kinematical Motion Analysis,” Computer Vision and Image Understanding, Vol. 101, No. 2, pp. 122-135, 2006.
[7] A. Alahi, Y. Boursier, L. Jacques, and P. Vandergheynst, “Sport Players Detection and Tracking with a Mixed Network of Planar and Omnidirectional Cameras,”
IEEE International Conference on Distributed Smart Cameras, pp. 1-8, 2009.
[8] C. J. Needham, and R. D. Boyle, “Tracking Multiple Sports Players Through Occlusion, Congestion and Scale,” Research Report Series - University of Leeds School of Computer Studies LU SCS RR, 2001.
46
[9] M. Thomas, C. Koch, M. Tilp, and B. Horst, “Visual Tracking of Athletes in Beach Volleyball Using a Single Camera,” International Journal of Computer
Science in Sport, Vol. 6, pp. 21-34, 2007.
[10] J.Liu, X.-F. Tong, W.-L. Li, T. Wang, Y.-M. Zhang, and H.-Q. Wang, “Automatic Player Detection, Labeling and Tracking in Broadcast Soccer Video,” Pattern
Recognition Letters, Vol. 30, No. 2, pp. 103-113, 2009
[11] S.-M. Chang, “An Study on Image-based Crowd Detection and Estimation,”
