以視訊為基礎之球場異常活動偵測
王順吉* 謝長愷 翁志嘉 國防大學理工學院資訊科學系 [email protected] 婁德權 長庚大學資訊工程學系 江清泉 銘傳大學資訊傳播工程學系 摘要 -- 本文提出以視訊為基礎之球場異常活動偵測 之方法，用以偵測騎腳踏車、溜直排輪等會破壞場地設備 之不當活動。方法主要分異常活動分析與異常活動偵測兩 大流程，異常活動分析之流程主要利用背景去除法偵測出 移動物件，再將物件正規化，最後利用連續之正規化移動 物件，建立異常行為之雙腳角度變化曲線。異常活動偵測 流程，主要判斷雙腳角度變化曲線，藉以判斷是否發生異 常行為。經由實驗證明本文所提之方法能適時自動偵測出 球場上之異常行為，並予以制止，改善傳統以人眼隨時監 看多部攝影機遺漏重要異常行為之缺失，能更有效的保護 球場設施，避免遭受破壞。 關鍵詞 -- 視訊監控、異常活動偵測、骨架模板一、 前言
隨著視訊監控設備之普及，電腦運算能力 增強以及記憶體、儲存裝置容量大幅提升，傳 統類比式以錄影帶方式記錄之監控設備，已漸 漸被數位化之視訊監控系統所取代。目前絕大 部分視訊監控設備均是以錄影為主要功能，其 主要缺點在於無法即時避免重大事件之發生， 僅能記錄當時之情境，當傷害或損失已造成 後，才調閱相關錄影檔並以人工方式瀏覽，找 出事件發生之真相。即使事後能釐清相關責 任，但卻無法彌補已造成之人員傷害或財物損 失。為了能即時偵測重大事件之發生，以避免 或降低人員傷害及財物損失，因此智慧型視訊 監控系統因應而生。 智慧型監控系統主要運用影像處理和圖型 識別相關技術，偵測與追蹤移動物件進而分析 視訊內容，以偵測出異常行為或事件。火警偵 測系統主要利用火焰顏色及火焰形狀變動之特 徵，以早期即時偵測出具危險性之火焰[1, 2, 3]。智慧型道路監控系統利用顏色、紋理以及形 狀來偵測與追蹤車輛， 進而達到監控道路交通 流量之目的[4]。車牌與速限標誌的偵測與辨 識，主要是利用數字與英文字母的形狀特徵， 並且利用Adaboosting 的訓練方式針對不同的特 徵，例如邊緣特徵、直線特徵以及圓心環繞等 特徵，設計各種不同的遮罩(Mask)，達到快速準 確的偵測與辨識[5]。停車場異常車輛的偵測， 可以透過多樣特徵如軌跡、移動速率、移動方 向等，將上述特徵投射到多維空間作特徵整合 產生日後判斷的依據[6]。棒球事件為基礎的棒 球場景分類方法，是依據球場及球隊球衣之顏 色特徵，從影片中分辨出球員及球場的畫面， 記錄球員的動作進而分析比賽的內容[7]。人臉 追蹤與辨識相關運用，主要是利用人臉膚色以 及眼睛、鼻子和嘴巴之特徵，以持續偵測與追 蹤人臉，作為重大事件發生與否判斷之依據 [8]。移動物件偵測與追蹤主要是利用物件的位 置、形狀以及顏色之變動，來當作偵測物件並 且持續追蹤的依據 [9]。人類身體姿勢的分析有 一類是利用輪廓特徵，與資料庫中的模板進行 比對，做為行為種類的判別依據[10]；另一種人 類行為的分析可以利用輪廓萃取得到頭、手、 軀幹、腳等部位，估算身體各部位的結構判斷 人體姿勢[11]。異常事件的分析也可以透過多台 攝影機的合作取得多角度的特徵，但每一台所 取得的物件特徵如大小、角度、 顏色都會有輕 微的不同，藉由轉換上述特徵到另外的維度空 間，再利用分群法區分行為種類[12]。以上相關 應用，大部份均與人類生命或周遭設備相關 連，故分析人類行為相關之研究與日俱增。 近年來由於運動風氣之流行，各項運動設 施、場地也漸漸普及，例如籃球場、網球場、 排球場、田徑場等場地隨處可見。有些造價較 昂貴的場地，除了正常的運動外，通常不允許 場地內有特殊的活動，以免破壞場地的設施。 例如草地、紅土、以及PU 材質之球場或田徑場 之跑道，禁止溜直排輪、騎腳踏車、溜滑板車 等行為，以免破壞場地。為了維護這些場地、 設施， 通常必須有專責人員隨時監看，以適時制止這些行為，不僅浪費人力， 而且效果不 佳。即使這些場地裝置監視設備，一個警衛通 常要監看數十支監視器， 難免有疏漏之處。為 了更有效率管理球場，故必須要有智慧型之球 場監視系統， 以偵測異常行為或異常事件。目 前並沒有直接針對球場溜直排輪、溜滑板以及 騎腳踏車等行為偵測相關之研究與應用。上述 這類異常行為，其外觀、姿勢具有明顯不同於 一般走路或跑步之行為。例如有輪子在地面上 滾動、一腳站立一腳助行加速、兩腳站立快速 滑行、兩腳交叉加速滑行、以及快慢速度交替 變換等行為特徵。 綜整分析一般事件偵測(Event Detection)之 方法，可歸納分為分析與偵測兩大流程。分析 流程主要在於分析異常行為或活動，並建立異 常事件或行為之模板(Template)或特徵值；偵測 流程主要在於利用模板或特徵值之比對，以確 認是否發生異常行為。模板或特徵值之建立， 必須克服複雜之背景，以及不同光源下之影 響，正確將移動物件從背景中分離出來，並找 出適當之視訊框，以及物件連續移動之特徵 值，藉以建立事件模板或特徵值。模板或特徵 值之比對，必須針對不同的應用，找出適當之 比對特徵，以提高事件偵測之正確率。 尤其在戶外的環境，為了能正確偵測出球 場溜直排輪、溜滑板、以及騎腳踏車等行為， 更必須避免複雜背景之影響，例如樹影晃動、 噴泉，以及不同光源之影響，例如早晨、中午、 黃昏、晴天、陰天、雨天等。甚至是若物體發 生交疊(Occlusion)及分離時，更增加事件偵測之 困難度。 本論文提出以視訊為基礎具智慧型之球場 異常行為偵測之方法 ，能避免複雜背景以及不 同光源之影響，即時且正確偵測出溜直排輪、 溜滑板、以及騎腳踏車等異常行為，當場並予 以制止。本文所提之方法，不僅能節省人力， 避免人為疏漏，且能更有效且適時地維護場地 避免遭受人為破壞，節省場地維修費用。
二、 球場異常活動偵測方法
本文利用萃取人類兩腳夾角角度變化曲 線，提出具偵測球場異常活動之方法。本文所 提之方法，除了能適時且正確偵測出異常活動 外，最大特色在於不需要建立模板，以及耗時 的模板比對方法。主要內容分為異常活動分析 以及異常活動偵測二部份，茲分述如后。 2.1 異常活動分析 異常活動分析流程如圖 1 所示，其主要目 的在於分析球場各種異常活動之視訊，藉以萃 取異常活動之特徵值。可分為色彩空間轉換、 移動物件偵測、物件正規化、輪廓萃取以及角 度萃取等步驟，分別敘述如后： 圖1 異常活動分析流程 z 色彩空間轉換 為了能快速偵測出移動件，降低計算維 度，因此將輸入的彩色(RGB)視訊轉換成灰階 (gray)視訊，提供給後續移動物件偵測所使用， 採取的轉換方式如公式(1)所示[15]， I=0.299*R+0.5870*G+0.1140*B (1) 其中R、G 以及 B 分別為輸入視訊串每一像素點 的三個參數，經過上式的組合後由I 取代之，往 後的計算都將以灰階值I 運算。 z 移動物件偵測此 步 驟 主 要 目 的 在 於 正 確 偵 測 出 移 動 物 件，本文採用Jacques[13]所提出之背景去除法， 此方法主要利用連續的z張視訊框Vz(i,j)，產生一 個供比對用的背景模型B(i,j)，如公式(1)所示， ⎪ ⎪ ⎭ ⎪⎪ ⎬ ⎫ ⎪ ⎪ ⎩ ⎪⎪ ⎨ ⎧ − = ⎪ ⎭ ⎪ ⎬ ⎫ ⎪ ⎩ ⎪ ⎨ ⎧ = ) j i, ( V ) j i, ( V max ) j i, ( V max ) j i, ( V min j) d(i, j) n(i, j) m(i, j) B(i, 1 -z z z z (2) 其中m(i,j)代表Vz(i,j)之最小灰階值，n(i,j)代表 Vz(i,j)之最大灰階值，d(i,j)代表相鄰視訊框 Vz-1(i,j)、Vz(i,j)間之最大灰階差異值。輸入的視 訊框It(i,j)經由比對B(i,j)，即可依據公式(2)將背 景與前景分離。像素比對如果符合公式(2)則視 為背景像素，否則則為前景像素。 It(i,j)-m(i,j)≤ kμ or It(i,j)-n(i,j) ≤ kμ (3) 其中μ是d(i,j)值排序後之中位數(median)。完成 了上述的前景物偵測後可得到移動物件，但此 移動物件包含了大量的陰影，對於往後的分析 容易產生誤差，因此需加入陰影的判別，如公 式(3)所示，符合判斷式則視為陰影。 1 < ≤ < ) λ(x,y) (x,y) I ( and L L ) λ(x,y) (x,y) N ( stdR t std low t (4) 其中Nt (x,y)是以(x,y)為中心的n*n矩陣，λ(x,y)則 是 連 續 的z 張 視 訊 框 Vz在(x,y) 的 中 位 數 ， 而 stdR(Nt(x,y)/ λ(x,y))則是對覆蓋於(x,y)為中心的 Nt(x,y)/ λ(x,y)矩陣求標準差，根據Jacques[14]的 實驗分析Lstd及Llow分別設定為0.05 及 0.5。 此方法可以有效的去除陰影。經過背景去除 法之偵測，可看出此方法容易受光源及物件反 射之影響，產生許多小光點影響無法正確偵測 出移動物件，如圖2(b)所示。必須再經過陰影去 除法的處理，即可將陰影去除，如圖2(c)，但依 然 有 微 小 的 雜 訊 出 現 。 接 著 利 用 連 接 物 件 (Connected Component)方法，將較小的物件視為 雜訊去除。本文所使用連接矩陣為一八方向鄰 邊偵測(8-Connected Neighborhood)，分別是正 左、左上、正上、右上、正右、右下、正下以 及左下八個方向。藉由上述的方式可以估算每 一個區塊所涵蓋的面積，並去除面積為μ個像 素點以下的雜訊，最後可以得到一完整移動物 件，如圖 2(d)所示。根據實驗測試結果分析得 知，遠距離之移動物件所包含的像素點大概落 在 600~700 個像素點之間，因此本文將μ值設 定為500，像素點個數為 500 以下的物件視為雜 訊去除。 (a) (b) (c)
(d) 圖2 移動物件偵測(a)原始視訊(b)去除背景後之視訊(c)去除陰影後之視訊(d)連接物件之視訊 z 輪廓萃取 此步驟主要目的是將經過背景去除與光影 處理後的移動物件，以一矩形的方式取出，並 萃取其特徵值供後續分析，此矩形的大小是由 移動物件的最上、最下、最左及最右四個點所 組成，以上述的大小將物件取出。接著萃取移 動物件之輪廓，再利用移動物件中心點到輪廓 上的距離求得下肢角度。本文採用型態學影像 處理侵蝕之技術來達到目的，萃取輪廓使用的 結構矩陣為矩形結構，原始影像的每一點經過 結構矩陣的判斷，如果符合結構矩陣的八個方 向則侵蝕為一點，其餘的都去除即可獲得侵蝕 後的物件，如圖3(a)所示。最後再將原始影像減 去侵蝕後的影像即可得到移動物件的輪廓，如 圖3(b)所示。 (a) (b) 圖3 輪廓萃取(a)經過侵蝕之物件(b)輪廓萃取 z 角度萃取 此步驟目的是擷取下肢所產生的角度，進 而分析角度的週期變化來判斷行為種類，本文 利用Fujiyoshi[14]所提之星狀骨架概念，來萃取 角度。此方法主要利用輪廓影像中心點到輪廓 上各點的距離轉換得到曲線圖，分析曲線圖上 的波峰值進而得到星狀骨架。從輪廓上的某點 當作起始點，此點必須滿足位於中心點正上方 的條件，並且以逆時鐘的方向估算輪廓上的點 到中心點的距離。接著將曲線轉換到傅利葉空
間(fourier domain) 經 過 低 通 濾 波 器 (low pass
filter)作用後可得到一平滑曲線。 本文之實驗過程分為以下四個主要步驟： 步驟一：將輪廓細線化，以取得最外圍輪廓n個 像素點，Pi(x,y)，其中i之值為 1 到 n。 並利用此n個輪廓像素點，計算中心點 P(x,y)，處理結果如圖 4(a)所示。 步驟二：以移動物件最上方的點當作起始點， 逆時鐘方向開始計算中心點到輪廓點 之距離，透過上述的距離計算可得到 距離曲線，如圖4(b) 所示。 步驟三：此曲線包含許多雜訊，對於下肢的萃 取易產生誤差。為了去除雜訊，使用 線 性 平 滑 濾 波 器(Linear Smoothing Filter)使曲線達到平滑的效果，所使用 的遮罩是1/3[1 1 1]，經過線性濾波器 的作用後可得到較平滑的曲線，如圖 4(c)所示。其中橫座標為連續視訊框， 縱座標為下肢夾角之角度。 步驟四：分析波鋒相對應的位置並選取最左下 方 及 最 右 下 方 的 兩 點 當 作 左 右 腳 支 點，以這兩條直線代表移動物件之下 肢，θ 代表下肢的夾角，如圖 4(d)所示， 並分析整體視訊之角度變化曲線。
(a) (b) (c) (d) 圖4 角度萃取(a)輪廓中心點(b)距離曲線(c)平滑距離曲線(d)下肢角度 經過上述的角度萃取過程可得到下肢的角 度，收集一連串移動物件下肢角度型成一變化 曲線，而球場上的行為是有週期性的，例如走 路、跑步、溜直排輪、溜滑板以及騎腳踏車。 跑步、走路以及直排輪兩腳交叉加速滑行的週 期是很類似的，都是以連續的波峰出現，差別 在於完成一個波峰所需的時間，跑步跟溜直排 輪的週期相似度高不易分辨，容易因速度上的 類似導致不同行為有相似的角度週期最後產生 誤判，如圖5(a)(b)(c)所示。 (a) (b) (c) (d) (e) 圖5 角度變化曲線(a)走路(b)跑步(c)直排輪(d)直排輪(e)腳踏車 觀察後發現本文所定義的異常活動，直排 輪在連續跨步後通常會接著雙腳站立姿的滑 行，使得角度變化趨於平坦；腳踏車的角度則 是普遍偏大但也是趨於平緩；溜滑板車也是在 連續跨步加速後，經常會出現站在踏板上滑行 的姿勢，使得下肢角度變化趨於平坦，如圖 5(d)(e)所示。(c)、(d)同為溜直排輪，但差別在 於(d)之內容包含雙腳站立滑行動作，而且此動 作在一段時間後必然會發生。因此本文打算偵 測下肢角度週期出現平坦曲線當作判斷異常活 動的依據，一旦平坦曲線出現即代表異常活動 的出現。 2.2 異常活動偵測 異常活動偵測流程如圖 6 所示，其主要目 的在於偵測輸入視訊所產生的角變化曲線是否 發生一段連續平坦的角度變化曲線。其中移動 物件偵測、物件正規化、輪廓萃取以及角度萃 取如 2.1 節所述，平坦曲線偵測步驟則敘述如 后： z 平坦曲線偵測 此步驟主要是分析輸入視訊中移動物件所 產生的角度特徵，判斷是否出現我們所定義異 常活動會出現平坦曲線的角度週期。當移動物 件進入監視範圍內活動時，監控系統會持續記 錄移動物件所產生的下肢角度，分析角度的週 期特徵。當直排輪活動以兩腳交叉滑行或滑板 以一腳站立另一腳助行加速時，角度曲線會是 以連續波峰的方式出現，其特徵和走路以及跑 步相似且不易分辨。經過觀察後發現直排輪以 及滑板活動在一連續加速後常會出現雙腳站立 滑行的狀態，如圖7(a)所示。這類滑行使得角度 曲線呈現平緩震盪的情況，此時下肢夾角θ約
30°左右，如圖 7(b)所示。腳踏車則是因為外型 固定使得角度也是以平緩震盪的方式出現，如 圖8 所示，其中θ約 110°左右。平坦曲線的特徵 不像規律性連續波峰，僅以平緩的方式在固定 的角度微微震盪。且經由實驗觀察，發現站立 滑行之動作至少會持續 1 秒以上，也就是角度 變化之平緩曲線約會持續 20 至 30 個視訊框。 因此本文設計了一個演算法用來偵測此平坦曲 線的出現。 圖6 異常活動偵測流程 (a) (b) 圖7 溜直排輪站立滑行(a)原始影像(b)角度計算 (a) (b) 圖8 騎腳踏車活動(a)原始影像(b)角度計算 平坦曲線偵測演算法： min=360，max=0，count=0. a(i):the angles of legs.
α:a threshold to show that a(i) closed to min. γ:a threshold to show that abnormal activity accumulated enough capacity.
1. for(i=1:LastFrame) 2. % update min and max 3. if a(i)<min 4. min==a(i); 5. elseif a(i)>max 6. max==a(i); 7. End
8. % estimate the appearance of the smooth curve
9. if |a(i)-min|<=α 10. count=count+1;
11. if (min doesn’t update and max still update more than β times) or (max doesn’t update and min still update more than β times)
12. count=0; 13. end
14. end
15. if count>=γ
16. there exist an abnormal activity; 17. end
18. end
演算法所使用到的參數有最小值(min)、最 大值(max)以及計數(count)，一開始先給定 min、 max 以及 count 初始值 0，a(i)為輸入視訊串所偵
測到移動物件的下肢角度，i 從 1 到 LastFrame。 經過我們的觀察後發現平坦曲線是以一小震盪 的方式出現，其出現的值絕大部分都在最小值 附近上下跳動，如圖 10 的第 28 個視訊框到第 68 個視訊框的情形，因此我們設計了 count 這個 參數來表示這些類似值出現的頻率，判斷方式 為|a(i)-min|<=α，換句話說輸入角度與最小角度 之絕對值差距小於一門檻值α，就代表兩個值很 接近且平坦曲線可能出現了，此時我們就將 count 累加一，而 count 值持續累加到 γ 時，代 表平坦曲線已出現一定頻率了，我們將判定異 常活動的出現。攝影機以 25~30fps 的速度拍 攝，因此我們將 γ 值設定為 25，也就是說當滑 行時間將近一秒時即判斷為異常活動的出現。 根據實驗的觀察後發現平緩曲線附近的資料大
多距離最小值30 左右，所以將 α 設定為 30，只 要輸入角度與最小值之絕對值的差距小於 α 都 視為類似的資料出現。 上述的判斷方式在交叉滑行所產生的波峰 時會發生誤判，如圖 9 的第 13 至第 15 張視訊 框。由於輸入角度很接近min，造成 count 被錯 誤的累加，但此時並沒有平坦曲線的出現，因 此設計了一個判斷條件，當 min 不更新但 max 持續更新超過 β 次或 max 不更新但 min 持續更 新超過β 次，即代表 count 因輸入角度近似 min 而累加的誤判現象，此現象如果超過β 次 count 值將會被歸零，確保count 累加值得正確性。實 驗觀察輸入角度與 min 值過於接近所造成的 count 錯誤累加，經過上述條件判斷後需被歸 零，經過大量實驗結果後得到β 值設定為 10 即 可以清除這些錯誤累加。 圖9 直排輪角度曲線圖
三、 實驗結果與分析
3.1 實驗環境 實驗環境分述如下： z 個 人 電 腦 : CPU-Intel Pentium(R) 3.0GHz ， RAM=3.0GB ， Hard Disk=200GB。 z 作業系統：Win XP Professional。 z 開發工具：MATLAB 2008b。 z 拍攝工具: SONY HANDYCAM DCR-HC 1000。 3.2 實驗結果分析 由於球場上移動物件與攝影機之間有距離 遠近與不同移動方向之關係，為了驗證本文所 提方法之準確度與適應性，故提出三項實驗， 主要依據移動物件距離攝影機之距離，以及與 水平移動之角度變化。距離概分為近距離、中 距離、以及遠距離；角度變化概分為水平移動、 斜三十度角、以及斜六十度角移動。視訊大小 統一為320*240 像素。 實驗一：一般異常活動偵測 本實驗所謂一般活動偵測乃是指移動物件 距離攝影機約十二公尺之一般中距離，並以水 平方向移動，如圖10 所示。 圖10 一般異常活動偵測 實驗結果如表1 所示，共測試了十段影片， 每段影片各包含了正常活動與異常活動，如內 容描述。異常活動發生視訊框是以移動物件完 整進入攝影範圍開始估算。其中第一及第四段 影片雖然包含了溜直排輪以及溜滑板等異常活 動，但其活動方式均是以雙腳交叉滑行的姿勢 出現，其角度變化曲線並沒有平緩區段出現， 故本文之方法將偵測不到此異常活動。同理， 第六段影片第 1 至 191 視訊框之溜直排輪，以 及第八段影片第 305 至 662 視訊框之溜滑板車 等異常活動，也因為沒有出現平緩角度變化曲 線，故未被偵測到有異常活動。因本文偵測之 異常活動並不會即時造成人員傷亡或財物損 失，故只要一旦發生雙腳站立滑行之姿勢，本 文所提之方法均可正確偵測到此異常活動。而 且溜直排輪與溜滑板之異常活動，一定會出現雙腳站立滑行之姿勢。因此，本文所提之方法 可在一段時間內適時且正確偵測到異常活動。 表1 一般異常活動偵測結果 視訊 影片長度 異常活動發生視訊框 (雙腳站立滑行姿勢) 本文方法偵測結果 內容描述 1 769 400~590 (無) 無 走路、直排輪以及跑步 2 809 400~630 (423~463) 451~463 走路、直排輪以及跑步 3 882 400~703 (415~703) 439~703 走路、腳踏車以及跑步 4 936 400~757 (無) 無 走路、滑板以及跑步 5 799 400~620 (400~490) 424~490 走路、滑板以及跑步 6 495 1~191,192~495 (無)，(192~495) 216~495 直排輪以及腳踏車 7 535 1~178,179~535 (13~50)(179~535) 37~50,218~535 直排輪以及腳踏車 8 662 1~304,305~662 (24~304)，(無) 24~304 腳踏車以及滑板 9 525 1~178,179~525 (1~95)，(179~525) 40~95,218~525 滑板以及腳踏車 10 452 1~358,359~452 (13~358)，(375~452) 43~358,399~452 滑板以及直排輪 實驗二：對於不同距離異常活動偵測 z 近距離測試：本實驗所謂近距離活動偵測 乃是指移動物件距離攝影機約三公尺之近 距離，並以水平方向移動，如圖11所示。 圖11 近距離異常活動偵測 實驗結果如表 2 所示，共測試了五段影片，每 段影片各包含了正常活動與異常活動，而異常 活動發生視訊框是以移動物件完整進入攝影範 圍開始估算。第一至五段影片根據本文所提之 方法均可適時且正確偵測到異常活動。
表2 近距離異常活動偵測結果 視訊 影片長度 異常活動發生視訊框 (雙腳站立滑行姿勢) 本文方法偵測結果 內容描述 1 540 1~182,183~540 (2~45)，(208~252) 25~45,232~252 直排輪以及滑板 2 954 1~358,359~954 (20~87)，(383~900) 50~87,383~900 滑板以及腳踏車 3 231 1~154,155~231 (1~154)，(163~207) 25~154,193~207 腳踏車以及直排輪 4 757 400~757 (415~450) 449~450 走路以及滑板 5 256 180~256 (179~224) 204~224 跑步以及直排輪 z 遠距離測試：本實驗所謂遠距離活動偵測 乃是指移動物件距離攝影機約十八公尺之 近距離，並以水平方向移動，如圖12所示。 圖12 遠距離異常活動偵測 遠距離實驗測試了五段影片，實驗結果如表 3 所示。第四及第五段影片是由正常活動接續異 常活動，均能在異常活動出現時偵測到。第一 至第三段影片是由兩連續異常活動組成，也都 能在異常活動出現時適時發出警訊。 表3 遠距離異常活動偵測結果 視訊 影片長度 異常活動發生視訊框 (雙腳站立滑行姿勢) 本文方法偵測結果 內容描述 1 822 1~322,323~822 (1~66,103~192,175~21 8)，(323~371,408~464) 25~66,127~192,205~218, 347~371,438~464 直排輪以及滑板 2 822 1~500,501~822 (1~60)，(501~789) 25~59,525~789 滑板以及腳踏車 3 414 1~221,222~414 (1~221)，(222~262) 25~221,246~262 腳踏車以及直排輪 4 899 400~899 (400~459、485~579) 424~459,509~579 走路以及滑板 5 501 180~501 (180~249、280~354) 204~249,305~354 跑步以及直排輪 實驗三：對於不同角度異常活動偵測 此實驗針對移動物件所行進的路線與與水 平線呈三十以及六十度做測試，測試系統對非 平行移動的物件之偵測準確度。 z 斜三十度角偵測：所謂斜三十度偵測乃是 指移動物件行進方向與水平線呈三十度夾
角，如圖13所示。 圖13 三十度異常活動偵測 斜三十度角的實驗測試了五段影片，實驗結果 如表 4 所示。第四及第五是由正常動作與異常 動作組合而成，系統能在發生異常動作後正確 發出警訊。第一至第三段影片則皆為異常活動 的相繼出現，系統也能正確的判斷出異常活動 的出現。 表4 三十度異常活動偵測結果 視訊 影片長度 異常活動發生視訊框 (雙腳站立滑行姿勢) 本文方法偵測結果 內容描述 1 546 1~203,204~546 (41~75)， (204~262,484~546) 65~75,228~262,511~546 直排輪以及滑板 2 320 1~166,167~320 (40~88)，(167~320) 65~88,191~320 滑板以及腳踏車 3 708 1~596,597~708 (1~596)，(613~657) 37~596,637~657 腳踏車以及直排輪 4 742 400~742 (541~654) 565~654 走路以及滑板 5 382 180~382 (190~248) 214~248 跑步以及直排輪 z 斜六十度角偵測：所謂斜六十度偵測乃是 指移動物件行進方向與水平線呈六十度夾 角，如圖14所示。 圖14 六十度異常活動偵測 與水平線夾角六十度的實驗測試了五段影片， 實驗結果如表 5 所示。第一至第三段影片則皆 為異常活動的相繼出現，系統能正確的判斷出 異常活動的出現。第四及第五段影片是由正常 動作與異常動作組合而成，系統能在發生異常 動作後正確發出警訊。
表5 六十度異常活動偵測結果 視訊 影片長度 異常活動發生視訊框 (雙腳站立滑行姿勢) 本文方法偵測結果 內容描述 1 2088 1~991，992~2088 (70~247)，(1170~1243， 1374~1437) 97~247，1207~1243，1398~1437 直排輪以及滑板 2 1173 1~869,870~1173 (1~263)，(870~1173) 25~263，894~1173 滑板以及腳踏車 3 1093 1~304，305~1093 (1~304)，(305~417) 25~304，329~417 腳踏車以及直排 輪 4 1496 400~1496 (400~452、460~532、 508~571) 424~452, 485~532, 538~571 走路以及滑板 5 1170 180~1170 (630~752) 654~752 跑步以及直排輪
四、結論與未來研究方向
4.1 結論 目前並沒有針對球場異常活動的研究，本 文引用 Jacques[14]所提出之陰影去除及背景去 除 法 ， 可 以 完 整 的 切 割 出 移 動 物 件 ， 並 從 Skeletonization 觀念萃取下肢角度θ，分析許多 角度曲線得到異常活動會因為站姿滑行而產生 平坦曲線的特徵，因而設計一簡單演算法偵測 此特徵，由實驗證明對平坦曲線作異常活動的 偵測可以有效判斷異常活動的出現。 4.2 未來研究方向 基於本文提出之方法，未來可以朝以下幾 個方向繼續深入研究： (1) 加入多人情境: 目前是以一人為基礎，往後欲加入多人互 動，例如：一人騎腳踏車後方有另一人在 推、兩個人一起溜直排輪等活動。 (2) 多台攝影機合作: 單台攝影機會因為物件的移動而失去最 佳分析角度，因此往後可以利用連結多台 攝影機合作的方式將有利於獲得更完整 的資訊。 (3) 搭配圖形辨識技術: 由於目前是以單人為基礎，以下肢角度變 化即可判斷行為；往後加入多人情境時角 度資訊明顯不足，因此可加入圖形辨識技 術增加判斷準確度。 (4) 偵測平坦曲線的演算法加入適應性參數: 本文的參數α、β 以及 γ 目前是分析實驗結 果而得到一個最佳化值，未來希望可以以 自動化的方式選定門檻值並增進實驗判斷 的準確性。 參考文獻[1] T. H. Chen, P. H. Wu, and Y. C. Chiou, ”An Early Fire-Detection Method Based on Image Processing” , IEEE International Conference on Image Processing, vol. 3, issue. 24-27, pp. 1707-1710, Otc. 2004.
[2] W. Phillips III, M. Shah, and N. D. V Lobo, ”Flame recognition in video” , Pattern Recognition Letters, vol. 23, issue. 1-3, pp. 319- 327, Jan. 2002.
[3] Y. Dedeoglu, B. U. Toreyin, and A. E. Cetin, ”Flame Detection in Video Using Hidden Markov Models” , IEEE International Conference on Image Processing, vol. 2 , issue. 11-14, pp. 1230-1233, Sept. 2005.
[4] W. L. Hsu, H. Y. Liao, B. S. Jeng, and K. C. Fan, ”Real-time Vehicle Tracking on
Highway” , IEEE International Conference on Intelligent Transportation Systems, vol. 2, issue. 12-15, pp. 909-91, Oct. 2003.
[5] L. W. Tsai, J. W. Hsieh, C. H. Chuang, Y. J. Tseng, K. C. Fan, and C. C. Lee, ”Road sign detection using eigen colour,” , IEEE Transactions on Computer Vision, vol. 2, issue. 3, pp. 164-177, Sept. 2008.
[6] N. Anjum and A. Cavallaro, ”Multifeature Object Trajectory Clustering for Video Analysis” , IEEE Transactions on Circuits and Systems For Video Technology, vol. 18, issue. 11, pp. 1555-1564, Nov. 2008.
[7] C. W. Chang, R. Lee, and H. Y. Kao, ”A Baseball Video Scene Classification Method based on Baseball Game Events” , Journal of Information Technology and Applications, vol. 2, issue. 1, pp. 23-31, 2007.
[8] R. L. Hsu, A. M. M, and A. K. Jain, “Face Detection in Color Image” , IEEE Transactions On Pattern Analysis And Machine Intelligence, vol. 24, issue. 5, pp. 696-706, May 2002.
[9] K. Huang, L. Wang, Y. Tan, and S. Maybank, ”A real-time object detecting and tracking system for outdoor night surveillance” , Pattern Recognition, vol. 41, issue. 1, pp. 432-444, Jan. 2008.
[10] S. Belongie, J. Malik, and J. Puzicha, ” Shape matching and object recognition using shape contexts” , IEEE Transactions On Pattern
Analysis And Machine Intelligence, vol. 24, issue. 4, pp. 509-522, Apr. 2002.
[11] I. Haritaoglu, D. Harwood and, L. S. Davis, ” W4: Real-Time Surveillance of People and Their Activities” , IEEE transactions on pattern analysis and machine intelligence, vol. 22, issue. 8, pp. 809-830, Aug. 2000.
[12] G. Lavee, L. Khan, and B. Thuraisingham, ”A Framework for a Video analysis Tool for Suspicious Event Detection” , Multimedia Tools and Applications, vol. 35, issue. 1, pp. 109-123, Nov. 2007.
[13] J. C. S. Jacques, C.R. Jung, and S. R. Musse, ”Background Subtraction and Shadow Detection in Grayscale Video Sequences” , IEEE International Conference on Computer Graphics And Image Processing, issue.09-1, pp.189-196, Oc. 2005.
[14] H. Fujiyoshi, A. J. Lipton, “Real-Time Human Motion Analysis by Image Skeletonization” , IEEE International Conference on Applicatin of Computer Vision, issue. 19-21, pp. 15 – 21, Oct. 1998.
[15] R. C. Gonzalez, R. E. Woods, Digital image processing, second edition, pp. 283-289, 2002.
