影像式排球影片內容分析之探討

國

立

交

通

大

學

多媒體工程研究所

碩

士

論

文

影 像 式 排 球 影 片 內 容 分 析 之 探 討

A Study on Image-based Volleyball Videos Analysis

研 究 生：余東諺

指導教授：莊仁輝 教授

影像式排球影片內容分析之探討

A Study on Image-based Volleyball Videos Analysis

研 究 生：余東諺 Student：Dong-Yan Yu

指導教授：莊仁輝 Advisor：Jen-Hui Chuang

國 立 交 通 大 學

多 媒 體 工 程 研 究 所

碩 士 論 文

A Thesis

Submitted to Institute of MultimediaEngineering

College of Computer Science National Chiao Tung University in partial Fulfillment of the Requirements

for the Degree of Master

in

Computer Science June 2010

Hsinchu, Taiwan, Republic of China

i

影像式排球影片內容分析之探討

學生：余東諺 指導教授：莊 仁 輝 博士

國立交通大學

多媒體工程研究所碩士班

摘 要

在本篇論文中，我們提出一套排球比賽影片的智慧型分析系統，此系統透過 兩項影片內容的分析，以自動截取出含有精彩攻防的活球片段。首先我們計算連 續影像中較有變動的像素數目總和（稱之為活動變化量），藉由在活球開始前後， 活動變化量會由一極小值迅速增多之趨勢，來辨別活球片段之起點。此外，藉由 偵測排球之位置也可以輔助判別活球之狀態。在偵測排球部份，此系統採用連續 影像相減的方法來切割出移動物體，並利用灰階值、形狀和飽滿度等排球特徵來 偵測移動中的排球。另一方面，我們對球場上部份球員之軌跡追蹤也取得初步的 成果。對於多場排球比賽的影片進行分析的結果顯示，本系統對於活球狀態之分 析有高度的準確性。

ii

A Study on Image-based Volleyball Videos Analysis

Student：Dong-Yan Yu Advisor：Dr. Jen-Hui Chuang

Institute of Multimedia Engineering

National Chiao Tung University

Abstract

In this thesis, we propose an intelligent system for the analysis of volleyball game video which can automatically extract key video segments, e.g., a ball-in-play state (BIPS), of a game using two types of image content. First, the number of

significantly changed pixels between two consecutive image frames is computed as an activity measure. With the observation that, such a measure has a trend to increase dramatically from a local minimum as a BIPS begins, it is used to identify the BIPS. In addition, the ball position can also help game state analysis. The system first uses temporal image difference to segment moving objects. All candidates regions of the volleyball can then be filtered out using based on their intensity, shape and fullness. On the other hand, we also get some preliminary tracking results for partial players in a court. Experimental results of several volleyball game videos show that each

iii

致 謝

本論文得以順利完成，首先要感謝我的指導教授莊仁輝老師。在研究方面， 老師在影像處理和電腦視覺上廣博的知識，常能幫助我解決在學業或實驗研究上 遭遇到的種種困難及問題。另一方面，老師也很關心我們的日常生活，不但常常 送美食給實驗室的大家品嚐之外，更不時地提醒我們不能久坐實驗室，要記得做 些爬山、打球之類的運動，要我們保持強健的體魄，迎接未來人生道路上的挑戰。 另外要感謝我的口試委員，賴飛羆老師、顏嗣鈞老師和王才沛老師的建議和指 導，讓本論文的內容更加完整、充實。 其次，要感謝實驗室的所有夥伴們，尤其是跟我同屆的BB、小鼻孔和米都， 一起渡過交每週報告、跑實驗結果和撰寫論文的日日夜夜，讓我們培養出患難與 共的友誼。謝謝國華、星陸對我的指點迷津，在有問題時常助我一臂之力。謝謝 所有實驗室中的學長姐、學弟妹和同學們，大家歡樂的打鬧及笑聲、一起跑步運 動是我最佳的舒壓方式。感謝我國小到大學的同學們，跟你們一起遊玩的時光， 是我珍藏的回憶。 最後，要感謝生我育我的父母和一起成長的兩位姐姐，對我無微不至的照顧 和充當我強而有力的後盾，讓我很放心地攻讀碩士。感謝在我求學路上，所有幫 助、照顧過我的人，謝謝你們！

iv

目 錄

摘 要...i Abstract...ii 致 謝... iii 目 錄...iv 圖目錄...vi 表目錄... viii 第一章 緒論...1 1.1 研究目的與動機...1 1.2 相關研究...3 1.2.1 精彩事件的擷取...3 1.2.2 戰術策略的分析...4 1.2.3 本論文研究內容闡述...6 1.3 排球影片分析流程...7 1.4 論文章節介紹...9 第二章 前背景分割...10 2.1 影像相減...10 2.1.1 灰階影像的影像相減...12 2.1.2 彩色影像的影像相減...13 2.2 建立背景模型...14 第三章 排球偵測...17 3.1 排球前景區域...17 3.1.1 灰階影像相減得到排球球體前景...17 3.1.2 修補排球球體前景...19 3.1.3 連通元件法...20 3.2 排球球體特徵偵測...23 3.2.1 高亮度過濾...23 3.2.2 形狀過濾器...24 3.2.3 飽滿度過濾器...26 第四章 比賽狀態分析...30 4.1 計算連續影像中變動像素點的個數...30 4.2 死活球狀態分析...31 4.2.1 影像活動變化量...31 4.2.2 整體活動變化情形...32 4.2.3 整體活動變化情形搭配偵測球...33

v 4.3 辨別死活球的規則...34 4.4 活球狀態時的球員分析...35 4.4.1 先二值化後得到球員前景...36 4.4.2 先正規化後得到球員前景...37 4.4.3 不同時間點的前景分析...38 第五章 實驗結果...40 5.1 排球的偵測結果...40 5.2 比賽狀態的辨別結果...43 5.3 活球時的球員軌跡分析結果...45 第六章 結論與未來展望...48 6.1 結論...48 6.2 未來展望...49 參考文獻...50

vi

圖目錄

圖1-1 排球影片分析流程。 ...7 圖2-1 影像相減方法的流程圖。 ...11 圖2-2 轉換灰階影像之結果 (a) 原本影像，(b) 圖(a)的灰階影像，(c) 圖(b)的灰 階直方圖，(d) 圖(a)的下一張影像，(e) 圖(d)的灰階影像，(f) 圖(e)的灰階直方 圖。...12 圖2-3 灰階影像相減之結果。 ...13 圖2-4 原始彩色影像 (a) 目前影像，(b) 圖(a)前一張之影像。...13 圖2-5 通過門檻值的二值化影像 (a) 相減後 R 值通過門檻，(b) 相減後 G 值通過 門檻，(c) 相減後 B 值通過門檻。 ...14 圖2-6 彩色影像相減之結果。 ...14 圖2-7 參與建立背景模型的相關影像。 ...15 圖2-8 建立背景模型方法之流程。 ...15 圖2-9 背景模型建立之結果 (a) 初始背景模型，(b) 最終背景模型。 ...16 圖3-1 相減間隔時間之選擇 (a) 原始影像，(b) 原始灰階影像。 ...17 圖3-1(續) (c) 間隔一張，(d) 間隔三張，(e) 間隔五張，(f) 間隔十張。 ...18 圖3-2 判斷 5×5 的鄰近像素。...19 圖3-3 修補排球球體前景之過程 (a) 待修補影像，(b) 灰階影像相減結果為 0 且 原灰階值大於200。...19 圖3-4 修補排球球體前景之結果。 ...20 圖3-5 連通元件法說明。 ...21 圖3-6 原始影像。 ...21 圖3-7 連通元件法初步結果。 ...21 圖3-8 連通元件法最後結果。 ...22 圖3-9 連通元件法之結果。 ...22 圖3-10 刪除面積過大或過小物件之結果。 ...22 圖3-11 經 3.1 節處理後的前景結果。 ...23 圖3-12 高亮度過濾之結果。 ...24 圖3-13 外接矩形之結果。 ...24 圖3-14 長寬比過濾之結果。 ...25 圖3-15 通過長寬比過濾的非排球前區域範例。 ...26 圖3-16 面積佔有度過濾之結果。 ...27 圖3-17 外接矩形。 ...28 圖3-18 右掃描線。 ...29 圖3-19 左掃描線。 ...29

vii 圖3-20 掃描線檢測之結果。 ...29 圖4-1 變化量統計圖。 ...32 圖4-2 變化量和比賽狀態對照。 ...33 圖4-3 定義排球偵測區域 (a) 交大和清大梅竹排球比賽場景，(b) 交大和台北體 院排球比賽場景。...34 圖4-4 第 1711 張原始影像。 ...36 圖4-5 彩色影像相減取二值化後之結果 (a) 和 330 張以前影像的相減結果，(b) 和330 張以後影像的相減結果，(c) 和 660 張以後影像的相減結果。 ...37 圖4-6 第 1711 張的前景結果。 ...37 圖4-7 彩色影像相減取正規化後之結果 (a) 和 330 張以前影像的相減結果，(b) 和330 張以後影像的相減結果，(c) 和 660 張以後影像的相減結果。 ...38 圖4-8 第 1711 張的前景結果。 ...38 圖4-9 原始前景結果 (a) 竹梅賽影片第 91 張的前景結果，(b) 交大北體賽第 299 張的前景結果。...39 圖4-10 不同時間點的前景分析結果 (a) 圖 4-9(a)的分析結果，(b) 圖 4-9(b)的分 析結果。...39 圖5-1 交大和清大梅竹排球比賽執行排球偵測之結果(a)~(f)分別是該影片第 675、681、685、691、731 和 741 張畫面。...41 圖5-2 交大和台北體院排球比賽執行排球偵測之結果(a)~(f)分別是該影片第 708、720、722、724、864 和 879 張畫面。...42 圖5-3 活球狀態之結果 (a) 原始畫面，(b) 活球狀態分析結果。 ...43 圖5-4 死球狀態之結果 (a) 原始畫面，(b) 死球狀態分析結果。 ...44 圖5-5 無關緊要狀態之結果 (a) 原始畫面，(b) 無關緊要狀態分析結果。 ...44 圖5-6 竹梅賽影片中第 1344 張 (a) 前景結果，(b) 連通元件後之結果，(c) 區域 最高點偵測結果。...45 圖5-7 竹梅賽影片中的一個片段之最高點偵測結果 (a) 第 1739 張，(b)第 1755 張，(c)第 1790 張，(d)第 1830 張。 ...46 圖5-8 描繪圖 5-7 之最高點軌跡結果 (a) 第 1739 張，(b)第 1755 張，(c)第 1790 張，(d)第 1830 張。...47

viii

表目錄

表4-1 連續影像中變動像素點的個數變化。 ...31 

1

第一章 緒論

1.1 研究目的與動機

近年來，多媒體資訊已廣泛應用於各個領域。多媒體應用於教育方面，例如 電子書，除了可以吸引學生學習、提升學習興趣，更可以讓學生免於攜帶沉重的 課本，減少學子的負擔。商家則可以利用多媒體網頁，將廣告改變成有聲有圖的 互動形式，除了可以吸引買家，也能夠在同一時間向買家提供更多的商品資訊。 隨著各式各樣多媒體應用的發展，數位化的影音多媒體內容同樣地與日俱增，因 此許多研究致力於影音多媒體內容的分析與理解，便於使用者獲得需要的資訊。 運動影片是影音多媒體內容中相當重要的一環，擁有多樣的娛樂效果、龐大的觀 眾群以及可觀的商業利益，故如何利用多媒體資訊處理技術將運動影片中的資訊 方便地展現在觀眾面前是一個大家關心的議題，也因此有越來越多的學術研究亦 著眼於運動影片的分析。 現今全球運動產業蓬勃發展，有越來越多的觀眾或球員希望藉由多媒體資訊 處理系統的輔助來取得更多樣的運動資訊，如：棒球投手的投球種類資訊等。另 一方面，裁判也會利用電腦技術來輔助判決以提高公平性，就像網球比賽中的鷹 眼系統可以協助判斷球的出界與否。縱觀電腦視覺研究領域，現今運動影片分析 之學術研究大致上分為兩類：非球類運動影片分析和球類運動影片分析。 非球類運動有很多種，例如：跳水、游泳、跳遠和跳高等，大多是由該運動 中每位運動員個體的表現組成整個運動的進行。所以在非球類運動中，每位運動 員只是在完成自己的動作，其動作表現會影響比賽的結果，因此該類運動影片的 研究分析，著重於每位運動員個體的表現。多媒體資訊處理應用於非球類運動影 片，可以藉由電腦科技的輔助來判斷有爭議性的勝負，例如：田徑或游泳比賽中 到達終點的順序，抑或是再次重現精彩的片段，例如：跳水比賽中每個人的跳水 姿勢和入水角度，以及跳遠或跳高比賽中跳躍剎那間的回顧。

2 另一方面，球類運動也有許多種，例如：籃球、棒球和排球等。在球類運動 中，球員之間會互相影響，球和球具跟球員也有互動關係，例如：排球的殺球、 棒球中利用球棒打擊等。球員之間的互動，可以分作兩類：同隊球員或不同隊球 員之間的互動。同隊球員之間的互動，例如：排球中隊友的傳球。不同隊球員之 間的互動，例如：籃球中的攻擊和防守。不管同隊或不同隊球員之間的互動行為， 在戰術安排上有相當重要性，藉由得知球員們的位置移動，可以幫助教練獲得我 隊或他隊球員資訊，安排合適的戰術，有效地增加我方勝利率。另一方面，球類 運動最明顯的特性就是球員和球具、球之間的互動行為，球員往往會利用球具與 球去達成某些事情，如：籃球的投籃、棒球的打擊和排球的殺球等，由此可知球 和球員之間的互動關係也是球類運動影片研究分析注目的焦點。 目前球類運動影片分析的研究中大多以籃球、棒球和足球為主，針對排球影 片內容的研究分析就相對地少。本論文結合資訊處理技術對排球影片進行分析， 將可以藉以提供排球教練戰術安排上所需的資訊，瞭解他隊選手資訊，掌握勝利 的契機。本論文希望能由真實排球運動場景中，從攝影機拍攝到的畫面，對排球 影片內容進行分析，包括球的偵測、死活球判斷分析和球員移動分析。預期可以 藉由偵測球先行判斷死活球時間點的變化，再偵測球員頭部位置，描繪其移動軌 跡狀態，進一步地提供戰術安排上所需的資訊。

3

1.2 相關研究

在本節中，我們將介紹基於電腦視覺技術之運動影片內容分析的相關研究。 根據這些相關研究的主題不同，可以將它們大致上分成兩類，第一類是精彩事件 的擷取(highlight extraction)，第二類是戰術策略的分析(tactic strategy analysis)。

1.2.1 精彩事件的擷取

擷取運動影片中特殊的精彩事件能使一段長時間的運動影片變成一段簡短 的精采摘要影片，提供觀眾快速瀏覽整場比賽中的精華部份。因此，有許多學術 研究致力於偵測運動影片中發生的特殊事件和擷取精彩的片段，它們使用的方法 可以分成兩種，第一種是利用影片中既有內容為基礎(video content based)的偵測 方法，第二種則是使用外部資源當作輔助為基礎(external source based)的偵測方 法。 以影片內容為基礎的偵測方法 為了從長時間的運動影片中偵測特殊事件或擷取精彩片段，以影片內容為基 礎的偵測方法大多利用影片中的聲音和視覺影像這兩種特徵，並且根據這些特徵 建立各式各樣的偵測模組去偵測特殊事件的發生，進而從該運動影片中擷取精彩 的片段。以影片內容為基礎的偵測方法可以分為兩類，第一類是只利用單一特徵 對特殊事件進行偵測的方法，第二類是利用多個特徵偵測特殊事件的方法。單一 特徵的偵測方法，也就是只使用上述兩種特徵中的其中一種去偵測特殊事件，文 獻[1-3]使用視覺影像特徵，包括顏色、球員的動作樣本等去偵測運動影片中發生 的特殊事件。文獻[4]則是使用聲音特徵去偵測棒球賽中的特殊事件，聲音是一 種能量，可以用波形表示，文獻[4]將聲音特徵依照其振幅大小分為四類，分別 是0~630 赫茲、630~1720 赫茲、1720~4400 赫茲和 4400 赫茲以上，四類分別標

計為 E1、E2、E3和 E4。E3和 E4被用來建立成打擊聲音的樣本去偵測棒球賽中的

打擊事件。單一特徵的偵測方法，其優點是在偵測分析時計算量負擔低，但缺點 是偵測特殊事件的準確率也較多個特徵的偵測方法為低，這是因為運動影片中的

4 內容是由影像和聲音等多種元素所組成，所以只用單一特徵的偵測方法不能完全 地描繪出運動影片中的內容。為了增進事件偵測的準確率，有些文獻提出利用多 個特徵的偵測方法來擷取特殊的精彩事件。文獻[5]提出整合以規則為基礎和以 模組為基礎的偵測特殊事件方法，去偵測棒球比賽中發生的事件。以規則為基礎 的偵測模組可以經由判斷影片中的標題資訊，推論目前有甚麼事件發生，包括有 打擊、雙殺、全壘打等等。以模組為基礎的偵測模組進一步地利用連續場景中不 同標題資訊的改變對只經由以規則為基礎的偵測模組不能決定的剩餘事件進行 分類。 以外部資源輔助為基礎的偵測方法 由於以影片內容為基礎的偵測方法在辨別特殊事件的細節方面有缺失，就像 在籃球賽中知道有人投籃，卻不知是哪位球員的情形，而且無法達到特殊事件偵 測的高準確率。因此，有些文獻利用一些外部資源輔助進行精彩事件的擷取，使 用的外部資源有兩類，第一類是運動影片內容中添加的標題文字，第二類是網路 上的資源。將標題文字或網路資源導入運動影片內容分析中，能夠幫助系統連結 低階的特徵和高階的特殊事件，提高特殊事件偵測的準確率，使擷取運動影片內 容中的精彩事件更加準確。 運動影片內容中的標題文字是一種後製手動添加的文字紀錄，被編碼進運動 影片內容中，文獻[6]就是用標題文字來輔助擷取運動影片內容中的精彩事件。 然而這些標題文字包含許多不相關的資訊而且缺乏固定形式的結構，導致如何擷 取且利用運動影片中有用的標題文字來輔助分析是此類型的問題點。除了標題文 字之外，網路上的資源也能用來幫助運動影片分析。文獻[7]提出一種利用網路 上收集來的足球比賽報告和比賽紀錄檔去幫助足球影片分析。文獻[8]提出一個 利用網路廣播收集來的資訊輔助足球事件偵測的系統。 1.2.2 戰術策略的分析 運動影片內容上的戰術策略分析大部份都把焦點放在網球球賽上，這是因為 網球球賽的球員人數和球場大小的比例相較於其他球類運動較懸殊，在較大的網

5 球場上只有兩位球員，使得偵測和追蹤在實行上都相對簡單。在文獻[9]中，為 了事先訓練系統，將網球的移動追蹤分成58 種特徵，再經由這些特徵去追蹤判 斷網球賽中球員的移動。文獻[10]利用網球領域的知識去發展一個偵測網球球場 邊線的演算法和球員追蹤演算法去辨認和戰術相關的特殊事件。在運動影片戰術 策略分析的相關研究中，軌跡的追蹤是常見的方法，因為主要的精彩事件都是由 球和球員或球員和球員之間的互動造成，所以球和球員是最常被追蹤的對象。普 遍的追蹤技術應用在運動影片上大致上可以分為兩種，包含有球體三維空間軌跡 重建[11]和軌跡式球體球員偵測[12-15]。 球體三維空間軌跡重建 文獻[11]提出一種從二維影像平面轉換到三維空間的籃球軌跡重建方法。在 此文獻的一開始討論相機校正並獲得仿射投影矩陣(affine projection matrix)，以 供轉換座標時使用。從二維座標估算三維座標位置是一個常見的問題，在此文獻 中用籃球軌跡的連續性解決此問題，最後產生籃球場地的三維場景和籃球的三維 軌跡路線。 軌跡式球體球員偵測 文獻[12]用和背景相減為基礎的演算法去做移動物體的分割。由於光線改變 會造成前背景分割時的錯誤，為了區分移動物體和光線改變的不同，發展了以像 素為基礎的能量內容估計演算法(evaluation of pixels energy content)去解決上述 問題。為了追蹤球員，此文獻提出一個選出最大歸納機率(maximum a posteriori probability，MAP)的估測方法。首先在球員聚集遮蔽部份量測球員幾何位置資 訊，套用提出的MAP 演算法追蹤球員位置，然後再利用顏色特徵分類球員個體。 文獻[13]提出在足球賽中先從廣角度視野中切割出球員區域，在此區域內用 灰階值轉換偵測白色的球場邊線，並採用建立的人形動作樣本符合方法(template matching method)去偵測球員。在樣本符合方法後，就能獲得球員正確的位置， 而且也能獲得球員的動作形態。 文獻[14]提出一種在籃球影片中偵測和追蹤籃球的方法，這方法包含階層式

6

偵測籃球的演算法和一種基於可調整性物體模組(adaptive object model)的移動追 蹤演算法。一開始，先執行籃球偵測方法，只有當偵測籃球出來時，下一張影像 才會執行追蹤的方法。在移動追蹤演算法中有追蹤結果估測模組，假如能通過追 蹤結果估測模組的檢測，在下一張影像才使用追蹤的方法，否則就再一次執行偵 測籃球的方法。 文獻[15]提出在排球影片中利用排球軌跡變化辨認球員目前動作形態的方 法。此方法先行偵測整體灰階值較高的圓形排球，再利用排球軌跡屬於拋物線的 特性，利用拋物線公式追蹤下一張影像的排球位置。利用獨特的排球移動特徵從 許多的移動物中擷取排球的軌跡，此外根據排球比賽中常見的情形，排球的軌跡 可以被用來辨認球員持球的姿態，用來做戰術分析和偵測球員基本的動作。 1.2.3 本論文研究內容闡述 在排球比賽中，安排合適的戰術能有效地幫助獲得勝利。本論文提供排球教 練戰術參考的資訊，藉由知道死活球不同時間點中，他隊球員的位置移動，我方 再由此安排合適的應對球員，對他隊弱點進行攻擊，並且補強我方弱點的防守。 另一方面，分析球員位置的移動，可以幫助教練知道在平常練習中所需的方法策 略，再進行適合的練習。藉由球員位置分析，可以知道別隊的防守動線，從中找 尋防守的弱點，進而訓練我方的攻擊手針對此弱點進行攻擊；同樣地，知道對方 的攻擊動線，從中得知攻擊的落點，可以強化我方該處球員的防守能力。 本論文中的研究分析對象有兩項，也就是相關於球和球員的研究。相關於球 的研究包括有球的前景切割、球體過濾、球的偵測和死活球時間點分析。相關於 球員的研究包括有球員的前景切割、球員的頭心偵測和球員位置移動分析。以上 研究分析目標可以幫助獲得戰術安排需求上的資訊，之後的1.3 節將簡易介紹本 論文中排球影片分析的流程，而其詳細的內容會在之後各章再詳加解釋。

7

1.3 排球影片分析流程

圖1-1 排球影片分析流程。 ，為了提供排球教練戰術安排上所需的資訊，本論文依據1-1 節提出的研究 目標，實作的排球影片分析流程如圖1-1 所示。在排球影片內容中的分析對象有 兩項，第一項是排球，第二項則是球員。系統分析的第一個步驟是劃分感興趣的 區域(region of interesting，ROI)和無相關的區域，並且在感興趣的區域中分割前 背景，取得研究分析所需的前景物，本論文中感興趣的區域定義為排球場。本論 排球影像 前背景分割 球體過濾 球員前景過濾 球員活動變化量 球員頭心偵測 球員移動分析 死活球時間點分析

8 文使用的前背景分割方法，主要分為兩種，第一種是建立背景模型，利用背景模 型分割出和背景不同的前景物，第二種則是使用影像間直接相減的結果，可以得 到不同影像中位置上有差異的物體。在拍攝過程中，若一個物體在不同影像中的 位置上越有差異，則第二種方法分割出的前景物也越清楚明顯。 得到前景物之後，就要對前景物進行分類，以區分出排球和球員兩項分析目 標。在排球分析方面，是先進行球體過濾，將排球從眾多前景物中過濾出來。因 為排球在影像中屬於圓形，所以使用形狀過濾器(shape filter)，在影像中得到圓 形的前景物。另外由於排球是一個實心的球體，球體的前景理當是飽滿的，因此 使用飽滿度過濾器(fullness filter)，過濾出飽滿的前景物。使用形狀、前景飽滿度 兩個過濾器，將可在眾多的前景物中，挑選出一個可靠度最高的候選排球前景。 球賽分析中，整個排球比賽的流程為其中的一隊發球，接著雙方進入攻防賽 事，當判定為得分後，再由得分的該隊發球。所謂「活球」是當發球後到得分前 的這段時間，而「死球」正好相反，也就是當得分後到發球前的這段時間。觀察 排球影片可以得知：比賽在活球時，雙方處在你來我往的攻防戰中，球員的移動 劇烈，所以影像中活動變化量高，得分之後，比賽進入死球階段，球員進行走位 後會停留在自己的位置上，此時球員沒有太大的移動，所以影像中活動變化量 低。藉由球員於影像中活動變化量的高低配合偵測排球的有無，可以判斷比賽是 處於死球或是活球的狀態，也就是死活球時間點分析。 排球影片中另一個重要的分析目標就是球員。要進行球員的前景切割，我們 藉由死活球時間點分析，在不同的時間點分別進行不同的前景切割方法。由於在 活球時，球員移動較劇烈，所以利用影像相減方法得到球員前景，在死球時，球 員移動較平緩，所以利用背景模型去分割球員前景。得到球員前景後，可以使用 區域最高點演算法計算出每個球員前景物的最高點，也就是頭頂的位置，再由頭 頂位置往下推測頭部中心位置，也就是頭心位置。藉由追蹤每個球員的頭心位 置，即可進行球員的水平和垂直移動分析，藉此可瞭解球員移動的狀況，以提供 戰術安排上所需的資訊。

9

1.4 論文章節介紹

本論文的第一章是「緒論」，介紹本論文的研究目的與動機、系統流程方法 和運動影片分析的相關研究。第二章是「影像前背景分割」，介紹本論文影像前 背景分割的方法，使用的方法有兩種，第一種是影像相減，第二種是建立背景模 型。第三章是「排球偵測」，我們先由灰階影像相減得到球體前景後，進行修補 球體前景的動作，並利用灰階值、形狀和飽滿度過濾器得到排球球體之位置。第 四章是「比賽狀態分析」，我們提出以影像活動變化量為基礎的方法去辨別目前 影像的比賽狀態。第五章是「實驗結果」，展示不同的階段性結果，且由這些結 果加以討論。第六章是「結論與未來展望」，對本論文做總結並闡述本論文的未 來研究方向。

10

第二章 前背景分割

本論文提出的排球影片分析流程中，第一個步驟是前背景分割。由於之後我 們將會對分割出的前景物體做分析，所以前背景分割得到的前景結果好壞，對後 續分析會有很大的影響，因此本論文的第二章將會討論如何使用前背景分割方法 得到良好的前景結果，以利後續之分析。本論文使用的前背景分割方法有兩種， 2.1 節介紹利用影像相減方法得到前景物，2.2 節介紹利用建立背景模型的方法分 割前景物。

2.1 影像相減

使用影像相減方法得到前景物，優點是不用先建立背景模型，而是將連續影 像間相對應的像素值做相減，像素變化若超過系統設定的門檻值就判定為前景物 區域。此方法執行時間較短，而且對於不同影像中位置差異大的前景物能有效地 將其從背景分割出來，不過對於不同影像中位置差異小之前景物將無法正確的分 割出來，這是因為前後兩張影像之像素值太過於相似，造成所得到的前景物體會 與實際上之前景有所偏差，甚至發生破碎之現象。 影像相減方法的流程圖如圖2-1 所示。為了符合不同的目標，取得不同的前 景，先決定需要間隔幾張影像做相減的動作，也就是決定圖2-1 中 N 的數值，再 利用新進影像中的每個像素的像素值減去前 N 張影像中相對應位置的像素值， 其相減的結果有三種，也就是等於、大於或小於0。相減結果等於 0 的部份代表 兩張影像中相對應位置的像素未發生改變，相反地，相減的結果大於或小於0 的部份代表兩張影像中相對應位置的像素發生改變。為了不同的目標，保留不同 的前景，我們可以對相減的結果取絕對值或維持原本的結果。接著利用經過處理 的相減結果做判斷，若其能通過系統預設的門檻值，我們將其判定為前景，將之 標示為白色；若未能通過門檻值，我們將其判定為背景，並將之標示為黑色。

11 圖2-1 影像相減方法的流程圖。 為了不同的分析處理目的，我們將討論不同性質影像的影像相減方法，進一 步判斷像素相減後的變化結果值，若大於系統設定的門檻值就判定為前景物區 域，並將之標示為白色；若小於系統設定的門檻值就判定為背景區域，並標示為 黑色，藉此過濾影像中的不需要的背景部份，最後大於系統設定的門檻值之白色 部份就是利用影像相減得到的前景結果。2.1.1 節我們討論灰階影像的影像相 減；2.1.2 節討論彩色影像的影像相減。 新進影像 相減 前 N 張影像 相減結果 標示為黑色的背景 標示為白色的前景 影像相減之結果 是 是否通過門檻值 否 維持原本數值 取絕對值 相對應位置的 像素 相對應位置的 像素

12 2.1.1 灰階影像的影像相減 灰階影像是單一通道的影像，影像的灰階以一個位元組，即8 個位元，來表 現一組灰階。故共有 28=256 種組合，代表 256 個灰度。基本的彩色影像轉換成 灰階影像的方法是將彩色影像中RGB 三通道的數值相加後除以三，再填回原本 的位置，就能得到灰階影像。圖2-2 為兩組不同的彩色影像轉換成灰階影像的結 果，並統計該灰階影像的灰階直方圖。 (a) (b) (c) (d) (e) (f) 圖2-2 轉換灰階影像之結果 (a) 原本影像，(b) 圖(a)的灰階影像，(c) 圖(b)的灰階 直方圖，(d) 圖(a)的下一張影像，(e) 圖(d)的灰階影像，(f) 圖(e)的灰階直方圖。 灰階影像的影像相減中，只需要考慮每個像素的灰階值，兩張影像中相對應 位置的像素灰階值做相減，將相減結果的絕對值大於系統設定門檻值的像素標示 為白色，未通過門檻值的像素則被標示成黑色。圖2-3 是設定門檻值為 30，並採 用圖2-2(b)、(e)所示的灰階影像所得到的灰階影像相減之結果。

13 圖2-3 灰階影像相減之結果。 2.1.2 彩色影像的影像相減 彩色影像中使用RGB 色彩空間描述，包含有三個通道，分別是紅色(R)、綠 色(G)和藍色(B)，對兩張影像中相對應像素的三個通道做各別的數值相減，我們 將相減結果的絕對值大於系統設定門檻值的像素標示為白色，未通過門檻值的像 素則被標示成黑色。圖2-4(a)為目前影像，圖 2-4 (b)為前一張影像，圖 2-5(a)(b)(c) 將門檻值設定為30，圖 2-5(a)中白色部份是相減後的 R 值通過門檻值的像素， 圖2-5(b)中白色部份是相減後的 G 值通過門檻值，圖 2-5(c)中白色部份是相減後 的B 值通過門檻值。圖 2-6 是將圖 2-5(a)(b)(c)中白色部份取聯集得到的二值化影 像。 (a) (b) 圖2-4 原始彩色影像 (a) 目前影像，(b) 圖(a)前一張之影像。

14 (a) (b) (c) 圖2-5 通過門檻值的二值化影像 (a) 相減後 R 值通過門檻，(b) 相減後 G 值通過門 檻，(c) 相減後 B 值通過門檻。 圖2-6 彩色影像相減之結果。

2.2 建立背景模型

使用背景相減的方法得到前景物，必須要先建立背景模型。我們提出一個適 用於排球影片建立背景模型的方法，我們提出的方法能簡易地建立在排球影片中 的背景模型，由於排球影片大多是有球員在球場上打球的情形，所以我們很難獲 得乾淨的背景影像。因此我們將一張影像當作更新的背景對象，以此影像當作基 礎，利用球員會在場上移動的特性，更新不會移動的背景部份。參與此建立背景 模型的方法的相關影像如圖2-7 所示，以此提出的方法建立背景模型後，用這個 背景模型分割出與背景模型不同的前景物。建立背景模型方法之流程如圖2-8 所 示。

15 圖2-7 參與建立背景模型的相關影像。 圖2-8 建立背景模型方法之流程。 目前 影像 目前 背景 前一張 影像 下一張 背景 time i i-1 i+1 新進影像 和背景模型比較 消除球員影像 新背景模型基礎 更新背景模型 變化大 變化小

16 選擇初始背景模型 我們選擇排球影片中的第一張影像當作背景模型的基礎，如圖2-9(a)所示。 新背景模型基礎 為了保留原本背景模型中屬於背景的地板部份，我們將新進影像和背景模型 做影像相減比較，將新進影像中原本相減結果小的部份，也就是變化小的部份， 當作新背景模型的基礎，但是這樣的做法也會將背景模型中的球員部份保留下 來，所以我們需要進一步地去消除背景模型中的球員影像。 消除球員影像 我們先統計一張影像內擁有最多像素的顏色，令其為地板顏色。把新進影像 和背景模型做影像相減比較，我們將新進影像中原本相減結果大的部份，可能就 是原背景模型中球員離開而露出的地板，此部份再去跟新進影像的上一張影像做 影像相減比較，取其相減結果小的部份，藉由判斷此部份是否為地板顏色，決定 是否加入更新背景模型，以此去消除影像中的球員。 更新背景模型 結合新背景模型基礎和消除球員影像，得到新的下一張背景模型，藉由此流 程不斷更新，進而得到良好的背景模型。 (a) (b) 圖2-9 背景模型建立之結果 (a) 初始背景模型，(b) 最終背景模型。

17

第三章 排球偵測

在本章中，我們將討論有關排球影片中排球球體的偵測。3.1 節討論利用 2.1 節的影像相減方法得到初步含有排球球體的前景，並利用連通元件法讓系統知道 哪些像素是屬於同一群組，提升後續處理之速度。3.2 節討論使用形狀過濾器和 飽滿度過濾器，由3.1 節獲得的前景中，挑選出一個最適合的排球球體。

3.1 排球前景區域

3.1.1 灰階影像相減得到排球球體前景 在偵測排球的分析流程中需要用到球體前景，我們考慮排球整體灰階值較高 和在球場上快速移動的特性，在不同時間點的影像中排球的位置差異大，所以使 用灰階影像相減的方法去分割球體前景。因為，排球整體灰階值較高，所以我們 取相減結果大於0 的部份當作排球前景，並標示為白色。 排球前景的好壞會劇烈地影響偵測排球的結果，因此相減間隔時間的選擇相 當重要。若相減間隔時間太短，兩張影像中排球位置大部份過於重疊，會使得相 減後的排球前景結果過於破碎。反之，若相減間隔時間太長， 兩張影像中排球 和球員等其他雜訊位置都相差大，會使得相減後的結果夾雜許多我們不想要的球 員等其他雜訊部份。圖3-1 顯示藉由選擇相減間隔的時間，得到不同的前景結果。 (a) (b) 圖3-1 相減間隔時間之選擇 (a) 原始影像，(b) 原始灰階影像。

18 (c) (d) (e) (f) 圖3-1(續) (c) 間隔一張，(d) 間隔三張，(e) 間隔五張，(f) 間隔十張。 在本論文排球前景分割中，以目前新進的影像當作被減的對象，選擇五張前 的影像當作減去的對象，將兩張影像中相對應位置的像素灰階值做影像相減，並 取相減結果大於0 的部份。圖 3-1(a)是原始彩色影像，圖 3-1(b)是原始灰階被減 影像，圖3-1(c)(d)(e)(f)分別是相減間隔一張、三張、五張和十張的灰階影像相減 之結果。圖3-1(c)(d)可以看出排球球體前景仍相當破碎，這是因為間隔時間少， 使得互相相減的兩張影像中排球仍有大部份重疊。圖3-1(e)可以看出排球前景明 顯的完整輪廓樣貌。圖3-1(f)雖也可以看出排球前景的完整輪廓樣貌，但是因為 相減間隔時間長，使得互相相減的兩張影像已有相當的不同，這會讓結果增加更 多非排球球體前景的雜訊部份，使後續分析的計算量大為增加。

19 3.1.2 修補排球球體前景 在3.1.1 節中，我們得到間隔五張的灰階影像相減後，相減結果大於 0 的部 份(如圖 3-3(a)所示)。但是在灰階影像相減過程中，因為排球球體整體灰階值相 似，所以在兩張影像中排球球體重疊的部份會被消除。為了補償排球球體前景的 完整性，我們在這節中考慮灰階影像相減後，以相減結果大於0 的前景像素(如 圖 3-2 紅色方塊所示)為中心，判斷附近 5×5 的鄰近像素(如圖 3-2 藍色外框所 示)，若該鄰近像素的影像相減結果為 0，則進行灰階值的判斷。由於排球球體 整體灰階值高，所以我們將灰階值大於 200 且影像相減結果為 0 的鄰近像素(如 圖 3-3(b)所示)加入原前景(如圖 3-3(a)所示)中，藉此修補排球球體的前景，修補 後結果如圖3-4 所示。 圖3-2 判斷 5×5 的鄰近像素。 (a) (b) 圖3-3 修補排球球體前景之過程 (a) 待修補影像，(b) 灰階影像相減結果為 0 且原 灰階值大於200。

20 圖3-4 修補排球球體前景之結果。 3.1.3 連通元件法 修補完排球球體前景後，雖然我們可以用肉眼觀察出前景圖中共有幾個物 件，但是系統卻無法得知此資訊，而要得知兩前景點是否屬於同一物件必須先判 斷這兩點是否相鄰，因此我們必須先將圖3-4 做分群，相連的點標記成同一物件，

我們採用的方法為連通元件法(connected component method)。連通元件法是將圖 中有連接的前景像素標記成相同群組並且定義群組標籤，而每個群組都是排球球 體候選區域，我們在執行連通元件法的同時就先將部分面積過大或過小的群組刪 除，以利提升後續判斷之速度。連通元件法主要步驟如下(以圖 3-6 為例，為了 利於說明表示，白色為背景以 0 表示，紅色為前景以 1 表示)，P 點代表目前掃 描到的位置，其餘點為 P 點之相鄰位置(如圖 3-5 所示)： 1. 若P=0表示此點為背景物，繼續執行下一點。 2. 若P=1表示此點為前景物，若P尚未設定標籤，則給P一個新標籤。 3. 若P=1且已設定標籤：依序判斷P點之相鄰位置A至H的值(其值以S來表示)：  S值為0則判斷下一點。  S值為1且未設定標籤就將此點的標籤值設定成P的標籤值。  S值為1且已設定標籤值，則與P點之標籤值比較，以較小者為基準合併 成同一群組的標籤值。

21 對圖3-6中的每一個點由左上依序執行到右下，初步結果如圖3-7所示，而影像中 每個像素點執行完上述步驟後，我們再將相同群組的標籤值設為相同，如圖3-8 所示。 圖3-5 連通元件法說明。 圖3-6 原始影像。 1 1 1 2 2 3 4 1 1 1 2 2 3 4 1 1 1 2 5 5 4 4 2 5 4 4 4 6 2 2 5 4 4 4 7 7 5 5 圖3-7 連通元件法初步結果。 A B C D P E F G H

22 1 1 1 2 2 2 4 1 1 1 2 2 2 4 1 1 1 2 4 4 4 4 2 4 4 4 4 2 2 2 4 4 4 4 4 4 4 4 圖3-8 連通元件法最後結果。 若將圖3-4執行連通元件法後，其結果如圖3-9所示，為了觀看方便，圖中顏 色不同之區域即代表不同之群組，透過此法我們可以去計算各個群組的相關資 訊，像是該群組的長、寬、比例、總像素、中心點等，有了這些資訊以後，我們 將在接下來的各小節中逐一介紹更進一步的判別與過濾。 圖3-9 連通元件法之結果。 圖3-10 刪除面積過大或過小物件之結果。

23

3.2 排球球體特徵偵測

在排球比賽中，排球整體具有高亮度、圓形和實心球體的特徵。因此我們可 以藉由上述的排球特徵來偵測排球。利用經過3.1 節處理後的前景區域，對每一 個前景群組，利用「高亮度過濾」找出亮度較高的排球候選區域，再利用「形狀 過濾器」挑選出符合類似圓形特徵的排球候選區域，最後使用「飽滿度過濾器」 消除破碎的排球候選區域。 圖3-11 經 3.1 節處理後的前景結果。 3.2.1 高亮度過濾 我們對初步的前景區域進行 RGB 色彩空間轉換到 YCbCr 色彩空間，利用 YCbCr 色彩空間的特性將亮度(luminance)和色度(chrominance)分離出來，YCbCr 色彩空間和RGB 色彩空間之間的轉換關係如式子 3.1 所示，其中 Y 代表亮度， Cb 和 Cr 代表色度。 B G R Cr B G R Cb B G R Y                     081312 . 0 418688 . 0 5 . 0 128 5 . 0 331264 . 0 168736 . 0 128 114 . 0 587 . 0 299 . 0 (3.1) 經由實驗的方式，我們找到的排球整體亮度值的下限為80≦Y。圖 3-12 為圖 3-11 經高亮度過濾之結果，圖中白色部份是亮度較高的區域。

24 圖3-12 高亮度過濾之結果。 3.2.2 形狀過濾器 我們先對初步獲得的每一個前景群組找出其外接矩形(bounding box)，如圖 3-13 所示，圖 3-13 是以圖 3-11 為對象，紅色方框是找到的外接矩形。 圖3-13 外接矩形之結果。 我們利用上述外接矩形的長寬比達成形狀過濾器(shape filter)。藉由限制外 接矩形長寬比在一定範圍內，過濾出近似圓形的前景結果。此種過濾方式是利用 候選區域的長寬比例來去除不近似圓形的區域。經過觀察排球影片，拍攝到的排 球球體形狀近似於一個圓球，所以我們嘗試使用霍夫曼轉換(Hough transform)之 觀念來找出影像中圓形部分。然而候選區域的輪廓經常不是呈現正圓形，使得我 們無法正確地偵測出影像中排球球體位置，因此我們採用了簡單的過濾條件：長 寬比。雖然候選區域無法呈現正圓形，但是其長寬比仍會有一定之比例，所以我 們保留候選區域中長寬比例在一定範圍內的區域，使用式子3.2 來計算與過濾候

25 選區域的長寬比： R* = H / W (3.2) 其中，H 代表此候選區域的外接矩形之長度，而 W 則代表寬度，長度與寬度之 計算方式如式子3.3 所示， min max min max PX PX W PY PY H     (3.3)

其中 PX 為 P 點之 X 座標值，PY 則為 P 點之 Y 座標值，PYmax代表此候選區域中

Y 座標值最大者的 Y 座標，其他可類推。如果 R*值越大，代表此候選區域越細長。 本系統中，只要長寬比符合0.5≦R*_{≦2，我們便保留此候選區域，保留的結果如} 圖3-14 紅框所示。 圖3-14 長寬比過濾之結果。 利用上述之方法我們可以移除大部分長寬比不近似圓形的區域，但是仍然有 些許候選區域(如圖 3-15 紅色部分)由於其形狀是呈現不對稱的傾斜情況，所以該 區域可以通過式子 3.2 之過濾而被保留。針對此部份，我們利用主成份分析

(primary component analysis，PCA)來做進一步之過濾，若我們將排球候選區域當

成一個特徵分布，首先我們先求出此特徵分布的中心點(Xmean , Ymean)，接著我們

26                                n i n i n i n i mean i mean i mean i mean i mean i mean i mean i mean i Y Y Y Y X X Y Y Y Y X X X X X X M 1 1 1 1 ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( (3.4) 其中 Xi與 Yi分別代表像素 i 之 X 與 Y 座標，而 n 為此特徵分布之像素總數，最 後再利用特徵向量分解來求出共變異矩陣的特徵值(eigenvalue)和特徵向量 (eigenvector)。我們可以利用特徵值與特徵向量來代表此特徵分布，所以可求得 此特徵分布之實際長寬比，若此特徵分布近似圓形則求出的兩個特徵值會很相 近，反之若是如圖 3-15 所示的特徵分布，兩個特徵值會很相差很大，因此，我 們利用兩個特徵值的比值來過濾形狀不近似圓形之特徵分布(式子 3.5)， E* = eigenvalue1 / eigenvalue2 (3.5) 其中，eigenvalue1代表較大之特徵值，而 eigenvalue2則代表較小之特徵值，系統 所設定之門檻值為1<E*_{<4，只要不符合者就予以濾除。} 圖 3-15 通過長寬比過濾的非排球前區域範例。 3.2.3 飽滿度過濾器 另外利用影像相減得到的前景物中，由於排球是一個實心的球體，理當會獲

27 得飽滿的前景物，所謂的「飽滿」就是指排球前景物區域中少有破碎的情形。經 由觀察此現象，可推論出兩件事情，第一是排球前景物實際面績佔有其外接矩形 面績的比例會相當高，這是因為排球球體前景是類似圓形且飽滿，所以該前景可 視為一個外接矩形的近似內切圓，我們利用進行面積佔有度過濾，濾除其他破碎 的雜訊；第二則是針對排球前景物區域中少有破碎的情形做檢測，進一步地利用 掃描線演算法去檢測前景物內部是否有破碎的情形發生。 面積佔有度過濾 在每個前景物中計算前景物面積佔有其外接矩形面積的比例，我們將此比例 稱作「面積佔有度」，用符號α 來表示。藉由限制 α 的上下限範圍，過濾出飽滿 的前景物。面積佔有度α 的計算方式如下： α = Sobj / Ab-box (3.6)

其中 Sobj代表前景物的實際面績，Ab-box代表前景物的外接矩形面積。計數前景

物區域中的像素個數代表前景物的實際面績，計算前景物之外接矩形的長和寬 相乘結果，此相乘結果代表前景物的外接矩形面積。

在本系統中，只要面積佔有度符合α≧0.8，我們便保留此候選區域。利用

上述步驟可以將大部份面積佔有度過低的前景區域去除，其結果如圖3-16 所示。

28 掃描線檢測 在每一個前景區域的外接矩形中，我們進行掃描線演算法檢測，測試每一個 候選區域中前景物的破碎程度。以圖3-17 至圖 3-19 為例，圖中紅色方塊代表前 景，白色代表背景，掃描線檢測演算法如下所述： 1. 找出每一個前景物之外接矩形，如圖 3-17 中的藍色外框。 2. 從外接矩形最上方的最右邊往左掃描過來，我們稱其為右掃描線，如圖 3-18 中的綠色線條所示。我們標記右掃描線遇到的第一個前景點，如圖 3-18 中 的橘色方塊所示。右掃描線遇到第一個前景點並標記後就停止，往下移動換 下一條右掃描線，直到外接矩形的最下方。 3. 從外接矩形的最左邊往右一條條掃描過來，我們稱其為左掃描線，如圖 3-19 中的紫色線條所示。我們將左掃描線遇到的第一個前景點當作起點，如圖 3-19 中的黃色方塊所示，並且繼續往右掃描過去，直到遇到被標記的橘色方 塊，計算黃色方塊到橘色方塊中遇到多少個代表背景的白色方塊，往下移動 換下一條左掃描線，直到外接矩形的最下方。 4. 統計所有左掃描線遇到多少個代表背景的白色方塊。 圖3-17 外接矩形。

29

圖3-18 右掃描線。

圖3-19 左掃描線。

30

第四章 比賽狀態分析

在這章中，我們將利用第三章所偵測出的排球球體和影像中球員活動變化量 的多寡來決定比賽是處在活球(ball-in-play)還是死球(ball-not-in-play)的狀態分 析。在4.1 節中，我們介紹計算影像活動變化量的方法。在 4.2 節中，我們介紹 利用不同的方法去判斷死活球的狀態。在4.3 節中，整合 4.2 節中利用不同的方 式去辨別目前比賽狀態的規則。在4.4 節中，利用 4.3 節所辨認的活球狀態，對 處在活球狀態內的球員做戰術策略上的軌跡分析。

4.1 計算連續影像中變動像素點的個數

在這節中，我們計算影像中變化程度以供後續死活球狀態分析時使用。經由 觀察排球影片內容，我們可以得知當比賽在死球狀態時，當死球一開始，由於比 賽的規定，球場上的球員必須進行走位的動作。球員走完位後就待在自己的位置 上，而不會隨意移動，所以此時影像中變動的像素點個數會較少；相反地，當比 賽處在活球狀態時，球員們為了攻擊或防守會不斷地移動，所以此時影像中變動 的像素點個數會較多。藉由這種關係，我們可以初步地判斷影像中變動的像素點 個數之多寡當作依據而得知目前比賽的狀態。 我們計算影像中變動的像素點個數的方法是採用2.1 節討論過的彩色影像相 減方法。我們定義目前的影像為 It，離目前影像 It之 k 張前的影像為 It-k，由於彩 色影像是三通道的影像，我們分別判斷RGB 三通道是否通過門檻值，系統設定 的門檻值為 30，若像素中的一個通道之差值大於門檻值，則認定該像素發生變 化。最後統計發生變化的像素點的總個數。我們定義 Nt是時間點 t 和時間點 t-1 之兩張影像間發生變動的像素點個數。

31

4.2 死活球狀態分析

在死活球狀態分析中，當比賽處在活球時，球會在球場上來回，球員會處在 攻擊或防守的狀態下，此時球員會隨比賽的進行而隨意地移動；相反地，當比賽 處在死球時，球員會處在固定位置上，而不會隨意地移動。利用此種比賽的特性， 我們漸進地採用以下三種不同的方式去辨別比賽的狀態。 4.2.1 影像活動變化量 在這節中，利用球員在活球時會大幅度移動，死球時則會在自己的位置上不 移動，所以我們設計利用連續影像的活動變化量去辨別比賽的狀態。為了計算影 像活動變化量，我們嘗試了兩種方法去辨別目前的比賽狀態。第一種方法是基於 連續影像中變動像素點的個數，第二種則是改良第一種方法，利用計算連續影像 中變動像素點的個數之變化量，去代表整體活動的變化情形。 連續影像中變化像素點的個數和 由4.1 節可以計算出時間點 t 和時間點 t-1 之兩張影像(It和 It-1)間發生變化的 像素點個數 Nt，表4-1 是排球比賽分別處在死球或活球狀態下的連續影像中變動 像素點的個數之情形。利用球員在不同的比賽狀態會有不同動作的特性，藉由判 斷 Nt是否通過系統設定的門檻值，來決定目前的比賽狀態。 表4-1 連續影像中變動像素點的個數變化。 State of It-1 ball-in-play ball-not-in-play

ball-in-play Nt stays in high Nt increases

State of It

32 我們將時間點 t 的影像中變動像素點的個數定義為 Nt，Nt計算方式如式子 4.1 所示。 Nt = It － It-1 (式 4.1) 4.2.2 整體活動變化情形 我們由圖4-1 可以觀察到計算出的變化量在某些特定時候會具有一定的趨勢 走向，所以我們利用這個現像，對變化量的趨勢進行分析。由圖4-1 可以觀察到 在活球開始(發球)的前後，在變化量圖表上，變化量的趨勢是由附近區域變化量 最少的最低點劇增地爬升到某一位置，到發球後，變化量才會在某一程度上漸趨 穩定，我們主要藉由這種趨勢的特性幫助我們更加確認活球開始的時間點。 圖4-1 變化量統計圖。 觀察圖4-1，可以得知變化量統計圖大概呈現為高低起伏的走向，我們將圖 4-1 濾除過大的雜訊後，把原本影像中的比賽狀態加入圖 4-1 中，可以得出圖 4-2， 也就是變化量與比賽狀態的對照圖。圖4-2 中的藍色直線代表真實中活球狀態開 始，而綠色直線則是代表比賽某一方已得分，所以死球狀態開始。藍色直線到綠

33 色直線的部份就是所謂的活球部份。我們可以觀察到在圖4-2 中藍色直線出現前 總會有一個變化量的區域最低點，此點代表球員在死球時不移動的時間點。由這 個特性，我們偵測圖中的區域最低點，並判斷區域最低點後是否有劇增的情形發 生，也就是代表發球過後的球員開始移動的活球開始之時間點。 圖4-2 變化量和比賽狀態對照。 4.2.3 整體活動變化情形搭配偵測球 藉著4.2.1 節的處理方法，我們可以將活動變化量很小，也就是球員會在自 己的位置上不會移動的死球狀態消去。在4.2.3 節內，我們進一步地利用當排球 比賽處在活球階段時，由於其比賽規則的限制，兩隊必定得在自己場內傳兩次球 後，將球擊到對方場中，因此我們可以得知在活球階段，在球場上必定有球的存 在，為了更精確地分隔出活球和死球的差別，我們藉由讓使用者自行定義一塊區 域當作排球偵測區，當在該區域內偵測到排球時，我們就能更加確定比賽是處於 活球的階段。 使用者自行定義的區域必須是在活球時排球在球場上必定會經過的位置，才 能有所幫助我們辨別活球的狀態。我們考量此塊排球偵測區域是在球網的上方，

34 這是因為兩隊在攻防時，球一定會經過球網的上方，才能到達對方的場中，所以 我們建議使用者在定義此區域時，是以球網的上方區域為考量，如圖 4-3(a)(b) 中的紅色框所示。 (a) (b) 圖4-3 定義排球偵測區域 (a) 交大和清大梅竹排球比賽場景，(b) 交大和台北體院 排球比賽場景。 我們用偵測排球的有無可以輔助判斷現在是否為活球狀態，然而由於影像屬 於二維空間，框選的範圍在三維空間中可能代表是球網上方或是對方的後面場 地，也因此我們把特定區域內偵測排球的有無當作判斷活球的輔助工具，而不是 具有唯一判斷性，4.3 節將整理出我們最後辨別死活球的規則表。

4.3 辨別死活球的規則

在這節中我們整理4.2 節所提之三種不同方法去辨別目前的比賽狀態，分別 是變化點像素個數的多寡、偵測變化量的趨勢和排球偵測的有無。我們將三種方 法整理出的規則如表 4-2 所示，其中以符號「×」表示目前影像中可能有其他雜 訊干擾，我們將這種比賽狀態列為無關緊要(don’t care)的狀態。

35

表4-2 死活球辨別規則。

Nt ≧ threshold Nt ＜ threshold

detected ball no ball detected ball no ball a local min

exists

ball-in-play ball-in-play ball-not-in-play ball-not-in-play

no local min exists ball-in-play × × ball-not-in-play 由表4-2 可以得知，我們主要是先藉由判斷變化點像素個數的總和，先粗分 比賽過程的兩種情況，也就是現在這一張影像是處在影像活動量高或低。若是影 像活動量為高的時候，我們就會認為目前此張影像內球員正處在有激烈活動變化 的過程中，因此比賽是屬於活球狀態。反之，若是影像活動量為低的時候，恰好 符合比賽是死球狀態時，球員們的活動較為緩和甚至是不動的情形，因此比賽是 屬於死球狀態。先粗分出兩大情況後，再根據細節分出不同比賽過程的細部變 化，我們依據當活球開始前影像活動變化量都會有一個低點，這是因為球員們在 發球開始時前都會在原地靜止不動，造成影像活動變化量極低，因此我們去偵測 影像活動變化量中是否有低點存在，可以輔助我們精準地判斷出活球狀態的起始 點。其次，第三章討論的排球球體偵測也能應用在辨別比賽狀態中，因為只有當 活球時，球才能在半空中被偵測出來，所以也能作為輔助判斷比賽狀態的依據。

4.4 活球狀態時的球員分析

在本節中，我們利用系統辨認出的活球狀態去對部份後排球員進行軌跡分析 的探討，提供教練或戰術研究相關人員實質上的幫助，藉此可以觀察後排球員攻

36 擊或防守時的路線動態，進一步地規劃攻擊或防守的戰術策略。想要對球員進行 路線分析，我們必須先得到球員前景，我們利用兩種不同方式得到在時間點 t 時 球員的正確前景，在4.4.1 節中利用兩兩相減影像互相比較的方式，取得在不同 相減影像中有互相重疊的球員前景出來。在4.4.2 節中則是對相減影像中的前景 背景部份進行權重分析，再將權重相乘得到最後的球員前景。 4.4.1 先二值化後得到球員前景 首先利用2.1.2 節中的彩色影像相減方法對目前時間點 t 進行影像相減，原 始影像如圖4-4 所示，分別和該圖 330 張以前(t-330)、330 張以後(t+330)與 660 張以後(t+660)的影像做彩色影像相減得到三張不同的影像相減之前景結果(白色 部份)，如圖 4-5(a)(b)(c)所示。再由此三張前景結果互相比較，藉此得到目前時 間點 t 的前景部份，這麼做是因為彩色影像相減時，取完絕對值後，兩張互相相 減之影像資料，若其值能通過門檻值，則會被原封不動地保留下來，利用這個特 性，我們可以比較計算得到的相減影像，理論上若時間間隔越大，即兩兩相減後 重疊部份不多，所得到的結果越好，在本系統中是採用兩張前後相隔330 張(約 11 秒)和一張間隔 660 張(約 22 秒)之後的影像。由圖 4-5(a)(b)(c)所得到的結果如 圖4-6 所示，白色部份即時間點 t 時之前景。 圖4-4 第 1711 張原始影像。

37 (a) (b) (c) 圖4-5 彩色影像相減取二值化後之結果 (a) 和 330 張以前影像的相減結果，(b) 和 330 張以後影像的相減結果，(c) 和 660 張以後影像的相減結果。 圖4-6 第 1711 張的前景結果。 4.4.2 先正規化後得到球員前景 以圖4-4 為例子，同樣地利用 2.1.2 節中的彩色影像相減方法，對三張彩色 影像進行影像相減，只不過不是先對相減後的影像資料進行二值化的處理，而是 進行正規化的處理，如圖4-7(a)(b)(c)所示，即是把每一相減數值全部除以 255， 所以每一個像素都會獲得一個0 到 1 的數值。為了獲得最後時間點t時的前景， 將三張相減影像中相對應位置像素的數值相乘得到代表每個像素是我們所需要 的前景之「機率值」，用此機率值乘以255 還原回原本數值，再取門檻值做二值 化，即可得到最後結果，如圖4-8 所示。

38 (a) (b) (c) 圖4-7 彩色影像相減取正規化後之結果 (a) 和 330 張以前影像的相減結果，(b) 和 330 張以後影像的相減結果，(c) 和 660 張以後影像的相減結果。 圖4-8 第 1711 張的前景結果。 上述兩種方法最大的不同是進行二值化的時間點，以4.4.1 節中先二值化的 方法會把所有像素數值結果先區分成兩種數值，未能保留原本的數值去進行合併 比較的動作，使得人物前景邊緣會較粗糙，如圖4-6 紅色箭頭所示。若是以 4.4.2 節中先進行正規化的方法會保留所有像素數值結果，使得之後進行合併的動作， 得到精確的人物前景邊緣，如圖4-8 紅色箭頭所示，因此我們將採用 4.4.2 節中 的先正規化的方法去處理球員前景結果。 4.4.3 不同時間點的前景分析 在這節中，我們由影像相減中的計算公式去分析屬於不同時間點的前景部 份。在影像相減方法中，前景部份包含兩個不同的時間點，藉由判斷相減結果數 值的正負，有助於我們辨別在同一張前景結果中屬於不同時間的前景分析。圖 4-9 是兩張不同影片來源的原始前景結果，而由圖 4-10 可以明顯地觀察到有粉紅

39 色和黃色兩部份，粉紅色部份代表相減結果數值為負，黃色部份則是相反。圖 4-10(a)中，因為球員和球場場地的顏色深淺變化較一致，因此可以得到球員身軀 為同一顏色之結果。圖4-10(b)中，球員和球場場地的顏色深淺變化不一致，有 些部份較深或較淺，因此會獲得同一球員身軀中有不同顏色區塊之結果。 (a) (b) 圖4-9 原始前景結果 (a) 竹梅賽影片第 91 張的前景結果，(b) 交大北體賽第 299 張 的前景結果。 (a) (b) 圖4-10 不同時間點的前景分析結果 (a) 圖 4-9(a)的分析結果，(b) 圖 4-9(b)的分析 結果。

40

第五章 實驗結果

本研究之目的在於偵測影像中排球比賽之狀態，而在本章節中，我們進行實 際影像畫面的實驗，以驗證本系統之可行性與正確性。首先是實驗場地的選擇， 我們從交通大學排球校隊的比賽中，選定適合進行智慧型排球影片內容分析的場 地，包括有和清華大學排球校隊在梅竹排球賽，和台北體育學院的練習賽。影片 的解析度皆為320×240。本章分為兩個小節，首先在 5.1 節我們會利用排球偵測 演算法對於不同的場景進行實驗，並統計偵測的結果；在5.2 節我們於各個場景 中測試判斷比賽狀態的準確性，並統計結果。整個實驗的硬體環境為 Pentium CoreⅡ 2.13 GHz，記憶體為 DDR2 2G，作業系統為 Windows XP，程式作業環境 為Borland C++ Builder 6.0 的平台。以下分別針對此三小節作詳細的實驗與分析 探討。

5.1 排球的偵測結果

在第三章中，我們曾經實驗過不同的相減間格張數 k 的設定值，經由犧牲數 張影像的時間差換取較完整的前景結果，並也列出對應的實驗結果。而我們得到 的最佳選擇是將 k 設定為 5，之後的實驗結果我們皆採用此設定來執行。圖 5-1 是交通大學與清華大學在梅竹排球比賽的場景結果，圖中粉紅色框為偵測到的排 球位置，其中圖5-1(a)(b)(c)(e)(f)成功地準確偵測出排球位置，而圖 5-1(d)中紅色 箭頭所指為未偵測出的排球位置，這是因為此時排球位置和球員非常接近，導致 球的前景分割的結果和球員前景混合在一起，因此無法經由之後的過濾器去辨別 球體的位置所在，我們將在5.1 節的最後，討論更多無法成功偵測出排球的例子。 圖5-2 是交通大學和台北體育學院排球比賽的場景結果，圖 5-2 場景和圖 5-1 場 景相當地不同。圖5-2 的拍攝角度為正後方，且拍攝位置較高。而圖 5-1 的拍攝 角度為偏斜的後方，且拍攝位置較低。

41 (a) (b) (c) (d) (e) (f) 圖5-1 交大和清大梅竹排球比賽執行排球偵測之結果(a)~(f)分別是該影片第 675、 681、685、691、731 和 741 張畫面。

42 (a) (b) (c) (d) (e) (f) 圖5-2 交大和台北體院排球比賽執行排球偵測之結果(a)~(f)分別是該影片第 708、 720、722、724、864 和 879 張畫面。

43

5.2 比賽狀態的辨別結果

由4.3 節的比賽狀態辨別規則，我們將比賽狀態分成三種，分別是活球、死 球和無關緊要的狀態。無關緊要的狀態之設計是為了死球的一開始，球員正在移 動換位，此時變化量仍會很大的情形。由於我們的目標是為了擷取影片中的活球 片段以供觀眾快速地瀏覽該比賽，所以每個活球片段後帶有一小段得分後的死球 片段，可以幫助觀眾知道球場上活球狀態是如何結束，所以此一小段死球片段這 是可以忍受的誤差，所以我們將這一小段時間定義為無關緊要的狀態，藉此保留 辨別規則的一致性，而不需對該類片段再做額外的處理。 我們利用不同顏色去標示目前影像是屬於何種比賽狀態，紅色表示活球狀 態，綠色表示死球狀態，而黃色則是無關緊要的狀態。當分析結果辨別出是屬於 哪一種狀態後，便會在原始畫面上顯示出相對應的字詞。 活球狀態之結果 當分析結果辨別是活球狀態時，如圖5-3(b)黑色箭頭所指處，原始畫面上會 出現紅色的「ball-in-play」，如圖 5-3(a)中左上角所示，代表現在是活球的狀態。 (a) (b) 圖5-3 活球狀態之結果 (a) 原始畫面，(b) 活球狀態分析結果。

44 死球狀態之結果 當分析結果辨別是死球狀態時，如圖5-4(b)黑色箭頭所指處，原始畫面上會 出現綠色的「ball-not-in-play」，如圖 5-4(a)中左上角所示，代表現在是死球的狀 態。 (a) (b) 圖5-4 死球狀態之結果 (a) 原始畫面，(b) 死球狀態分析結果。 無關緊要狀態之結果 當分析結果辨別是無關緊要之狀態時，如圖5-5(b)黑色箭頭所指處，原始畫

面上會出現黃色的「don’t care」，如圖 5-5(a)中左上角所示，代表現在是無關緊 要的狀態。

(a) (b)

45 5.3 活球時的球員軌跡分析結果 由4.4 節中，可以得到屬於目前時間點 t 的前景結果，我們對該前景結果進 行區域最高點的偵測。所謂「區域最高點」是指經過連通元件法後的一個前景物 體的最高點或由其輪廓中向左、向右計算有一定高度落差的像素點，以上兩種都 是「區域最高點」。以圖5-6 為例，圖 5-6(a)是前景結果，圖 5-6(b)是連通元件後 之結果，其中不同的顏色區塊代表不同的元件，圖5-6(c)是區域最高點的偵測結 果，紅點代表每一前景物的最高點，而黃點則是代表由輪廓中所找出的區域最高 點。 (a) (b) (c) 圖5-6 竹梅賽影片中第 1344 張 (a) 前景結果，(b) 連通元件後之結果，(c) 區域最 高點偵測結果。

46 為了追蹤球員，我們描繪代表頭部的最高點之軌跡，將不同時間點中的屬於 同一頭部的最高點串連起來。判斷為同一頭部的依據則是兩個時間點中最高點的 距離不可過大，若超過系統設定的門檻值，即會被判定成不同的頭部點。為了觀 察方便，我們選用後排球員的頭部點進行串連，如圖5-8 所示，其中不同顏色之 曲線代表不同之軌跡。 (a) (b) (c) (d) 圖5-7 竹梅賽影片中的一個片段之最高點偵測結果 (a) 第 1739 張，(b)第 1755 張， (c)第 1790 張，(d)第 1830 張。

47 (a) (b) (c) (d) 圖5-8 描繪圖 5-7 之最高點軌跡結果 (a) 第 1739 張，(b)第 1755 張，(c)第 1790 張， (d)第 1830 張。 由圖5-8 可以觀察球員頭部軌跡之變化，圖 5-8(a)是剛開始進行球員軌跡追 蹤的結果，圖5-8(b)則是準確進行了一段時間的追蹤結果，圖 5-8(c)中因為球員 們產生互相遮蔽的情形，所以在下方明明是同一球員卻有兩條軌跡的產生，也就 是淺藍色和深綠色軌跡，再經過一段時間後的軌跡結果如圖5-8(d)所示。在描繪 軌跡時會由於許多情形而導致錯誤，例如：球員互相遮蔽、球員和球相連在最高 點位置等，如何更進一步地改善在高複雜的排球場景中球員軌跡的正確性，相信 也是未來的展望之一。

48

第六章 結論與未來展望

在第六章中，我們為本論文做出總結並介紹本論文的未來展望工作。6.1 節 是本篇論文的結論，概略性地回顧本論文提出的排球影片內容分析系統中使用的 方法，及實驗結果的討論。6.2 節是本論文的未來展望，期許藉由執行未來展望 描述之工作，使本論文提出的系統針對排球影片內容分析方面能更加完善。

6.1 結論

在本篇論文中，我們提出一套針對排球影片內容的智慧型分析系統。在前處 理端部份，我們的系統採用連續影像相減的方法來切割出移動物體。使用灰階影 像相減的結果得到排球球體前景，並利用灰階值、形狀和飽滿度等排球特徵來偵 測移動中的排球，框選出一個最有可能的排球候選區域。再利用排球在短時間(例 如一秒)的不同影像內，位置上不會有太大的變化來進行排球候選區域之雜訊濾 除，可以消除許多位置上有太大差異的雜訊。 我們接著利用計算影像中活動變化量的多寡，搭配偵測特定區域內是否有排 球存在及量測變化量驅勢，我們經由上述三點的準備工作能判斷出影片內容是屬 於死球還是活球的狀態，以達成死活球段落分析。 在實驗結果方面，偵測排球的結果會由於分割出的排球前景好壞而有所影 響，比賽中使用的排球樣式亦會有所影響。死活球段落分析的結果我們依賴影像 中活動變化量的多寡，所以最適門檻值的選擇相當重要。由擷取的結果片段可以 看出，活球開始前的時間點預測準確，但死球後球員會有走位或是換球等的情況 發生，此時影像中活動變化量仍然很大，會造成誤判的情況發生。因此我們著重 於活球片段的保存，結束時會帶有一小段死球片段。經由實驗結果佐證本系統對 於從比賽後方拍攝角度的影片都有不錯的成果，只要攝影機不要晃動或是有人走 過的情形發生，都能擷取出活球的片段。