以視覺為基礎之指揮練習系統研究
63
0
0
全文
(2) 摘 要. 以視覺為基礎之指揮練習系統研究 劉定翔 本研究提出視覺化互動式音樂指揮系統供使用者培養音樂節奏感。利用快速 平均位移追蹤演算法即時追蹤指揮動作，並藉由分析指揮軌跡可以決定指揮速 度。使用者練習指揮時，本系統可以提供聽覺與視覺的節奏提示，來幫助使用者 穩定節奏感。甚至音樂速度可隨著指揮速度改變，作為進階的節奏訓練。 實驗結果顯示本研究的指揮追蹤與指揮速度偵測是很可靠的。音樂指揮實驗 顯示使用者藉由指揮系統練習節奏，對提升節奏感是很有效果的。. 關鍵字：物體追蹤，指揮.
(3) ABSTRACT A Vision-based Music Conducting Practicing System Liu, Ting-Shiang This paper presents a vision-based interactive music conducting practice system. A fast mean-shift object tracking algorithm is implemented to track the baton of the conductor in real time. By analyzing the tracked baton path, the conducting tempo is determined. When practicing, the system provides both visual and audio cues to help user to improve their steadiness. Furthermore, practice conduction of MP3 music with realtime feedback is possible. Experimental results show that the system is robust in terms of baton tracking and tempo detection. Furthermore, music conduction experiments show that the practicing system is effective for steading user's conducting tempo and enhancing conducting skills with only limited number of practices.. Keywords: object tracking, conducting.
(4) 誌. 謝. 兩年的研究所生涯很順利地畢業了，研究的過程中雖然遭遇許多的挫折與困 難，但也渡過不少的歡樂時光，對於這兩年遇見的人、事、物真的很開心。 最感謝李忠謀 老師充滿研究熱情的指導方式，不斷給予我研究上的方向與 協助，每次的指導都是一次收穫，兩年來獲益良多，很慶幸自己碰到一位替學生 著想的良師。 很感謝我的父母親一直都很開民的支持我所做的每一項決定，使我沒有後顧 之憂可以全心完成學業。感謝女友姵君的陪伴，除了做研究之外，不當個宅男。 感謝 VIPLab 共患研究所苦難的好同學們：熟悉物件辨識的家維、熱衷於人臉追 蹤的凱民、精通人臉辨識的依佳、了解浮水印優缺點的靜雅、多方嘗試投影片切 割的百璋，除了研究上互通有無、互相幫助外，亦是很好的玩伴，一起找樂子放 鬆苦悶的研究生活。 感謝碩一打工時的白莉組長與培修學長，指導我許多做事的方法與提供許多 工作上的寶貴意見，使我對未來的職場生活有初步認識，亦不害怕畢業即失業的 問題。 最後感謝李忠謀 老師的助理們與實驗室的同學和學弟妹們，沒有你們幫忙 做實驗，我的論文肯定不能完成，非常感激你們。.
(5) 目錄 第一章 緒論................................................................................................................... 1 1.1 1.2 1.3 1.4. 研究動機 .............................................................................................................. 1 研究目的 .............................................................................................................. 2 研究範圍與限制 .................................................................................................. 2 論文架構 .............................................................................................................. 3. 第二章 文獻探討........................................................................................................... 4 2.1 指揮手勢追蹤系統的相關研究 .......................................................................... 4 2.1.1 以感應器為基礎之指揮手勢追蹤............................................................... 4 2.1.2 以視覺為基礎的指揮手勢追蹤系統........................................................... 7 2.2 移動物體偵測與物體追蹤相關研究 ................................................................ 10 2.2.1 移動物體偵測............................................................................................. 11 2.2.2 物體追蹤..................................................................................................... 13 第三章 即時物體追蹤之指揮練習系統..................................................................... 15 3.1 簡介 .................................................................................................................... 15 3.2 移動物體偵測 .................................................................................................... 18 3.2.1 光流(optical flow)....................................................................................... 18 3.2.2 矩(moments) ............................................................................................... 19 3.3 系統目標物體追蹤 ............................................................................................ 20 3.3.1 平均位移演算法......................................................................................... 21 3.3.2 相似衡量(distance metric).......................................................................... 22 3.3.3 平均位移追蹤............................................................................................. 23 3.3.4 快速平均位移演算法................................................................................. 25 3.4 指揮速度偵測與分析 ........................................................................................ 26 3.4.1 曲率值演算法............................................................................................. 27 3.4.2 相對最小位置演算法................................................................................. 28 3.5 節奏訓練與指揮音樂模組 ................................................................................ 28 第四章 實驗結果和討論............................................................................................. 30 4.1 簡介 .................................................................................................................... 30 4.2 物體追蹤與指揮速度偵測實驗 ........................................................................ 31 4.3 物體追蹤與指揮速度偵測實驗結果與分析..................................................... 32 4.4 節奏感培養實驗 ................................................................................................ 35 4.5 節奏感培養實驗結果與分析 ............................................................................ 37 4.6 指揮音樂實驗 .................................................................................................... 40 第五章 結論與未來研究............................................................................................. 44 5.1 結論 .................................................................................................................... 44 5.2 未來研究 ............................................................................................................ 44 參考文獻....................................................................................................................... 46 I.
(6) 附錄............................................................................................................................... 50 附錄 1 附錄 2 附錄 3 附錄 4 附錄 5 附錄 6. 快板歌曲指揮節奏數據 .............................................................................. 50 行板歌曲指揮節奏數據 .............................................................................. 51 慢板歌曲指揮節奏數據 .............................................................................. 52 快板歌曲指揮音樂數據 .............................................................................. 53 行板歌曲指揮音樂數據 .............................................................................. 54 慢板歌曲指揮音樂數據 .............................................................................. 55. II.
(7) 附表目錄 表 1 平均位移追蹤演算.............................................................................................. 25 表 2 平均位移加速演算法.......................................................................................... 26 表 3 節拍器的擺臂為目標，轉折點(節拍點)偵測結果........................................... 33 表 4 指揮棒為目標，轉折點(節拍點)偵測結果....................................................... 34 表 5 指揮棒為目標，轉折點(節拍點)偵測結果....................................................... 35 表 6 以節拍器的擺臂當目標，節拍點偵測加上音樂速度限制結果...................... 35 表 7 慢板歌曲指揮 T 考驗結果 ................................................................................. 38 表 8 行板歌曲指揮 T 考驗結果 ................................................................................. 39 表 9 快板歌曲指揮 T 考驗結果 ................................................................................. 40. III.
(8) 附圖目錄 圖1. 由無線電棒子，接收天線的板子和電子箱組成[3]......................................... 4. 圖2. Buchla Lighting Baton [16] ................................................................................. 5. 圖3. 數位指揮棒 [18]................................................................................................. 5. 圖4. conductor’s jacket 的硬體架構 [19]................................................................... 6. 圖5. 大量的感應器來做追蹤 [12]............................................................................. 6. 圖 6 personal orchestra 硬體架構 [4]......................................................................... 7 圖7. 介面架構 [20]..................................................................................................... 8. 圖8. 視覺為基礎的人機介面 [9]............................................................................... 8. 圖9. 指揮的手和指揮棒由兩個攝影機擷取影像 [25]............................................. 9. 圖 10 完整系統，結合 EyesWeb [7]和 Mixxx [2]模組............................................... 9 圖 11 波士頓博物館的 You’re the Conductor 系統 [15] .......................................... 10 圖 12 系統流程圖........................................................................................................ 17 圖 13 矩分析圖形........................................................................................................ 20 圖 14 三個基本的指揮手勢，節拍點位置皆在軌跡的轉折 [6]............................. 27 圖 15 三個基本的指揮手勢，節拍點位置在相對最低點處.................................... 27 圖 16 節奏練習模組：指揮節拍與音樂節拍比對方式............................................ 29 圖 17 指揮音樂模組：音樂隨著指揮節拍點時間改變原本音樂速度.................... 29 圖 18 使用者介面........................................................................................................ 31 圖 19 節拍器的擺臂追蹤與節拍點偵測.................................................................... 33 圖 20 指揮棒追蹤與節拍點偵測................................................................................ 34 圖 21 指套追蹤與節拍點偵測.................................................................................... 34 圖 22 節奏感培養實驗進行方式流程圖.................................................................... 36 圖 23 慢板歌曲指揮節奏結果.................................................................................... 37 圖 24 行板歌曲指揮節奏結果.................................................................................... 38 圖 25 快板歌曲指揮節奏結果.................................................................................... 39 圖 26 慢板歌曲指揮音樂結果.................................................................................... 41 圖 27 行板歌曲指揮音樂結果.................................................................................... 42 圖 28 快板歌曲指揮音樂結果.................................................................................... 42. IV.
(9) 第一章 緒論. 1.1 研究動機 穩定的節奏感是音樂演奏者或舞蹈表演者必須具備的技能。節奏最簡單的定 義就是聲音的長短與強弱的結合。對長短音與強弱音的感覺及反應的能力稱之為 節奏感。節奏感對音樂不熟悉者是抽象的概念。了解節奏感必須具備一個基本能 力[1]：能辨別音的長短。這項能力可以靠打拍子培養。傳統上使用節拍器幫助使 用者解釋音樂節奏與訓練音樂節奏感，利用聽覺給予使用者輔助，但節拍器無法 具體的給予使用者視覺上打拍子太快或太慢的訊息，也無法詳細告知使用者的節 奏感是否有進步或退步。因此，本研究擬研發在使用者練習音樂節奏的時候，提 供視覺與聽覺的節拍資訊來幫助使用者穩定節奏。 為了讓電腦知道使用者打拍子時的律動，必須提供一個與電腦互動的介面做 溝通。此人機介面是由系統自動決定與電腦互動的目標、允許目標與電腦有即時 互動能力。互動目標的決定是個難題。假設事先知道目標顏色為膚色的前提下， 可以利用膚色偵測法，但是此法有時會把衣服顏色誤認為膚色，造成偵測錯誤 [13]。除了顏色的資訊外，額外的資訊，例如物體的移動，也有助於提高目標偵 測與定位的正確率[28] 。造成無法與電腦有即時互動的原因有很多[11]，例如： 互動目標的運動軌跡是不規則的、追蹤目標技術複雜使得計算耗時等，這些都必 須克服才能達成即時的追蹤。. 1.
(10) 1.2 研究目的 為了培養使用者的節奏感，本研究擬以電腦視覺的技術，配合電腦音樂播放 的功能，同時提供視覺上與聽覺上的節奏資訊。本研究擬以使用者的指揮動作為 目標，利用物體偵測與即時物體追蹤技術產生的軌跡和電腦做溝通。藉由轉折點 演算法分析軌跡資訊，電腦可偵測使用者指揮的速度是否與正在播放的音樂速度 一致。在音樂節拍點出現的前後，提供視覺化的圖形標記，表示音樂節拍點出現 的時間訊息，作為使用者調整指揮速度的依據。最後給予使用者指揮練習的成 績，作為節奏感進步或退步的參考。. 1.3 研究範圍與限制 本研究以使用者在室內的環境中培養音樂節奏感為範圍。利用一個固定不動 的網路攝影機來追蹤指揮動作，指揮動作不超出攝影機畫面。主要的追蹤目標可 為一個與背景顏色不同的圓頭指揮棒、指套，或其他器材，當作指揮時手的延伸。 藉由指揮動作來培養使用者音樂上的節奏感。 在此種環境與條件下，仍必須面對以下問題： 1. 一般來說，指揮家在開始指揮前，會將指揮棒做個移動表示要開始指揮 了。因此本研究在開始指揮前，會將指揮的目標物體做個移動，並且假 設此時攝影畫面中只有這一個移動明顯的物體。 2. 一般有指揮的樂團都在光源穩定的舞台上演出，因此練習指揮的節奏感 時，假設室內光源是穩定不變的。 3. 正式的指揮家與樂團在演出時，指揮家的指揮速度都會比樂團演奏歌曲 的速度快上一些，因此本研究無法完全模擬真實的指揮情境，不適用於. 2.
(11) 一般的指揮家訓練。. 1.4 論文架構 本論文共分五章，第一章為緒論，第二章探討與本研究相關之文獻。第三章 提出研究中所使用的理論與方法，並描述系統的架構和演算法細節。第四章是實 驗結果和討論。第五章做總結，並探討未來的研究方向。. 3.
(12) 第二章 文獻探討. 2.1 指揮手勢追蹤系統的相關研究 音樂指揮手勢追蹤系統發展到目前已經十幾年了。依據人機介面輸入裝置的 不同，主要分成兩大類別[6] 。第一類是以感應器為基礎的系統，另一類是以視 覺為基礎的系統。2.2.1 節探討以感應器為基礎之指揮手勢追蹤，2.2.2 節探討以 視覺為基礎的指揮手勢追蹤。. 2.1.1 以感應器為基礎之指揮手勢追蹤 1991 年，如圖 2.2.1(a)，Max Mathew’s [3]的無線電指揮棒(radio baton)讓使用 者利用指揮棒在三維空間移動，系統再偵測移動軌跡來控制電腦音樂的系統，藉 由一個或多個指揮棒發出無線電的頻率信號(frequency signals)到一個平滑的控制 板上來決定指揮手勢，這些手勢可以控制樂器數位界面(MIDI)檔案的播放。. 圖 1 由無線電棒子，接收天線的板子和電子箱組成[3] 1992 年 Adaptive Conductor Follower 系統[16]，利用一個特殊的指揮棒 Buchla Lighting Baton，如圖 2.2.1(b)，此指揮棒利用光學中三角測量的特性，準確的將 指揮棒的座標位置和移動傳送給接收端，再將此資訊傳送給 MIDI 訊號來控制樂 器演奏的方式。此系統除了使用特別的指揮棒之外，提供了如何在節拍分析的階 4.
(13) 段去估計和預測節奏，最大的嘗試是使用類神經網路的方法完成節拍比對的辨識 需求。除了二維座標的應用外，利用兩個 Buchla Lighting Baton，收集和分析在三 維空間中的資訊，有能力控制節拍、控制力度、做節拍比對辨識等行為。. 圖 2 Buchla Lighting Baton [16] Marrin 和 Paradiso [18]在 1996 年實做出 Digital Baton 系統，如圖 2.2.1(c)，該 系統的輸入裝置包含了壓力與加速度的感應器，一個對位置感應的光電二極管 (position-sensitive photodiode)攝影機可追蹤在指揮棒的上端裝載紅外線的發光二 極管(Light Emitting Diode)，這個資訊可以提供給系統調整 MIDI 音樂節拍、力度 的依據。. 圖 3 數位指揮棒 [18] Multi-Model Conducting Simulator 裝置[24]，1998 年，由 Usa 和 Mochida 設 計，此系統用兩個加速度感應器、一個眼睛攝影機(eye camera)、和一個呼吸感應 器來控制音樂每小節開始時的力度，此系統是第一個利用隱藏式馬可夫模型 (Hidden Markov Model)，來比對右手指揮的手勢，也是第一個在輸入時做眼睛追 蹤的系統。 Digital Baton 之後，1998 年 Marrin 和 Picard 開發 Conductor’s Jacket 系統[19]， 如圖 2.2.1(d)，相較於前幾年的研究都在強調追蹤指揮棒的座標位置，Conductor’s Jacket 由四個肌肉緊縮肌動電流圖(muscle tension electromyogram)感應器、呼吸監 5.
(14) 視器、心跳頻率監視器、溫度感應器和皮膚回應(skin response)感應器所組成，分 析手勢移動時，肌肉的緊縮來判斷手勢訊息。. 圖 4 conductor’s jacket 的硬體架構 [19] 1999 年，如圖 2.2.1(e)，Ilmonen 和 Takala [12]使用類神經網路的方法實做一 個指揮辨識系統，利用大量的移動追蹤器來收集位置資訊，再從指揮過程中獲得 節拍的資訊，採用類神經網路來辨識和預測節拍，此系統只懂標準的指揮技術， 使用者必須有指揮的先備知識才可使用。. 圖 5 大量的感應器來做追蹤 [12] 2002 年，Borchers et al.[4]，如圖 2.2.1(f)，開發 Personal Orchestra 系統，類 6.
(15) 似先前介紹的指揮系統設計，使用 Buchla Lightening baton，使用者與合成的音樂 或是管絃樂團演奏的音樂檔做互動，主要貢獻是能夠將壓縮過後的音樂檔案，利 用音高位移演算法(pitch-shifting)，將原本的音樂速度增加或遞減到一個範圍內， 而不使音樂的音高(pitch)改變。利用指揮棒上下移動和左手位在垂直座標當指示 器來判斷節拍點，這一個簡單的辨識方法。這也是第一套利用自然的指揮手勢做 即時控制音樂資料播放的系統。. 圖 6 personal orchestra 硬體架構 [4]. 2.1.2 以視覺為基礎的指揮手勢追蹤系統 1991 年，Morita et al. [20]，如圖 2.2.2(a)，設計 Computer Music System that Follows a Human Conductor，是第一個使用配有紅外線過濾器的電腦控制顯示器 (CCD)攝影機當作輸入裝置。使用者左手戴白色資料手套，可以分析手的位置和 手指的彎曲程度，右手拿著紅外線指揮棒，透過 CCD 攝影機，電腦可以獲得指 揮棒的座標位置，並紀錄指揮棒的移動軌跡。移動軌跡出現在攝影機的高位置和 低位置可用來判斷節拍。. 7.
(16) 圖 7 介面架構 [20] 另有個系統同樣是以 CCD 攝影機當作輸入的裝置叫 Light Baton，此系統的 目的是要讓現場音樂的演奏和預先錄好的 MIDI 音樂做同步，指揮的手勢作為表 演者和電腦的溝通，一個特殊的照射器裝在指揮棒的上緣，用來發射燈光訊號給 CCD 攝影機，影像擷取面板可以擷取燈光照射的位置，事先錄好的音樂會跟著手 勢的節拍和振幅去做改變。 Michael[9]實做以視覺為基礎的即時人機介面，如圖 2.2.2(b)，用來分析和描 述音樂指揮者的手勢來偵測節拍。使用了許多基本影像處理的方法包括了：紅綠 藍顏色閥值(RGB color threshold)、多個輪廓的擷取和中心點的計算，來偵測音樂 上的節拍點。但因為當時電腦計算能力效率差，使得這個系統的整體表現不佳。. 圖 8 視覺為基礎的人機介面 [9] 2000 年，Segen et al. [25]開發 Visual Interface for Conducting Virtual Orchestra，如圖 2.2.2(c)，利用兩個同步的攝影機擷取指揮棒在三維空間上的軌 8.
(17) 跡，定義節拍點的位置在軌跡路徑中的相對低點位置。同時，描述了一個音樂跟 著指揮改變速度的概念：在 Personal Orchestra 系統中，會去計算音樂資料的節拍 點要與指揮者的節拍點吻合，當使用者指揮到節拍點時，但音樂尚未撥放到節拍 點，會忽略一些音樂資料而移到節拍點位置。因此，提出了改變音樂資料的節拍 點速度要是漸進的看法，不能突然跳躍至音樂資料的節拍點而省略其他部分音樂 資料。. 圖 9 指揮的手和指揮棒由兩個攝影機擷取影像 [25] 2003年，Murphy [21]等人提出一個透過標準的指揮動作可以控制音樂播放節 奏的指揮手勢辨識系統，如圖2.2.2(d)。主要的方法包含了三大部分：動作追蹤 (gesture tracking)、音樂節拍點測量(audio beat estimation)、音樂時間縮放(audio time scaling)。一個攝影機可以追蹤位於它面前指揮家的右手或者指揮棒上緣，指揮棒 的追蹤需要更複雜的追蹤技術；手的追蹤可以直接使用(Lucas Kanade feature tracking)追蹤演算法。. 圖 10 完整系統，結合 EyesWeb [7]和 Mixxx [2]模組 2004年，Lee[15]提出You’re The Conductor，是一套為了鼓勵小孩子探索音樂 9.
(18) 而設計的系統，輸入裝置是紅外線棒，它的信號可以被攝影機內的晶片偵測到， 指揮棒的移動可以轉換成播放音樂的速度和音量大小，如果指揮棒移動地越來越 快，則音樂會加速，相反的，音樂會慢慢減速。與Personal Orchestra不同的是使 用了即時的、高品質的時間延展演算法(time stretching algorithm)來延遲或加快音 樂播放速度，可以將使用者的輸入動作給予更固定準確的回應。. 圖 11 波士頓博物館的 You’re the Conductor 系統 [15] 在2007年，Terence Sim [26] 等人，提出以視覺為基礎的互動音樂播放系統 VIM，允許任何人來做音樂的指揮，這個系統不用任何的辨識技術來針對特定的 指揮。只用物體移動的速度和物體大小來判定現在使用者想讓音樂播放速度變快 或變慢，變大聲或變小聲。 2007年，Chuang et al. [6] 允許使用者框出追蹤的目標物，利用camshift演算 法，可即時追蹤標物體的移動，正確的偵測指揮動作的節拍點，達到分類出使用 者指揮兩拍、三拍以及四拍的手勢。. 2.2 移動物體偵測與物體追蹤相關研究 物件追蹤在電腦視覺領域裡是一個重要的工作且是個非常具有挑戰性的問 題[29]。困難原因在於感興趣的追蹤物體會突然移動、物體和場景外貌會改變、. 10.
(19) 非剛體(non-rigid)物體的結構、物體對物體或場景對物體的遮蔽、和攝影機的移動 等。目前電腦效能的提升，高品質但低價格的錄影攝影機或視訊攝影機(web cam) 出現，使得自動分析影片(video analysis)的需求提升，越來越多學者在物體追蹤演 算法產生感興趣，認為是眾多應用的基礎，例如：以移動為基礎的辨識 (motion-based recognition)、自動監視器(automated surveillance)、人機介面、交通 監控(traffic monitoring)等。影片分析主要可以分成三個大步驟[32]：感興趣移動物 體偵測、用連續畫面的關係追蹤物體、物體軌跡的分析來辨識行為。在本章的內 容中，針對移動偵測和物體追蹤相關研究做介紹。. 2.2.1 移動物體偵測 每類追蹤演算法都需要物體偵測的機制，應用在每幅畫面中或是當物體第一 次出現在畫面時。物體偵測的方法通常都只會用到單一幅畫面的資訊，除此之 外，也常利用連續的時間擷取連續的畫面資訊來降低偵測的錯誤，常用的方法是 畫面相減(frame differencing)，此法可以顯示出連續畫面中物體改變的範圍，給予 這個物體改變的範圍，便可做追蹤的任務。這裡，介紹幾種移動物體偵測常用的 方法。 (1) 背景相減(background subtraction) 背景相減是移動物體偵測流行的方法，特別在背景是靜止的情況下。藉由目 前的畫面與當作參考背景的畫面以像素值為單位相減，便可偵測出物體移動的範 圍，但是對背景會改變相當敏感，例如：光線改變、無關的移動物體、搖晃的樹 枝、背景有小的震動等，都會造成錯誤偵測。因此，使用這個方法要有一個背景 模型(background model)，來降低這些使背景改變的外在因素。目前，已經有提出. 11.
(20) 很多方法來解決背景相減的問題[29], [32]，包括了計算一段時間內的畫面平均 值、對畫面中的像素值做混合高斯模型的處理，使畫面可以做回復和更新，並且 隨著光源的變化動態更新背景，畫面改以像素大小、範圍大小和畫面大小為依據 做背景維護和背景相減、將畫面中的像素以機率模型來表示[30], [10]等。 (2) 時間的相減(temporal differencing) 簡單來說，以一個像素值的大小，利用連續兩個或三個相鄰的畫面做相減， 即可擷取出物體移動的範圍。此方法非常適合用在動態的環境，但是無法完全擷 取全部的像素[31]，例如：找出來物體移動的範圍內會是一個空洞。把相鄰的兩 張畫面相減之後小於某閥值，把此像素歸類為背景，若大於某閥值，則歸類為前 景，利用連通圖分析(connected component analysis)的處理，將移動的像素範圍集 合成移動的物體範圍。 (3) 光流(optical flow) 在很多場合中，沒有關於連續畫面中的先備知識，卻想得到畫面中感興趣的 範圍，藉由獲得移動的資訊來分析畫面，通常，這些移動的資訊就是畫面中感興 趣的範圍。在每張畫面中，給每像素一種速度[5], [17]，也就是該像素在前一張畫 面的位置到現在這張畫面的位置所移動的距離。這樣的建造模式，稱為密集光流 (dense optical flow)。可以直覺的想，試著去配對某區塊中的每一個像素到相鄰的 下一張畫面的某個區塊，也叫做區塊比對(block matching)，因為這類方法是對畫 面中的全部像素或是區塊內的全部像素去計算，所以計算較複雜、耗時。稀疏光 流(sparse optical flow)，是前述方法的改進，不針對畫面中全部的像素去做計算， 事先找出畫面中有某些特殊性質的點集合，針對這些集合去做光流的計算，如 此，運算速度可以提高，較省時。以光流為主的方法，甚至可以在攝影機晃動的. 12.
(21) 情況下，單獨偵測移動的物體。. 2.2.2 物體追蹤 通常我們在偵測到物體之後，後續的連續畫面中則使用物體追蹤演算法，去 追蹤每張畫面裡感興趣的物體位置。一般的追蹤演算法會利用上一張畫面計算的 結果當作現在處理畫面中的輸入值。相較於偵測時，要對整張畫面做處理才能得 到感興趣的物體位置，利用追蹤演算法較能節省時間，以利追蹤時要做其他應用 所需要額外的負擔。這領域主要的挑戰包括了複雜背景問題、雜訊、光源的改變、 物體遮蔽和物體外型、外貌與姿勢的改變等。大部分的追蹤演算法可以粗略的分 為以下四大類[29]： (1) 以斜率為基礎的方法(gradient-based)： 找目標位置的方法是依據連續的畫面中找出最小的花費函數(cost function)， 例如：Bruce D. et al. [17] 為了找出相鄰兩個畫面物體移動的距離，利用物體移動 前後，這兩位置的灰階度會相等找到一個花費函數，假設此花費函數為 E ，位移 為 h ，位置 x 的像素灰階度為 F ( x ) ，則 E = ∑ ( F ( x + h) − F ( x)) 2 ，藉由找一個移 x. 動距離 h 使花費函數有最小值，藉此方式找到 h 。此法必須在某個範圍內做全部 像素的搜尋計算每個花費函數，找出最小花費函數才能確定移動的位置距離和方 向。. (2) 以特徵為基礎的方法(feature-based) 找目標的方式是在追蹤前先知道追蹤物體的特徵，例如：灰階度、顏色、線 條、甚至輪廓，再利用此特徵來比對找到的物體是否為我們要的。其缺點在於容 易被畫面中的其他物體遮蔽特徵而導致追蹤失敗。D.Comaniciu et al. [8] 提出的 13.
(22) 演算法為此類方法之一，先建立特徵目標模型，利用此模型在一定收尋範圍內以 迭代的方式計算權重，找到目標候選模型出現的座標。. (3) 以知識為基礎的方法(knowledge-based) 使用前題為事先了解目標的相關先備知識(a priori knowledge)，例如：形狀、 膚色模型或者物體輪廓。P.C. Hernandez et al. [11] 提出，利用擷取出來的人體輪 廓，來分析頭、雙手、雙腳在每一個時間點畫面中的位置，主要以貝式 (Bayesian) 理論為基礎，計算出相鄰時間的位置座標，是否歸為同一類的機率。這一類的方 法，計算複雜度不高，容易達到即時的效果。. (4) 以學習為基礎的方法(learning-based ) 利用圖形辨識的演算法來學習目標物體，並在連續畫面中搜尋物體。D.A.. Ross et al. [23] 提出把追蹤的目標臉，用特徵臉 (eigenface) 來表示之後，再用粒 子濾波器 (particle filter) 搜尋某個範圍的所有粒子的個別區域，計算每個粒子的 平均值，給予一個權重值，算出目標物體的位置，並且以新得到的平均值去更新 臉的特徵臉，再繼續下張畫面的計算，達到追蹤的效果。. 14.
(23) 第三章 即時物體追蹤之指揮練習系統. 3.1 簡介 電腦視覺為基礎的指揮手勢系統中，[6]和[21]的研究焦點在設計整個互動式 指揮手勢系統架構。本研究以 Chuang et al. [6]自行發展的指揮手勢系統架構為基 石，以更人性化、更自動化、更準確為目標來做系統的延伸。Chuang [6] 研究中， 允許使用者自行圈選要追蹤的標的物，才開始指揮手勢追縱。這方式不僅讓使用 者可自行挑選適合的指揮器材，更使系統準確的知道追蹤目標的資訊，並過濾不 重要的畫面內容，提供系統在穩定的環境下執行。為了讓系統有更自動化的能 力，在架構上，捨棄使用者自行挑選目標的功能，增加移動物體的偵測並利用平 均位移演算法(mean shift)來做追蹤系統。系統的流程如圖 3.1 所示，各模組說明 如下：. (1) 移動偵測模組 利用移動的資訊，在畫面中找出移動且顏色都相同的相鄰像素中心點位置和 範圍，此區域即是追蹤物體的所在位置及大小。. (2) 物體追蹤模組 給予追蹤目標中心位置以及物體大小，建立目標模型與目標候選模型之後， 執行快速平均位移追蹤演算法，此法加快了平均位移演算法的收斂速度，可 在極短的時間內於收尋範圍區域找到目標物體中心點位置。. (3) 指揮速度偵測模組 連續兩個相鄰的節拍點時間差可以決定一拍的指揮速度。物體追蹤模組不斷. 15.
(24) 找出物體位置形成一個軌跡路徑。運用相對最小位置演算法與曲率值演算法 皆可在軌跡路徑上判斷指揮的節拍點位置。. (4) 節奏訓練與指揮音樂模組 指揮動作產生一拍的時間與播放音樂一拍的時間做比較，若誤差在某範圍 內，表示指揮速度有跟上音樂播放節奏，以此方式訓練節奏。指揮音樂主要 讓播放中的音樂隨著指揮動作的速度加快或減慢，去改變原本音樂播放的快 慢。. 16.
(25) 圖 12 系統流程圖. 17.
(26) 3.2 移動物體偵測 本研究的第一步使用移動物體偵測演算法。首先，整張畫面利用光流演算法 找出移動像素位置，以移動像素為目標計算矩找出物體中心點位置。追蹤目標物 的區域是相同顏色，從物體中心點位置開始，往相鄰的像素開始找相同顏色的像 素位置，得到的位置範圍即是追蹤目標的大小。. 3.2.1 光流(optical flow) 第二章曾經提過，任何的物體追蹤演算法在使用之前，都必須先知道追蹤的 目標為何。在事先不知道追蹤目標前提下，可以藉由物體移動的資訊來找出追蹤 的目標。本研究中，使用者必須一開始就讓電腦偵測追蹤目標。可藉由左右移動 物體產生移動資訊，但是太劇烈的振動或移動不是正常的使用者會有的行為。因 此物體移動時的速度不會太快，在相鄰的畫面中，一定會有重複的區域。同時也 會有差異的區域，此區域即是物體移動的範圍。欲追蹤的目標物體區域顏色是一 樣的，在相鄰的兩張畫面裡目標物體會有相同的亮度。魯卡斯-加奈(Lucas-Kanade) 光流演算法[17] 在使用上有以下三點特性：. 1. 亮度一致：同個平面上的像素亮度在連續畫面裡不會有太大的改變。 2. 微小移動：物體在連續畫面裡移動的距離或改變要很緩慢。 3. 空間連慣性：同個平面上的相鄰像素有同樣的移動訊息。 上述特性與本研究中偵測移動目標的應用相符合，因此本系統採用魯卡斯-加奈光 流演算法來偵測移動的物體作為追蹤目標。 光流演算法的主要精神在找位移 h 使 F [ x + h] = F [ x] + h × F '( x) ， F ( x) 表 x 位 置的灰階度。設 G ( x) = F ( x) ，利用在 t 時間後，像素 x 移動 h 距離到的新位置與. 18.
(27) 之前的位置亮度相等的假設。設花費函數為 E ， E = ∑ [ F ( x + h) − G ( x)]2 找到一個 x. h ，使 E 為最小值的概念來解。可得解如下：. h≈. ∑. x. F ( x)[G ( x) - F ( x)]. ∑. F ( x)2 x. (1). h 表示該像素 x 的移動距離。. 用此方式，找出所有像素的位移，若位移超過閥值，表示像素有明顯移動， 當成物體移動判斷的依據。. 3.2.2 矩(moments) 整張畫面的移動資訊獲得之後，在本研究中只有移動明顯的區域範圍當作是 前景。矩(moments) [22]是一個統計值，例如:平均數、變異數。因此矩可以用來 描述圖片區域(region)的形狀，利用區域中像素的灰階程度用權重平均求得。高階 矩可藉由已知的低階矩得知，很適合用在二元圖(binary image)裡，分析某塊前景 區域的形狀特性。 當我們的系統把追蹤的目標判斷成前景之後，將該張畫面轉換成二元圖，利 用矩找到目標物體位置。圖片或區域的矩 M ij 由以下式子求得： M ij = ∑∑ x i y j ⋅ I ( x, y ) x. (2). y. 其中，x、y 分別表示水平座標與垂直座標， I ( x, y ) 表示位於座標 ( x, y ) 的灰階度， 矩階級(moment of order)以 (i + j ) 表示。 區域面積或灰階度的總和，可經由第零階矩(zero order moment)獲得： M 00 = ∑∑ I ( x, y ) x. y. 區域中心可由第一階矩 M 10 、 M 01 與第零階矩 M 00 相除求得： 19. (3).
(28) M 10 = ∑∑ x ⋅ I ( x, y ). (4). M 01 = ∑∑ y ⋅ I ( x, y ). (5). x. x. y. y. Center of Mass= (. M 10 M 01 , ) M 00 M 00. (6). 一團區域對 x 軸的角度可以經由計算中央矩(central moment)和主要矩(principal. moments)獲得，以下列式子計算可得。. μ 00 =M 00 , μ 01 =μ10 =0 , μ 02 =M 20 -xM10 , μ11 =M11 -xM o1 , μ 20 =M 02 -yM 01 λmax =1/2(μ 20 +μ 02 )+1/2 μ 202 +μ 022 -2μ 20 μ 02 +4μ112 Θ = tan -1 (. λmax -μ 02 ) μ11. (7). 其中， μij 為中央矩、 λmax 為主要矩、 Θ 為區域與 x 軸夾角， 如圖 3.2.1. 圖 13 矩分析圖形 經由以上的計算，可以得知目標區域的大小範圍等資訊。. 3.3 系統目標物體追蹤 本研究希望讓使用者任意使用一個與背景不同顏色的物體作為手的延伸來 練習指揮動作。因為不同物體的外貌皆不盡相同，最易辨別不同物體的特徵是物. 20.
(29) 體的顏色與大小。利用移動物體偵測取得目標的中心位置與大小之後，可以利用 密度估計(density estimation)的技巧來找出目標大小範圍內顏色的特性。本研究採 用以核函數為主的密度估計(kernel-based density estimation)技巧[8]，近年來在電 腦視覺的領域中越來越受到重視，最好的例子就是平均位移(mean shift)演算法， 應用在圖片分割和視覺追蹤。平均位移為一個非參數密度分析(nonparametric. density analysis)工具，本質上，是一個在密度分佈空間中找眾數(mode)的演算法， 利用核函數在某區域範圍內觀察到的資料計算權重的平均，用這種方法，密度眾 數不用精確的估計密度便可找到。平均位移追蹤(mean shift tracking)演算法利用前 述的概念與物體的顏色為特徵來實現物體追蹤，是一個快速且準確的方法，同時 也能應付物體在外貌(appearance)和姿勢(pose)的改變，以下將清楚描述平均位移 演算法的細節以及如何應用在物體追蹤上。. 3.3.1 平均位移演算法 給一個初始的點，從此點在搜尋的空間範圍內找到眾數亦稱為區域最大解. (local maximum)，是這演算法的精神。在 x 位置的核函數密度估計以下列式子表 示：. lf ( x) = ck ,d h ,k nh d. n. ∑ k (|| i =1. x - xi 2 || ) h. (8). 其中， n 是資料的個數， h 是空間大小的參數、 d 表示維度、 ck , d 是正規化後的常 數、 k 是核函數，用來估計密度，本研究使用高斯核函數(Gaussian Kernel)。. Comaniciu [8] 證明了機率密度函數以圖形來表示會類似波峰形狀，給予任一 個起始點，該起始點要找的區域最大解位在波峰的位置，所以該點要朝最陡峭的 斜坡方向往波峰邁進，就會找到區域最大解。 21.
(30) 因此從任一起始點 x 在 h 的範圍內，找出此範圍內資料眾數的中心位置，此中心 位置與 x 的距離稱為平均位移向量。再以眾數的中心位置做為另一起始點 x ，並 在 h 的範圍內找新的眾數的中心位置。如此遞迴地尋找某區域內的眾數中心位置 的演算法便稱為平均位移演算法。其中位於 y j 的平均位移向量(vector) m( y j ) 表示 如下：. yi - xi 2 || ) h m( y j ) = - yj n yi - xi 2 ∑ i=1 g (|| h || ). ∑. n. x g (||. i =1 i. (9). g ( x ) = -k ' ( x ). (10). y j +1 = y j + m( y j ). (11). yi 是所有資料 xi 的權重平均位置， k 是核函數， n 是資料的個數， h 是空間大小 的參數，從 y j 可以再次估計最大斜率的方向，即 y j +1 的位置，. 3.3.2 相似衡量(distance metric) 套用平均位移演算法做物體追蹤時，為了利用上一張畫面追蹤的結果作為本 次追蹤收尋的依據，定義了目標模型與目標候選模型。為了在每一次的畫面中， 從目標候選模型的範圍內收尋目標模型所在的位置。因此必須定義目標模型與目 標候選模型是否相似的衡量標準。此衡量標準為一個相似函數 d ( y ) ，相似函數值 越小表示目標模型與目標候選模型越相似。相似函數利用 Bhattacharyya 係數 ρ ( y ) 來定義兩個直方圖之間是否相似， lp ( y ) 和 q( y0 ) 分別表示在 y 位置的目標候選模 型直方圖和物體起始位置在 y0 的目標模型直方圖，以下列式子表示：. 22.
(31) n. ρ ( y ) = ∑ lp u ( y ) qu ( y0 ) u =1. (12). d ( y ) = 1- ρ ( y ). 其中， n 為直方圖 bin 的個數， u 是直方圖的 bin 值。 若相似函數 d ( y ) 要表示兩個模型是相似的，則要使 ρ ( y ) 值為最大。只要能使 ρ ( y ) 為區域範圍內的最大值，表示目標候選模型與目標模型的中心點都在相同座標位 置。. 3.3.3 平均位移追蹤 給予物體大小、顏色與中心點位置等資訊，平均位移演算法可以在下一張畫 面中找到物體顏色機率密度函數的區域最大解，可以把它應用於在目標候選模型 中找到與目標模型最像的位置。平均位移物體追蹤作法為計算出平均位移向量， 以平均位移向量找出的新位置做為下一個目標候選模型。遞迴地使新找到的目標 候選模型與目標模型相似度不斷提高，最終收斂於 Bhattacharyya 值為區域最大值 的座標位置，即為目前畫面中物體移動到的位置。 目標模型使用目標物體顏色為特徵，並將此顏色特徵轉為直方圖。設 b 是目 標模型範圍內像素對應到直方圖 bin 的函式，此外在目標模型的中央位置設一個 核函數 k ，經過這樣的安排，一個有權重的直方圖模型就可以表示出來，目的是 為了增加估計的準確度，詳細目標模型如下表示： n. qu ( y0 ) = cl ∑ k (|| i =1. xi 2 || )δ [b( xi ) - u ] h. (13). qu ( y0 ) 表示目標模型， y0 是目標模型的中心位置， c1 是正規常數， n 是在此 目標模型的像素個數，xi 與 h 分別是目標模型核函數內的像素位置和半徑大小，u 23.
(32) 是直方圖的 bin 值： 其中， δ 是 Kronecker delta 函數：. ⎧1 if n = 0 ⎩0 if n ≠ 0. δ [n]= ⎨ m. 為了使 ∑ qu ( y0 ) = 1 ，則 c1 = u =1. 1. (14). 。. n. ∑ k (|| x || ) 2. i. i =1. 目標候選模型如下表示： n y j - xi 2 lp ( y ) = c k (|| || )δ [b( xi ) - u ] ∑ j 2 u h i =1. (15). lp ( y ) 表示目標候選模型， y 是目標候選模型的中心位置。其中， j u j c2 =. n. ∑ k (||. 1 y j - xi h. i =1. ，其他參數如前述。 2. || ). 核函數確保越接近中央位置的像素比位於模型半徑長附近的像素有較大的權重 值，表示這個像素越重要，周圍的像素不重要。如前述平均位移所提過的內容， 將核函數的中心位置以遞迴計算平均位移向量的方式，找出下一張畫面的目標中 心位置。設 { y j }. j =1,2..... 表示連續核函數的中央位置，以下列式子表示：. y j +1 =. 其中 wi = ∑ u =1 δ [b( xi ) - u ] m. ∑. n. x wi g (||. i =1 i. ∑. n i =1. wi g (||. y j - xi h y j - xi h. ||2 ) ,. j = 1, 2.... (16). 2. || ). qu ( y0 ) ，是計算完核函數中央位置 y j 權重的平均。 lp ( y ) j u. 平均位移追蹤演算法實做如下表 3.3.2：. 24.
(33) 表 1 平均位移追蹤演算. {. }. ) 1. 在位置 y 0 ，初始化目標物體模型 p(y 0. {. }. ) 2. 計算 p(y 0. u=1...m. 的分布 u=1...m. 3. 計算權重 {w i }i...n 4. 計算平均位移向量，求得 y 1 5. If || y 1 - y 0 || < T, T 是一距離常數，這裡設成 0.5 個 pixel 距離 ■. 輸出 y 1 ，演算法結束. Else ■. ■. y 0 = y 1 跳回步驟 2.. 3.3.4 快速平均位移演算法 本研究要能追蹤使用者的指揮動作，指揮動作的軌跡是不規則的，指揮手勢 的移動速度則是有快有慢。傳統平均位移追蹤演算法(mean shift tracking)因為收斂 速度慢，為了避免不必要的計算，追蹤時的目標候選模型大小，即收尋範圍的大 小都與目標模型大小相同。此法有嚴重的缺點，若物體移動速度快，物體很容易 就超出追蹤時的收尋範圍，造成追蹤失敗。如果能將目標候選模型的大小是原本 目標模型的倍數大，則收尋範圍會增加，但是卻會增加計算的複雜度。若能減少 平均位移演算法收斂的次數便能降低演算法的複雜度減少計算時間。. Chunhua Shen[27] 等人利用估計出的平均位移再多一段長度位置作為眾數 的中心點位置，解決了上述的困難，使其能夠收尋更大範圍的區域且降低收斂的 次數，達到即時的需求。平均位移演算法加速方法如表 3.3.3： 25.
(34) 表 2 平均位移加速演算法 初始化 β =1，α >1 ，k 表示畫面次數. f(y)是一能量函式，此研究採用 Bhattacharyya 係數 ρ (y) 值。 (k+1) (k+1) 1.利用 mean shift 估計出 y 位置，並找出位移 m(G)=y - y k 。. 2.計算 y k+1 =y k +β *m(G). 3. If f(y k+1 )>f(y k ) ■. 設定 β = α * β. Else ■. (k+1) 設定 yk+1 =y , β =1. ■. 輸出 y k+1 ，結束演算法. 4.設定 k = k+1. 跳至步驟 1.. 3.4 指揮速度偵測與分析 近十幾年的研究中，不論是用特殊的指揮棒或是以視覺為基礎的系統，節拍 點偵測的方法都是以追蹤的軌跡為判斷依據，例如：以 HMM [14] 辨識節拍手 勢、指揮棒上移與下移的瞬間改變當作節拍點[9]。根據兩種主要不同的簡單指揮 模式，如圖 3.4(a)是以軌跡的轉折點當作節拍點位置，圖 3.4(b)是以軌跡的最低點 當作節拍點位置。Chuang[6] 的節拍點偵測演算法是根據此二類型的指揮模式做 實驗，驗證了曲率值演算法與相對最小位置演算法對指揮動作的節拍點位置有足 夠的判斷能力。因此本研究延續此方法，詳細說明在 3.4.1 節與 3.4.2 節。此兩種 偵測節拍點方法，在本論文中，若無特別說明都稱為轉折點演算法。. 26.
(35) 圖 14 三個基本的指揮手勢，節拍點位置皆在軌跡的轉折[6]. 圖 15 三個基本的指揮手勢，節拍點位置在相對最低點處. 3.4.1 曲率值演算法 照時間順序定義連續軌跡座標 p ：. p = {( x1 , y1 ), ( x2 , y2 ),...( xt , yt )}, t為軌跡座標的畫面數 定義兩個向量：. JJG Va = ( xi -1 - xi , yi -1 - yi ) JJG Vb = ( xi +1 - xi , yi +1 - yi ). (17). 兩個向量內積夾角度數為：. JJG JJG if Va ⋅Vb > 0, then 0D < θ < 90D JJG JJG if Va ⋅Vb = 0, then θ = 90D JJG JJG if Va ⋅Vb < 0, then 90D < θ < 180D. (18). 根據式子(15), (16)的表示，可以決定兩個向量夾角的度數。 因為無法預先得知未來畫面的軌跡位置，只能由上一個畫面中，判斷該畫面的位 置是否為轉折點位置，因此必須允許延後 1 張畫面才能偵測出節拍點。. 27.
(36) 3.4.2 相對最小位置演算法 假設追蹤的軌跡座標其 Y 軸座標值是由下往上遞增的。若軌跡移動是由下往 上，則目前座標 yi 剪掉先前座標 yi -1 值為正值，反之則為負值。若軌跡無移動，則 為零。數學表示如下， t 表示時間： ⎧1 if yi - yi -1 ≥ 0 sign(i ) = ⎨ , i = 1, 2,..., t ⎩-1 if yi - yi -1 < 0. (19). 相對最小位置發生在 sign (i ) 的值由負變成正的時候。此相對最小位置即為軌跡節 拍點的位置。. 3.5 節奏訓練與指揮音樂模組 一首曲子的速度通常會標示在樂譜的開始位置，現代音樂習慣以『每分鐘幾 拍』(beats per minute, 簡寫為 BPM)作單位。在本研究中，播放中曲子的正確節拍 參照樂譜上 BPM 的值為正確的音樂速度。節奏訓練模組培養使用者指揮的速度 與音樂播放速度一致。利用上一小節找出的節拍點之後，藉由連續兩個節拍點的 時間差，可以決定一個拍子所需的時間方法。將音樂速度 BPM 轉換成每拍幾秒。 藉由每次比對相鄰指揮節拍點之間所花的時間是否與音樂播放一拍的時間一致 來判斷指揮速度是否正確。例如圖 3.5(a)，綠色框為節拍點可容許誤差範圍。第 三個指揮節拍點超過節拍容許誤差範圍，所以這次指揮節拍點不是正確的音樂節 拍點。 指揮音樂模組讓播放的音樂速度隨著指揮速度加快而增快播放速度，跟著指 揮速度放慢而減緩播放速度，作為進階的節奏感訓練。對相鄰的兩個節拍點計算 時間差，將它轉換成音樂的 BPM 以調整音樂播放的速度。若時間差越小則播放. 28.
(37) 速度越快，時間差越大則播放速度越慢。例如圖 3.5(b)，第二個與第三個指揮節 拍的時間差是第一個節拍點與第二個指揮節拍點時間差的 0.5 倍，所以音樂播放 速度相對加快。. 圖 16 節奏練習模組：指揮節拍與音樂節拍比對方式. 圖 17 指揮音樂模組：音樂隨著指揮節拍點時間改變原本音樂速度. 29.
(38) 第四章 實驗結果和討論. 4.1 簡介 本研究整合即時物體追蹤技術與分析指揮軌跡的演算法應用在音樂節奏指 揮練習上，以期使用者可以培養音樂節奏感。圖 4.1 是系統的使用者介面。程式 開發環境架構在 CodeGear C++ Builder 2007，作業系統為 Windows XP Home. SP3，基本的影像處理採用 OpenCV 函式庫，音樂處理部分使用 Bass 函式庫[33]。 硬體環境架構在 Intel(R) Core 2 CPU T5200 1.6GHz 與 1.5GB 的記憶體。使用的網 眼(WebCam)為 Windows VX-6000，解析度 320 × 240 個像素值作為視訊輸入畫面 大小。本研究實驗主要分為兩部分：一、物體追蹤與指揮速度偵測實驗。二、培 養音樂節奏感實驗。物體追蹤的目標與背景是不同的顏色且在穩定光源下執行， 採用 RGB 色彩模型與 8 × 8 × 8 個 bins 的顏色直方圖作為目標模型。追蹤目標可能 位置的範圍大小是目標模型大小的 3 倍大，見圖 4.1。紅色橢圓型代表追蹤目標 的大小，綠色橢圓形表示追蹤時尋找目標的範圍。節拍點(轉折點)偵測演算法採 用曲率值演算法。第一部份的實驗主要驗證追蹤目標的可靠性與是否能正確找出 節拍點位置與指揮速度。第二部份的節奏感練習實驗中，可處理音樂檔案類型為. MP3。將練習的音樂曲子依照 BPM 分為三大類，緩慢速度歌曲：60-76 BPM，中 等速度歌曲：76-120 BPM，稍快速度歌曲：120-200 BPM。這部份實驗主要驗證 本系統是否能幫助使用者提升節奏感。以下分別規劃前述兩項的實驗以進行測 試，並討論實驗結果。. 30.
(39) 圖 18 使用者介面. 4.2 物體追蹤與指揮速度偵測實驗 使用者指揮時盡量以慣用的物體作為手的延伸，例如：指揮棒、指套等。音 樂歌曲有快有慢，當音樂速度慢，指揮動作就要慢；當音樂速度快，指揮動作就 要快。因此必須探討本研究使用的物體追蹤的技術是否可以應付不同的追蹤物體 與快速的指揮動作。除了成功追蹤目標之外，亦要探究指揮節拍點偵測的演算法 是否可信。最後必須驗證本研究的指揮練習功能是否與節拍器一樣，有正確的節 拍速度。因此規劃如下四個子實驗：. (1) 以發條式節拍器的擺臂為實驗的追蹤目標。調整節拍器的速度分別為：70 BPM、90 BPM、140BPM 並針對以下三個不同的音樂速度：慢板歌曲、行版 歌曲、快板歌曲做不同速度的追蹤以及轉折點偵測。. 31.
(40) (2) 以手拿指揮棒為實驗的追蹤目標。針對三個不同的音樂速度：慢板歌曲、行 版歌曲、快板歌曲。隨著曲子速度左右搖擺打拍子，搖擺的次數與歌曲總節 拍數的個數是一樣，測試是否有正確找出轉折點。為了避免人為誤差，每首 歌曲各做 5 次取平均準確率. (3) 以指套為實驗的追蹤目標，實驗步驟與實驗(2)相同，以此驗證追蹤的物體的 外貌可以是不同的，本研究的方法都能正確的追蹤與判斷節拍點位置。. (4) 以發條式節拍器的擺臂為實驗的追蹤目標並加上正確音樂節拍的速度限制決 定找出的轉折點是否是音樂節拍點。驗證系統決定的節拍點個數與節拍器的 節拍點個數是否相同。 上述四個子實驗的評估方式如下： 在本研究中，假設轉折點即是音樂節拍點的所在。本實驗目的驗證一首歌的 指揮節拍點數與音樂節拍點個數是一樣的。因此，一首歌有 N 個節拍點是固定的 正確個數。隨著音樂速度指揮，若系統偵測出指揮節拍點有 M 個，則指揮的準確 率為 M 除以 N。以下式子表示： 指揮準確率(Accuracy)=. 指揮偵測出的節拍點個數 一首歌曲正確節拍點個數. 4.3 物體追蹤與指揮速度偵測實驗結果與分析 以下對四個子實驗的結果做分析與探討。. (1) 針對第一個子實驗，進行方式如圖 19 所示。追蹤的目標為發條式節拍的擺臂， 擺臂的軌跡只有左右搖擺，用三種不同的速度，測試本研究的追蹤驗算法的速度 與精確度。利用轉折點演算法找出的節拍點個數與節拍器的節拍個數做比較，偵 測到節拍點個數與節拍器的正確個數準確率都在 96%以上，見表 3。實驗結果說 32.
(41) 明利用軌跡轉折點當音樂節拍點是很準確的，追蹤演算法可以克服快速移動的動 作。節拍點偵測失敗的情形是軌跡有轉折但是轉折點演算法未偵測出。失敗原因 出在轉折點的角度是圓弧形，並非事先定義的銳角。此原因歸咎於追蹤物體時的 位置與實際指揮的位置有些微誤差，使得軌跡不為銳角。. 圖 19 節拍器的擺臂追蹤與節拍點偵測 表 3 節拍器的擺臂為目標，轉折點(節拍點)偵測結果 指揮速度 正確節拍點個數 偵測到節拍點個數 慢板速度 70 BPM 370 359 行板速度 90 BPM 326 322 快板速度 140 BPM 555 533. 準確率 97.0% 98.7% 96.0%. (2) 第二個子實驗，追蹤目標為指揮棒，指揮者隨著音樂速度的節拍跟著打拍子， 如圖 20，紅色點即為轉折點(節拍點)位置。打拍子的次數與音樂節拍總數要是相 同的。考慮人為因素影響，對每一個速度的歌曲各做 5 次完整的指揮之後，取平 均準確率以降低誤差。表 4 顯示，緩慢速度、中等速度與稍快速度的指揮結果， 偵測到節拍點個數的準確率都在 96%以上，與第一個子實驗的結果一致。驗證若 用手拿著指揮棒，本研究提出的追蹤演算法與節拍點偵測都可以正確的追蹤目標 且準確的辨識節拍點位置。. 33.
(42) 圖 20 指揮棒追蹤與節拍點偵測. 指揮速度 慢板速度 70 BPM 行板速度 90 BPM 快板速度 140 BPM. 表 4 指揮棒為目標，轉折點(節拍點)偵測結果 正確節 指揮 1 指揮 2 指揮 3 指揮 4 指揮 5 拍點數 準確率 準確率 準確率 準確率 準確率. 平均準 確率. 370. 98.6%. 93.2%. 94.6%. 98.1%. 95.6%. 96.02%. 112. 94.6%. 96.4%. 94.6%. 95.5%. 99%. 96.02%. 150. 100%. 98.6%. 100%. 96%. 98.6%. 98.64%. (3) 第三個子實驗，追蹤目標為指套，指揮者隨著音樂速度的節拍跟著打拍子， 如圖 21。實驗評估步驟與實驗(2)相同，表 5 結果顯示，針對不同速度的歌曲，平 均準確率在 94%以上，表示本研究的追蹤演算法可以追蹤不同外貌的物體作為追 蹤目標，指揮節拍點也能正確的偵測出。. 圖 21 指套追蹤與節拍點偵測. 34.
(43) 指揮速度 慢板速度 70 BPM 行板速度 90 BPM 快板速度 140 BPM. 表 5 指套為目標，轉折點(節拍點)偵測結果 正確節 指揮 1 指揮 2 指揮 3 指揮 4 指揮 5 拍點數 準確率 準確率 準確率 準確率 準確率. 平均準 確率. 370. 95.3%. 94.8%. 93.9%. 95.6%. 94.7%. 94.8%. 112. 97.2%. 97%. 93.4%. 95.5%. 97%. 96.0%. 150. 100%. 98%. 99.1%. 96.8%. 98.6%. 98.5%. (4) 根據以上的子實驗知道本研究的物體追蹤與轉折點偵測是可信任的。本研究 的目的是此系統可以提供節奏練習的功能。為了驗證此功能的精確度，本子實驗 加入播放音樂節拍點的時間要與軌跡的轉折點發生的時間要相同，才能判定此指 揮轉折點是節拍點位置。表 6 顯示指揮的節拍點與音樂節拍點是否吻合的準確 率。在表中可看到加入音樂節拍時間的限制之後，以稍快速度的節拍器擺臂實驗 結果來看，這部份的準確率降低了 3%，這 3%的準確率降低的原因是指揮節拍點 有偵測到但並未滿足音樂節拍的限制，可歸咎於本系統計算時間的微誤差，但是 此誤差不大，是可以接受的。若有測試者的節奏準確率可以到達 90%以上，便可 以說他的節奏感與節拍器是一樣穩定的。 表 6 以節拍器的擺臂當目標，節拍點偵測加上音樂速度限制結果 音樂速度(限制) 正確節拍點個數 偵測到節拍點個數 準確率 緩慢速度 70 BPM 370 358 96.7% 中等速度 90 BPM. 420. 396. 94.0%. 稍快速度 120 BPM. 514. 483. 93.6%. 4.4 節奏感培養實驗 上一節驗證了指揮練習功能與節拍器有相等的節拍精確度，為了探討本系統 在經過幾次指揮練習之後是否可以幫助使用者提升節奏感。與探究經過本系統練. 35.
(44) 習提升節奏感之後，節奏感是否會有穩定表現，規劃如下實驗： 實驗歌曲有 36 首，特別挑選節奏明確或節拍明顯的歌曲，測試對象為一般 使用者，共 17 人。實驗進行方式為對事先分類好的三種音樂速度做練習與測試， 每次練習只針對同一首歌曲練習七次，測試時，選同樣速度但不同首歌曲共三 首，每首測試兩次。詳細實驗進行流程如圖 4.4.1，Practice.1 表示第一次練習， 以此類推。. 圖 22 節奏感培養實驗進行方式流程圖 練習同一首歌曲七次的原因在曲子長度較短的歌曲要花兩分鐘，曲子長度較長的 歌曲要花五分鐘左右。全部做完要花 15 至 35 分鐘左右，做太少次可能會練習不 夠，做太多次可能會因練習疲勞而導致注意力不集中。因此取七次練習作為總練 36.
(45) 習次數。並假設練習七次之後，第七次練習的準確率會是最高的。 節奏感培養實驗以如下兩個評估方式為主：. (1) 本實驗與 4.2 的實驗都是為了測試使用者的指揮節拍點與音樂節拍點是 否有吻合，因此本實驗採用 4.2 的實驗評估方式來驗證指揮節拍點與音樂節 拍點吻合的程度。以下式子表示： 指揮準確率(Accuracy)=. 指揮偵測出的節拍點個數 一首歌曲正確節拍點個數. 將每次指揮的準確率詳實記錄，見附錄。. (2) 分別針對三種音樂速度使用 t 考驗來說明兩筆資料之間是否有顯著差 異。利用 t 考驗檢視第一次練習到第六次練習，哪幾次的練習與第七次練習 是有顯著差異，驗證在經過幾次練習後，使用者的節奏感是否有提升。利用. t 考驗檢視第一次測試平均到第三次測試平均，與第七次練習的準確率是否 有明顯差異，驗證經過某個速度的練習後，碰到類似速度的歌曲，節奏是否 也能穩定。本研究中，t 考驗的可信任區間設為 95%， α =0.05。. 4.5 節奏感培養實驗結果與分析. 圖 23 慢板歌曲指揮節奏結果 37.
(46) 表 7 慢板歌曲指揮 t 考驗結果 Paired Differences. 慢板歌曲 指揮結果比較. Mean. Std. Deviation. t. p. Practice.1 VS Practice.7. -0.1. 0.15. -4.1. 0.00. Practice.2 VS Practice.7. -0.1. 0.15. -2.7. 0.01. Practice.3 VS Practice.7. -0.04. 0.11. -1.7. 0.09. Practice.4 VS Practice.7. -0.04. 0.11. -1.4. 0.15. Practice.5 VS Practice.7. 0.00. 0.09. 0.3. 0.75. Practice.6 VS Practice.7. -0.01. 0.08. -0.4. 0.64. Test.1 VS Practice.7. -0.04. 0.08. -1.8. 0.07. Test.2 VS Practice.7. -0.06. 0.11. -2.5. 0.02. Test.3 VS Practice.7. -0.01. 0.06. -0.7. 0.48. 圖 23 可以看出非受過音樂訓練者對緩慢速度的歌曲，七次練習的平均準確 率是往上攀升的。三次測試的準確率與第七次比較是不穩定的。表 4.5(a)顯示第 一次練習、第二次練習與第七次練習的結果比較，其 p 值均小於 0.05，表示達到 顯著差異。此結果顯示對慢板歌曲需要練習兩次就能有穩定的節奏感。此外，第 二次測試與第七次練習也因為 p 值小於 0.05 達顯著差異，顯示在換不同歌曲測試 時，節奏是不穩定的。. 圖 24 行板歌曲指揮節奏結果. 38.
(47) 表 8 行板歌曲指揮 t 考驗結果 Paired Differences. 行板慢板歌曲 指揮結果比較. Mean. Std. Deviation. t. p. Practice.1 VS Practice.7. -0.15. 0.17. -4.9. 0.00. Practice.2 VS Practice.7. -0.12. 0.10. -3.7. 0.00. Practice.3 VS Practice.7. -0.10. 0.08. -4.8. 0.00. Practice.4 VS Practice.7. -0.04. 0.14. -1.2. 0.22. Practice.5 VS Practice.7. -0.03. 0.11. -1.2. 0.21. Practice.6 VS Practice.7. 0.01. 0.07. 0.8. 0.38. Test.1 VS Practice.7. -0.04. 0.20. -0.7. 0.43. Test.2 VS Practice.7. 0.02. 0.11. 0.8. 0.40. Test.3 VS Practice.7. 0.00. 0.13. 0.0. 0.97. 圖24可以看出非受過音樂訓練者對緩慢速度的歌曲，七次練習的平均準確率 是往上攀升的。三次測試歌曲的準確率比第七次練習的準確率是相似的。表8顯 示第一次練習到第三次練習都與第七次練習做比較，其p值皆小於0.05達明顯差 異，表示第七次的節奏練習有明顯的進步。第四次練習之後，節奏感就趨於穩定 沒有明顯差異了。經過練習後，換歌曲測試也不影響節奏感。. 圖 25 快板歌曲指揮節奏結果. 39.
(48) 表 9 快板歌曲指揮 t 考驗結果 Paired Differences. 快板歌曲 指揮結果比較. Mean. Std. Deviation. t. p. Practice.1 VS Practice.7. -0.02. 0.08. -1.0. 0.31. Practice.2 VS Practice.7. -0.01. 0.06. -0.6. 0.50. Practice.3 VS Practice.7. -0.00. 0.06. -0.1. 0.86. Practice.4 VS Practice.7. -0.01. 0.06. -0.7. 0.48. Practice.5 VS Practice.7. 0.01. 0.05. 0.7. 0.47. Practice.6 VS Practice.7. 0.00. 0.05. 0.6. 0.55. Test.1 VS Practice.7. -0.01. 0.12. -0.3. 0.72. Test.2 VS Practice.7. -0.01. 0.09. -0.6. 0.49. Test.3 VS Practice.7. 0.02. 0.12. 0.6. 0.49. 圖 25 可看出七次練習與三次測試的平均準確率是平緩的。表 9 中每次比較 的 p 值均大於 0.05，沒有達到顯著差異。因為使用者一開始的指揮準確度就不低， 所以經過練習後也沒有顯著的進步。 本研究中的系統可在慢板歌曲與行板歌曲的節奏練習上，看到有顯著進步的 差異。快板歌曲則沒有顯著的差異，使用者對快板歌曲的節奏是比較容易掌握。 從測試歌曲來看，經過前面七次固定節奏的練習之後，換不同首歌但是節奏 一樣的歌曲，使用者的節奏感在行板歌曲與快板歌曲是穩定的，慢板歌曲的測試 裡有一次測試是明顯不穩定的。. 4.6 指揮音樂實驗 在節奏訓練與指揮音樂模組中有提出讓播放中的音樂速度隨著使用者指揮 的速度調整，作為進階的節奏訓練。本應用的目的在讓一般使用者的節奏不要受 到音樂的影響而改變節奏。此外，若使用者的節奏改變了，使用者可以藉由聽著 的音樂速度知道目前指揮的節奏是不對的，進而修正目前的指揮速度。 本實驗的受測對象為一般使用者共六人，實驗的步驟為針對 70BPM、. 40.
(49) 92BPM、140BPM，這三種不同速度類型的歌曲做指揮音樂的練習。每首歌曲指 揮七次，記錄每次指揮音樂完的平均指揮速度以及平均指揮速度標準差。 本實驗的評估方式以兩個統計值來呈現：第一個為平均指揮速度，表示使用 者指揮的速度是否與播放的原音樂速度是相似的。第二個為平均指揮速度標準 差，表示使用者指揮完一首歌之後，其指揮速度的穩定度。若標準差很大，表示 用者的指揮速度差異大，不穩定，反之則是指揮速度穩定。在實際的實驗中，使 用者的指揮音樂速度與原音樂的速度誤差在 10BPM 左右，人耳是聽不出明顯差 異的。因此使用者的平均指揮速度與原音樂越相似，平均指揮速度標準差越小， 表示使用者的節奏感越精確與穩定。. 圖 26 慢板歌曲指揮音樂結果 圖 25 表示六位使用者在歌曲速度為 70BPM 時的指揮音樂結果。以平均指揮 速度來看，使用者的指揮速度是有趨向原音樂速度 70BPM。以平均指揮標準差來 看，使用者第一次的平均指揮標準差為 31，第七次的平均指揮標準差為 19，顯 示使用者的指揮穩定度是有提升。. 41.
(50) 圖 27 行板歌曲指揮音樂結果 圖 26 表示六位使用者在歌曲速度為 92BPM 的指揮音樂結果。以平均指揮速 度來看，使用者的平均指揮速度是與 92BPM 相似的。以平均指揮速度標準差來 看，標準差的值在這七次中，標準差皆在 20 左右幾乎沒有改變。此數據顯示使 用者針對行板歌曲的穩定度在這七次中是沒有提升。. 圖 28 快板歌曲指揮音樂結果 圖 27 表示六位使用者在歌曲速度為 140BPM 的指揮音樂結果。以平均指揮 速度來看，平均指揮速度與原音樂的速度是有明顯差異，最大誤差到 15。以平均 指揮速度標準差來看，這七次練習中，使用者的穩定度沒有改變，節奏感是不穩. 42.
(51) 定的。 整體而言，使用者指揮的平均速度與與原音樂的速度差異不大，但是平均速 度標準差卻沒有明顯的減少，使標準差在 10 以內。實驗結果顯示三種歌曲速度 的平均速度標準差幾乎都在 20 以上，用聽音樂的方式去感受指揮音樂的結果， 會覺得音樂忽快忽慢的，所以標準差在 20 以上對使用者來説是沒有達到穩定節 奏的技能。這樣的音樂節奏訓練是比較進階、困難的，原因在於使用者很容易受 到播出的音樂速度快慢而影響到指揮的速度。不受到音樂的影響而自己能夠有穩 定的節奏感，這是本實驗的目的。慢板歌曲的平均指揮速度標準差從 31 降到 19， 這顯示經過練習後，使用者的穩定度會有進步，只是平均指揮速度標準差在 19 時，音樂聽起來還是有快有慢，表示節奏感仍不夠好，使人耳聽得出差異。在行 板與快板歌曲中，平均指揮速度標準差是沒有明顯降低的，顯示七次的練習對使 用者是不夠的， 無法讓平均指揮速度標準差有明顯的降低。詳細數據請見附錄. 4-附錄 6。. 43.
(52) 第五章 結論與未來研究. 5.1 結論 本研究將改良的平均位移物體追蹤演算法應用在指揮練習系統上。藉由追蹤 的軌跡資訊，利用相對最小位置或曲率值演算法，決定手勢指揮的節拍點。透過 節拍點關係，電腦可得知指揮的速度快慢。隨著手勢指揮的速度，電腦可以判斷 手勢節奏與播放的音樂節奏是否一致，訓練使用者節奏感。電腦亦可調整正在播 放的音樂，讓音樂的播放速度隨著指揮速度改變，給予練習者回饋，成為更進階 的節奏練習。 物體追蹤與節拍點偵測實驗證明，本研究在追蹤動作與轉折點的偵測上是可 靠的，亦証明了指揮節拍練習的精確度和節拍器是一樣準確的，降低使用者在指 揮練習覺得自己的節拍是正確，但系統並未正確的偵測出來等疑慮，把專注力放 在自己的指揮速度是否與音樂節拍點時間吻合。 培養節奏感實驗證明本研究提出的指揮練習系統可以培養使用者節奏感。尤 其對非受過音樂專業訓練的人，有更明顯的效果。. 5.2 未來研究 本研究的追蹤目標是以半自動的方式，讓使用者選擇。未來可考慮自動偵測 追蹤目標，例如：利用辨識的方式辨識特定的指揮目標，可為指揮棒或指揮者的 手。 目前本研究的追蹤目標只有一個，若能發展同時追蹤兩個目標將能更逼近指. 44.
(53) 揮家的情境。可考慮採用以單核函數的平均位移演算法為基礎延伸到多核函數的 平均位移演算法來追蹤兩個以上的目標，達成更擬真指揮情境。 本研究針對 17 位使用者做指揮節奏的練習，探討經過固定節奏練習之後，使 用者的節奏感是否會提升，其樣本數是不夠多的，未來可以增加實驗對象，來取 得更平均的實驗結果。本研究亦針對 6 位使用者做指揮音樂的實驗，探討使用者 可以控制音樂播放速度的情況下，音樂播放速度是否穩定來驗證使用者的節奏感 穩定的程度，其測試者的樣本數也是不夠多。從實驗的結果可知七次的練習次數 對這樣進階節奏感的訓練是不夠多的，未來可以增加練習的次數與人次，取得更 具體的結果。. 45.
(54) 參考文獻 [1] 張統星，“音樂科教材教法＂，全音樂譜出版社，1999. [2] T.H. Andersen, "Mixxx: towards novel DJ interfaces," Proceedings of the 2003 conference on New interfaces for musical expression, National University of Singapore Singapore, Singapore, pp. 30- 35, 2003. [3] R. Boulanger, "The 1997 mathews Radio-Baton and improvisation modes," Proceedings of the International Computer Music Conference, pp. 395- 398, 1997 [4] J. Borchers, E. Lee, W. Samminger, and M. Mühlhäuser, "Personal orchestra: a real-time audio/video system for interactive conducting," Multimedia Systems, vol. 9, pp. 458- 465, 2004 [5] R.V. Babu, P. P é rez, and P. Bouthemy, "Robust tracking with motion estimation and local Kernel-based color modeling," Image and Vision Computing, vol. 25, pp. 1205- 1216, 2007. [6] C.P. Chuang, "A Vision-based Real-time Conductor Gesture Tracking System," M.S. Degree Thesis, National Taiwan Normal University, 2007. [7] A. Camurri, S. Hashimoto, M. Ricchetti, A. Ricci, K. Suzuki, R. Trocca, and G.. Volpe, "EyesWeb: Toward Gesture and Affect Recognition in Interactive Dance and Music Systems," Computer Music Journal, vol. 24, pp. 57- 69. 2000. [8] D. Comaniciu, V. Ramesh, and P. Meer, "Kernel-Based Object Tracking", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25 pp. 564- 577, 2003. [9] M.T. Driscoll, "A Machine Vision System for Capture and Interpretation of an Orchestra Conductor’s Gestures," M.S Degree, Worcester Polytechnic Institute, 1999. 46.
(55) [10] A. Elgammal, R. Duraiswami, D. Harwood, and L.S. Davis, "Background and foreground modeling using nonparametric kernel density estimation for visual surveillance," Proceedings of the IEEE, vol. 90, pp. 1151- 1163, 2002. [11] P.C. Hernandez, J. Czyz, F. Marques, T. Umeda, X. Marichal, and B. Macq, "Bayesian Approach for Morphology-Based 2-D Human Motion Capture," IEEE Transactions on multimedia, vol. 9, pp. 754- 765, 2007. [12] T. Ilmonen and T. Takala, "Conductor following with artificial neural networks," Proceedings of the International Computer Music Conference, pp. 367- 370, 1999. [13] P. Kakumanu, S. Makrogiannis, and N. Bourbakis, "A survey of skin-color modeling and detection methods," Pattern Recognition, vol. 40, pp. 11061122, 2007. [14] P. Kolesnik, "Conducting Gesture Recognition, Analysis and Performance System," M.S. Degree, McGill University, 2004. [15] E. Lee, "You're the conductor: A realistic interactive conducting system for children," Proceedings of the NIME 2004 Conference on New Interfaces for Musical Expression, pp. 68- 73, 2004. [16] M. Lee, G. Garnett, and D. Wessel, "An Adaptive Conductor Follower," Proceedings of the International Computer Music Conference, pp. 454- 454, 1992. [17] B.D. Lucas and T. Kanade, "An iterative image registration technique with an application to stereo vision," International Joint Conference on Artificial Intelligence, 1981. [18] T. Marrin and J. Paradiso, "The Digital Baton: a Versatile Performance Instrument," Proceedings of the International Computer Music Conference, pp. 313- 316, 1997. [19] T. Marrin and R. Picard, "The conductor's jacket: A device for recording expressive musical gestures," Proceedings of the International Computer Music Conference, 1998. 47.
(56) [20] H. Morita, S. Hashimoto, and S. Ohteru, "A computer music system that follows a human conductor," Computer, vol. 24, pp. 44- 53, 1991. [21] D. Murphy, T.H. Andersen, and K. Jensen, "Conducting Audio Files via Computer Vision," Lecture Notes in Computer Science, pp. 529-540, 2004. [22] W.K. Pratt, Digital Image Processing: PIKS Inside, 3rd Edition, wiley-Interscience, 2001. [23] D.A. Ross, J. Lim, R.S. Lin, and M.H. Yang, "Incremental Learning for Robust Visual Tracking," International Journal of Computer Vision, vol. 77, pp.125- 141, 2008. [24] U. Satoshi and M. Yasunori, "A conducting recognition system on the model of musician's process," Journal of the Acoustical Society of Japan, 1998. [25] J. Segen, J. Gluckman, and S. Kumar, "Visual Interface for Conducting Virtual Orchestra," Interactional Conference on Pattern Recognition, pp. 276- 279, 2000. [26] T. Sim, D. Ng, and R. Janakiraman, "VIM: Vision for Interactive Music," IEEE Workshop on Applications of Computer Vision, pp. 32- 32, 2007. [27] C. Shen, M.J. Brooks, and A. Henge, "Fast Global Kernel Density Mode Seeking: Application to Localization and Tracking," IEEE Transactions on Image Processing, vol. 16, pp. 1457- 1469, 2007. [28] H. Veeraraghavan, P. Schrater, and N. Papanikolopoulos, "Robust target detection and tracking through integration of motion, color, and geometry," Computer Vision and Image Understanding, vol. 103, pp. 121- 138, 2006. [29] W. Wang and S. Maybank, "A survey on visual surveillance of object motion and behaviors," IEEE Transactions on Systems, Man and Cybernetics, Part C, vol. 34, pp. 334-352, 2004. [30] C.R. Wren, A. Azarbayejani, T. Darrell, and A.P. Pentland, "Pfinder: Real-Time Tracking of the Human Body," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 19. pp. 780-785, 1997. 48.
(57) [31] H. Wang and D. Suter, "A consensus-based method for tracking: Modeling background scenario and foreground appearance," Pattern Recognition, vol. 40, pp. 1091-1105, 2007. [32] A. Yilmaz, O. Javed, and M. Shah, "Object tracking: A survey," ACM Computing Surveys, vol. 38, pp. 1- 45, 2006 [33] Bass Library, http://www.un4seen.com/. 49.
相關文件
※道路交通安全規則§ 102-1-2 ：行至無號誌或號誌故障
Location：Online Course, please pick-up the material at Kaohsiung-Pingtung- Penghu-Taitung Regional Branch (Entrance, No.105, Kaixuan 4th Rd, Qianzhen Dist., Kaohsiung
NETs can contribute to the continuing discussion in Hong Kong about the teaching and learning of English by joining local teachers in inter-school staff development initiatives..
• The practice aspect refers to “the leadership practice arisen through the interaction of leaders, followers and context” (Spillane, 2004:10–11;
(2) Buddha used teaching of dharma, teaching of meaning, and teaching of practice to make disciples gain the profit of dharma, the profit of meaning, and the profit of pure
無線射頻識別 (Radio Frequency Identification, RFID) 系統近年來越來越普及，應用範圍如供
This painting inspired me to explore personal styles for my self-portrait, or the characteristics that represent myself in my work, so that people will feel the work is unique and
• A formal usage policy and procedures should be in place, and appropriate security measures should be adopted to protect against the risks of using mobile computing and
