以視覺為基礎的指揮手勢追蹤系統

1991 年，Morita et al. [20]，如圖 2.2.2(a)，設計 Computer Music System that Follows a Human Conductor，是第一個使用配有紅外線過濾器的電腦控制顯示器 (CCD)攝影機當作輸入裝置。使用者左手戴白色資料手套，可以分析手的位置和 手指的彎曲程度，右手拿著紅外線指揮棒，透過 CCD 攝影機，電腦可以獲得指 揮棒的座標位置，並紀錄指揮棒的移動軌跡。移動軌跡出現在攝影機的高位置和 低位置可用來判斷節拍。

圖 7 介面架構 [20]

另有個系統同樣是以 CCD 攝影機當作輸入的裝置叫 Light Baton，此系統的 目的是要讓現場音樂的演奏和預先錄好的 MIDI 音樂做同步，指揮的手勢作為表 演者和電腦的溝通，一個特殊的照射器裝在指揮棒的上緣，用來發射燈光訊號給 CCD 攝影機，影像擷取面板可以擷取燈光照射的位置，事先錄好的音樂會跟著手 勢的節拍和振幅去做改變。

Michael[9]實做以視覺為基礎的即時人機介面，如圖 2.2.2(b)，用來分析和描 述音樂指揮者的手勢來偵測節拍。使用了許多基本影像處理的方法包括了：紅綠 藍顏色閥值(RGB color threshold)、多個輪廓的擷取和中心點的計算，來偵測音樂 上的節拍點。但因為當時電腦計算能力效率差，使得這個系統的整體表現不佳。

圖 8 視覺為基礎的人機介面 [9]

2000 年，Segen et al. [25]開發 Visual Interface for Conducting Virtual

Orchestra，如圖 2.2.2(c)，利用兩個同步的攝影機擷取指揮棒在三維空間上的軌

跡，定義節拍點的位置在軌跡路徑中的相對低點位置。同時，描述了一個音樂跟 著指揮改變速度的概念：在 Personal Orchestra 系統中，會去計算音樂資料的節拍 點要與指揮者的節拍點吻合，當使用者指揮到節拍點時，但音樂尚未撥放到節拍 點，會忽略一些音樂資料而移到節拍點位置。因此，提出了改變音樂資料的節拍 點速度要是漸進的看法，不能突然跳躍至音樂資料的節拍點而省略其他部分音樂 資料。

圖 9 指揮的手和指揮棒由兩個攝影機擷取影像 [25]

2003年，Murphy [21]等人提出一個透過標準的指揮動作可以控制音樂播放節 奏的指揮手勢辨識系統，如圖2.2.2(d)。主要的方法包含了三大部分：動作追蹤 (gesture tracking)、音樂節拍點測量(audio beat estimation)、音樂時間縮放(audio time scaling)。一個攝影機可以追蹤位於它面前指揮家的右手或者指揮棒上緣，指揮棒 的追蹤需要更複雜的追蹤技術；手的追蹤可以直接使用(Lucas Kanade feature tracking)追蹤演算法。

圖 10 完整系統，結合 EyesWeb [7]和 Mixxx [2]模組

2004年，Lee[15]提出You’re The Conductor，是一套為了鼓勵小孩子探索音樂

而設計的系統，輸入裝置是紅外線棒，它的信號可以被攝影機內的晶片偵測到，

指揮棒的移動可以轉換成播放音樂的速度和音量大小，如果指揮棒移動地越來越 快，則音樂會加速，相反的，音樂會慢慢減速。與Personal Orchestra不同的是使 用了即時的、高品質的時間延展演算法(time stretching algorithm)來延遲或加快音 樂播放速度，可以將使用者的輸入動作給予更固定準確的回應。

圖 11 波士頓博物館的 You’re the Conductor 系統 [15]

在2007年，Terence Sim [26] 等人，提出以視覺為基礎的互動音樂播放系統 VIM，允許任何人來做音樂的指揮，這個系統不用任何的辨識技術來針對特定的 指揮。只用物體移動的速度和物體大小來判定現在使用者想讓音樂播放速度變快 或變慢，變大聲或變小聲。

2007年，Chuang et al. [6] 允許使用者框出追蹤的目標物，利用camshift演算 法，可即時追蹤標物體的移動，正確的偵測指揮動作的節拍點，達到分類出使用 者指揮兩拍、三拍以及四拍的手勢。