以感應器為基礎之指揮手勢追蹤

1991 年，如圖 2.2.1(a)，Max Mathew’s [3]的無線電指揮棒(radio baton)讓使用 者利用指揮棒在三維空間移動，系統再偵測移動軌跡來控制電腦音樂的系統，藉 由一個或多個指揮棒發出無線電的頻率信號(frequency signals)到一個平滑的控制 板上來決定指揮手勢，這些手勢可以控制樂器數位界面(MIDI)檔案的播放。

圖 1 由無線電棒子，接收天線的板子和電子箱組成[3]

1992 年 Adaptive Conductor Follower 系統[16]，利用一個特殊的指揮棒 Buchla Lighting Baton，如圖 2.2.1(b)，此指揮棒利用光學中三角測量的特性，準確的將 指揮棒的座標位置和移動傳送給接收端，再將此資訊傳送給 MIDI 訊號來控制樂 器演奏的方式。此系統除了使用特別的指揮棒之外，提供了如何在節拍分析的階

段去估計和預測節奏，最大的嘗試是使用類神經網路的方法完成節拍比對的辨識 需求。除了二維座標的應用外，利用兩個 Buchla Lighting Baton，收集和分析在三 維空間中的資訊，有能力控制節拍、控制力度、做節拍比對辨識等行為。

圖 2 Buchla Lighting Baton [16]

Marrin 和 Paradiso [18]在 1996 年實做出 Digital Baton 系統，如圖 2.2.1(c)，該 系統的輸入裝置包含了壓力與加速度的感應器，一個對位置感應的光電二極管 (position-sensitive photodiode)攝影機可追蹤在指揮棒的上端裝載紅外線的發光二 極管(Light Emitting Diode)，這個資訊可以提供給系統調整 MIDI 音樂節拍、力度 的依據。

圖 3 數位指揮棒 [18]

Multi-Model Conducting Simulator 裝置[24]，1998 年，由 Usa 和 Mochida 設 計，此系統用兩個加速度感應器、一個眼睛攝影機(eye camera)、和一個呼吸感應 器來控制音樂每小節開始時的力度，此系統是第一個利用隱藏式馬可夫模型 (Hidden Markov Model)，來比對右手指揮的手勢，也是第一個在輸入時做眼睛追 蹤的系統。

Digital Baton 之後，1998 年 Marrin 和 Picard 開發 Conductor’s Jacket 系統[19]，

如圖 2.2.1(d)，相較於前幾年的研究都在強調追蹤指揮棒的座標位置，Conductor’s Jacket 由四個肌肉緊縮肌動電流圖(muscle tension electromyogram)感應器、呼吸監

視器、心跳頻率監視器、溫度感應器和皮膚回應(skin response)感應器所組成，分 析手勢移動時，肌肉的緊縮來判斷手勢訊息。

圖 4 conductor’s jacket 的硬體架構 [19]

1999 年，如圖 2.2.1(e)，Ilmonen 和 Takala [12]使用類神經網路的方法實做一 個指揮辨識系統，利用大量的移動追蹤器來收集位置資訊，再從指揮過程中獲得 節拍的資訊，採用類神經網路來辨識和預測節拍，此系統只懂標準的指揮技術，

使用者必須有指揮的先備知識才可使用。

圖 5 大量的感應器來做追蹤 [12]

2002 年，Borchers et al.[4]，如圖 2.2.1(f)，開發 Personal Orchestra 系統，類

似先前介紹的指揮系統設計，使用 Buchla Lightening baton，使用者與合成的音樂 或是管絃樂團演奏的音樂檔做互動，主要貢獻是能夠將壓縮過後的音樂檔案，利 用音高位移演算法(pitch-shifting)，將原本的音樂速度增加或遞減到一個範圍內，

而不使音樂的音高(pitch)改變。利用指揮棒上下移動和左手位在垂直座標當指示 器來判斷節拍點，這一個簡單的辨識方法。這也是第一套利用自然的指揮手勢做 即時控制音樂資料播放的系統。

圖 6 personal orchestra 硬體架構 [4]