人聲與掌聲驅動之音訊互動裝置開發及其應用研究
83
0
0
全文
(2)
(3) 摘要 在音樂表演場合中，觀眾通常被動的接收表演者所演出之音樂，這種看似單 向的訊息傳遞，實際上卻隱含著某種程度的互動。觀眾會透過諸如歡呼、吶喊、 鼓掌等情緒聲響回應音樂的演出，而技術純熟的表演者會透過觀眾對音樂之情緒 表現，對音樂演出進行調整，藉此提高觀眾的情緒，以達到與觀眾之間的共鳴。 本研究之目的，在於開發一套以人聲以及掌聲為驅動之互動音訊效果器裝置， 藉此達到音樂表演場合中，表演者與觀眾透過音樂產生互動。裝置之設計以麥克 風擷取觀眾發出之情緒聲響如：歡呼、尖叫、吶喊、掌聲，將接收到之聲音訊號 進行特徵偵測後，轉換為相對應之音訊效果器參數與音樂節奏參數，造成不同的 音樂訊號濾波效果與節奏改變輸出。裝置設計結果採用專家訪談方式，邀請業界 相關專家對互動裝置進行評估並提出改進建議，並評估互動裝置應用於音樂表演 場合的可行性。藉由本研究之互動裝置的開發，觀眾能夠透過對音樂的情緒聲響 即時改變表演現場的音樂回饋，藉以加強觀眾對音樂表演之參與感，以及增進音 樂表演中觀眾與表演者之間的互動。. 關鍵詞： 關鍵詞：音訊互動、音訊效果器、音高偵測、節拍偵測. i.
(4) Abstract At performance space, the audiences usually one-way receive the music played by performers. A good performer will observe audiences' emotion expression and adjust the music to improve audience's emotion. In order to improve the interaction between performers and audiences, the purpose of this study is to develop an interactive device driven by voice and clap sound. Firstly, the input unit record audience's expression voice and clap sound with microphone; then the process unit will analysis characteristics of the sound and mapping it to parameters of audio effector and music tempo; finally the output unit will filter the ongoing music and adjust music tempo with the result of process unit. Audiences can adjust music feedback by their expression sound and clap sound at performance space. Performers and audiences could make a better musical performance and obtain more interaction together with the interactive device.. Keywords: Audio interaction, Audio effector, Beat detection, Pitch detection.. ii.
(5) 目錄 摘要 .................................................................................................................................................... I ABSTRACT .......................................................................................................................................... II 目錄 .................................................................................................................................................. III 表目錄 ...............................................................................................................................................V 圖目錄 ..............................................................................................................................................VI 第一章 緒論...................................................................................................................................... 1 第一節 研究背景與動機 .................................................................................................................... 1 第二節 研究目的 ................................................................................................................................ 3 第三節 研究問題 ................................................................................................................................ 3 第四節 研究流程 ................................................................................................................................ 4 第五節 研究範圍與限制 .................................................................................................................... 5 第六節 名詞釋義 ................................................................................................................................ 6 第二章 文獻探討 .............................................................................................................................. 8 第一節 音樂表演場合中的互動模式 ................................................................................................ 8 第二節 人機互動與互動系統 .......................................................................................................... 17 第三節 相關互動作品探討 .............................................................................................................. 22 第四節 音訊效果器 .......................................................................................................................... 30 第五節 MIDI 音樂介面 ..................................................................................................................... 32 第六節 文獻探討小結 ...................................................................................................................... 34 第三章 研究方法 ............................................................................................................................ 35 第一節 研究架構 .............................................................................................................................. 35 第二節 研究工具 .............................................................................................................................. 36 第三節 互動裝置設計 ...................................................................................................................... 36 第四節 專家訪談 .............................................................................................................................. 48 第四章 研究結果與討論................................................................................................................. 55 第一節 互動音訊效果器裝置開發結果 .......................................................................................... 55 第二節 專家訪談結果分析 .............................................................................................................. 58 第三節 研究討論 .............................................................................................................................. 67 第五章 結論與建議 ........................................................................................................................ 69 第一節 結論...................................................................................................................................... 69 第二節 建議...................................................................................................................................... 71. iii.
(6) 參考文獻 ......................................................................................................................................... 73. iv.
(7) 表目錄 表 2-1 2007 年 SENSATION WHITE 紀錄片互動事件整理表 ..................................................................... 10 表 2-2 2008 年 SENSATION WHITE 紀錄片互動事件整理表 ..................................................................... 11 表 2-3 2009 年 SENSATION WHITE 紀錄片互動事件整理表 ..................................................................... 12 表 2-4 2010 年 SENSATION WHITE 紀錄片互動事件整理表 ..................................................................... 13 表 2-5 2011 年 SENSATION WHITE 紀錄片互動事件整理表 ..................................................................... 14 表 2-6 實體音訊效果器型式 ................................................................................................................ 30 表 3-1 本裝置採用之麥克風規格 本裝置採用之麥克風規格 ........................................................................................................ 38 表 3-2 音訊輸入格式 ............................................................................................................................ 39 表 3-3 本研究之深度訪談對象 ............................................................................................................ 51 表 3-4 逐字稿整理說明表 逐字稿整理說明表 .................................................................................................................... 52 表 3-5 初級編碼示例 ............................................................................................................................ 53 表 3-6 中級編碼示例 ............................................................................................................................ 53 表 3-7 訪談資料分析架構 .................................................................................................................... 54. v.
(8) 圖目錄 圖 1-1 研究流程圖 .................................................................................................................................. 4 圖 2-1 互動設計及其相關領域關係 .................................................................................................... 18 圖 2-2 人與環境的互動模式 ................................................................................................................ 19 圖 2-3 MOUTHESIZER 示意圖..................................................................................................................... 23 圖 2-4 FACING THE MUSIC 示意圖 .............................................................................................................. 24 圖 2-5 MESSA DI VOCE 示意圖 .................................................................................................................. 25 圖 2-6 THE VOICE PAINTER 示意圖 .............................................................................................................. 26 圖 2-7 FLUFF 示意圖 ................................................................................................................................ 27 圖 2-8 IMMERSIVE MULTI-USER MUSICAL STAGE ............................................................................................. 28 圖 2-9 建構在行動裝置上的小型演唱會群眾互動系統..................................................................... 29 圖 3-1 研究架構圖 ................................................................................................................................ 35 圖 3-2 互動裝置設計圖 ........................................................................................................................ 37 圖 3-3 麥克風指向性示意圖 ................................................................................................................ 38 圖 3-4 音訊預先平滑化選項 ................................................................................................................ 42 圖 3-5 鼓掌聲之波形訊號 .................................................................................................................... 43 圖 3-6 相鄰取樣點振幅相減後之波形訊號 ........................................................................................ 43 圖 3-7 以門檻值濾波後之波形 ............................................................................................................ 44 圖 3-8 低通濾波器示意圖 .................................................................................................................... 45 圖 3-9 高通濾波器示意圖 .................................................................................................................... 46 圖 4-1 本研究之圖形化使用者介面 .................................................................................................... 56 圖 4-2 功能選擇滑桿 ............................................................................................................................ 56 圖 4-3 開始／停止按鈕 ........................................................................................................................ 56 圖 4-4 音訊效果旋鈕 ............................................................................................................................ 57 圖 4-5 音效裝置選取介面 .................................................................................................................... 57 圖 4-6 無線控制裝置連接指示 ............................................................................................................ 57 圖 4-7 互動裝置示意圖 ........................................................................................................................ 58. vi.
(9) 第一章 緒論 觀眾與表演者是音樂表演場合的主要組成，沒有觀眾只有表演者，或者沒有 表演者光有觀眾，皆無法完成一場表演，兩者之間缺一不可。而觀眾與表演者之 間，是透過音樂作為媒介，達到彼此之間的訊息交流。 表演者透過音樂，將內心所想表現的意念傳達給觀眾；而觀眾透過對音樂的 情緒反應，把對於音樂表演的喜好程度以歡呼、吶喊、掌聲等情緒聲響傳達給表 演者。表面上看似單向接收音樂訊息的觀眾，實際上卻能由情緒表現，影響音樂 的演出。若能以情緒聲響讓單向接收音樂的觀眾，也能成為實際參與音樂演出的 一部分，如此表演者與觀眾之間，相信能夠有更加緊密的結合。本章節將分別介 紹本研究之背景與動機、研究目的、研究問題、研究流程、研究範圍與限制以及 名詞解釋。. 第一節 研究背景與動機 研究背景與動機 音樂為藝術類型之一，音樂形式具有特殊的組織規律，音樂形式的各種組織 手段是音樂各項基本要素的有序組合方式，他們之中必然包含一種以上的形式要 素，如旋律具有音高關係，且包含節奏因素。音樂的內容是以某種秩序、某種方 式排列而成的聲音，音樂是一種聲音符號，可用來表達人的思想與感覺，人類可 以透過音樂來交流情感，因此音樂可以說是一種人類思想的載體(王次炤， 1997)。 音樂可以透過多種方式體驗，最傳統的方式是在現場聆聽音樂表演，隨著科 技的進步，音樂可以錄製在能夠儲存音訊的媒體，如黑膠唱片、錄音帶、音樂光 碟，再透過播放設備進行收聽，也可以由電波傳送方式透過收音機或電視機收聽， 有的音樂表演也會利用預錄的音軌加入表演中，例如DJ利用唱片混音或製造刮. 1.
(10) 擦聲來完成表演。 在音樂表演場合中，觀眾聆聽音樂時會有諸多聲音與肢體上的情緒表現，諸 如尖叫、歡呼、吶喊、鼓掌、扭動、跑跳、舞蹈等情緒表現。而前述情緒表現所 發出之聲響的音調高低，往往代表了觀眾對音樂的情緒反應程度之高低，而觀眾 的鼓掌聲響與速度，經常代表了對於音樂節奏的跟進程度或對音樂的喜好程度評 價。因此，表演者可以透過觀眾對音樂的情緒聲響表現，來了解演出的音樂是否 與觀眾達到共鳴。 隨著資訊科技的發展與電腦運算成本的降低，電腦已經可以被用來錄音播放 甚至創作音樂，許多利用傳統樂器無法發出的音頻聲響，或者利用傳統樂器所無 法達到的音樂表現方式，在電腦音樂的領域上已經一步一步地實現。在人機互動 的領域中，許多創新的互動介面加入了影像偵測識別、語音辨識等技術。有別於 傳統的鍵盤滑鼠，免接觸的超距式介面讓使用者能以肢體動作或語言對互動系統 進行輸入，藉以達到對使用者來說更為友善、更加直覺的操作方式(林俊良，2009)， 而這些互動界面，也慢慢地被運用在音樂的表現方式與形式上。 基於前述論點，本研究欲以音訊互動裝置結合表演者與觀眾之間的互動於音 樂表演中，期望透過更加直覺化的操作方式，藉由觀眾對音樂的情緒表現聲響如 歡呼、吶喊或鼓掌聲，化為互動系統之輸入，經由電腦對於聲音訊號的處理技術， 達到對於表演者所演出之音樂進行音訊效果濾波或以MIDI介面改變音樂節奏， 讓觀眾透過音樂與表演者產生互動，達到更加生動且更具互動性的音樂演出效 果。. 2.
(11) 第二節 研究目的 本研究欲開發一項可應用於音樂表演場合的裝置，藉由觀眾對音樂的情緒表 現聲響，結合麥克風聲音訊號取樣與電腦音訊處理技術，完成以人聲與掌聲驅動 音樂內容改變之音訊互動裝置。首先利用音訊處理技術偵測觀眾輸入聲響之音高 與掌聲速度，將偵測所得數值轉換為音訊效果濾波與音樂節奏參數，進一步對表 演者所演出之音樂進行音訊效果器濾波輸出與音樂節奏調整，使觀眾與表演者達 到音樂上的互動與共同演出的合作關係。因此，本研究之研究目的有以下三點： 一、即時的音高與掌聲速度偵測功能設計 觀眾以歡呼、尖叫、吶喊或掌聲作為對音樂的情緒表現，本研究以音高與掌 聲速度來觀察觀眾的情緒反應，因此須擬定出一個音高與掌聲速度的即時偵測方 法，藉以測量觀眾對音樂的情緒高低。 二、音訊效果器濾波與節奏調整之功能設計 觀眾所發出之情緒聲響的音高往往代表其情緒高低，而鼓掌聲經常代表觀眾 對音樂節奏的跟進程度，因此本研究須擬定出一個以音訊效果器對音樂濾波來反 映觀眾情緒高低、以調整音樂節奏反映觀眾掌聲的方法，以改變音樂內容來反應 觀眾的聲音輸入。 三、完成一項適用於音樂表演中增進觀眾與表演者之間互動的音訊裝置 傳統音樂表演中，單向接收表演者演奏之音樂訊息的觀眾，若能透過對音樂 之情緒聲響來改變現場音樂的回饋，如此將能夠達到以音訊為媒介進行互動的效 果，使觀眾與音樂表演者之間產生另一層的互動關係。. 第三節 研究問題 根據以上研究目的，本研究之研究問題如下： 一、如何即時偵測觀眾情緒聲響之音高與掌聲速度？ 二、如何以音訊效果器對音樂濾波後輸出與如何調整音樂節奏？ 三、如何完成一項適用於音樂表演中增進觀眾與表演者之間互動的音訊裝置？ 3.
(12) 第四節 研究流程 本研究之研究步驟如圖1-1：. 研究動機與目的. 文獻蒐集與探討. 研究方法擬定. 設備架設與設計. 互動裝置開發與實作. 開發結果評估. 裝置修正與改善. 專家訪談評估. 結論與建議 圖 1-1 研究流程圖. 4.
(13) 第五節 研究範圍與限制 一、研究範圍 本研究之範圍界定可分為以下三點： (一) 音樂表演場合中，觀眾的情緒反應會表現在聲音或肢體動作，本研究 僅對觀眾所發出的情緒聲響及鼓掌聲進行偵測，其他例如扭動、跑跳、舞蹈等肢 體動作的偵測，皆不在本研究之研究範圍。 (二) 在聲音的分析中可得到許多聲音訊號的特徵，本研究僅對於音樂表演 場合中，觀眾對音訊互動裝置所輸入的情緒聲響及鼓掌聲分別進行音高及掌聲速 度偵測，其他諸如音量、音色等音訊特徵不在本研究的研究範圍。 (三) 本研究僅對音樂進行音訊效果濾波輸出以及調整音樂的節奏，音樂是 由許多不同元素組合而成，其他如旋律等音樂元素的調整及改變，皆不在本研究 之研究範圍內。. 二、研究限制 針對本研究所受的限制以下列兩點加以說明： (一) 裝置的架設地點 本研究之音訊互動裝置是依照本研究所限制之環境進行開發，包括裝置安裝 環境的空間大小、表演場合可容納之觀眾人數，因此本研究之互動裝置不適用於 所有環境設置，若改變環境設置，必須進行裝置微調。 (二) 跨平台的問題 本研究採用Microsoft公司之Visual C#電腦程式語言以及FMOD Interactive Audio Middleware, Microsoft DirectX SDK, Sanford Multimedia MIDI Toolkit音訊 函式庫為開發工具，可能無法運作於非Microsoft Windows的作業系統上。因此為 本研究所撰寫之程式碼，僅限執行於Microsoft Windows作業系統上，無法跨其他 平台安裝本系統。 5.
(14) 第六節 名詞釋義 一、麥克風 麥克風是最普遍的聲音訊號接收裝置，常見的麥克風形式有動圈式麥克風與 電容式麥克風。動圈式麥克風的基本構造包含線圈、振膜、永久磁鐵，當聲波進 入麥克風時，振膜受到聲波的壓力而產生振動，而與振膜連接在一起的線圈則會 開始在磁場中移動並產生電流，進而改變電壓。電容式麥克風並沒有線圈與磁鐵， 而是透過聲音進入麥克風使金屬振動板振動，產生振動板與電極板的距離變化進 而改變電壓。一般來說，動圈式麥克風的靈敏度不如電容式麥克風，但接收到的 雜訊較少，音質較為穩定，價格也比較低廉，因此動圈式麥克風較為廣泛使用。 二、音訊效果器 音訊效果器是一種可對電子樂器或數位音樂訊號改變音色的電子器材，任何 能將聲音訊號再加工變化的聲音訊號處理器，就叫做音訊效果器。音訊效果器多 用於電吉他、電貝斯、DJ系統或錄音室中，將音訊效果器與樂器音頻線路連接， 透過改變音訊效果器的設定，可以改變樂器所發出的音色。 三、MIDI MIDI是Musical Instrument Digital Interface(音樂器材的數位化介面)的簡寫， 是一種世界性的標準規格，容許電子樂器、電腦或其他演奏設備彼此的連接，即 時的交換音樂資訊。MIDI檔案不同於一般音樂檔案，本身沒有任何的聲音訊號， 只有記錄音符的資訊，例如音符的音高音長等等。由於MIDI的出現，讓每個音 樂設備製造商有共同相通的協定，因此使用者可以同時混和並演奏多種音樂設備 而不受到廠牌的限定。. 6.
(15) 四、音高 音高是音訊處理領域中，一項很重要的音訊特徵，音高代表聲音頻率的高低， 此頻率指的是基本頻率(Fundamental Frequency)，也就是波形訊號中，基本週期 (Fundamental Period)的倒數。以人聲來說，音高代表聲帶震動的快慢，發聲時聲 帶震動速度越快，音高會越高。由於生理構造不同，男性與女性能發出的音高範 圍並不相同，一般而言，男性的音高頻率範圍約在62 ~ 523 Hz之間；女性的音高 頻率範圍約在110 ~ 1000 Hz之間。 五、節奏 節奏是用來衡量音樂速度的單位，現代音樂通常以BPM (Bits per Minute，每 分鐘節拍數)為單位來表示音樂的速度，BPM的數值越大，音樂的節奏就越快， 反之則越小，現今的電腦音樂軟體與數位音樂介面，也都應用BPM來計算和表 示音樂的速度。一個人對不同速度音樂的敏感度及適應性，可以用來衡量其節奏 感的好壞。. 7.
(16) 第二章 文獻探討 本章將分為五個小節進行探討，第一節先從文本來觀察音樂表演場合中，觀 眾與表演者之間的互動行為，藉以了解兩者之間的互動模式。第二節針對人機互 動與互動裝置進行資料蒐集，了解人機互動中，使用者與系統之間的互動模式及 其特性。第三節蒐集列出國際間以音訊為互動概念的優秀作品，對其中運用之相 關技術進行討論，並發想適合本研究的環境中之音訊互動裝置。第四節探討音訊 效果器的相關資料，了解效果器的種類及特性，並從目前的應用方式延伸並發想 適合本研究之效果器應用。在第五節我們將探討MIDI介面之規格與表現音樂的 方式，並找出適合本研究之互動裝置的音樂節奏表現方式。第六節文獻探討小結， 將整理本章節中所蒐集資料，並對本研究所需要的互動方式設計、技術、裝置設 計等面向進行總結性討論。. 第一節 音樂表演場合中 音樂表演場合中的互動模式 在音樂表演場合中，表演者與觀眾之間可能有諸多互動，表演者經常使用言 語、肢體動作、或是帶動觀眾唱和的方式，來與現場觀眾進行互動；而觀眾能夠 透過像是鼓掌、打節拍、歡呼、吶喊、尖叫、手舞足蹈等反應，來對現場表演者 的演出進行反饋。這樣的互動方式，從表面上看起來很直接，像是表演者與現場 觀眾之間單純的互動，但實際上卻是透過音樂內容作為媒介來進行的，倘若音樂 表演場合之中缺少了音樂這項主要的元素，相信這樣的場合必定大為失色。為了 了解音樂表演場合中，表演者與現場觀眾之間可能會產生的互動模式，本研究採 用音樂表演紀錄片作為觀察的文本，透過文本來探究在音樂表演場合中，表演者 與觀眾之間的互動模式，並歸納出兩者之間經常會出現的幾種互動方式，再以這 些互動方式為基礎，發想出能夠增進這些互動方式的應用，作為本研究之互動裝 置開發的依據。 8.
(17) 文本是經由具象化過程後所呈現的內容物，可能以文字、語言、圖片、影像、 報導、符號等可供辨識的訊息方式呈現。(張紹勳，2000)文本的概念不僅限於文 字、語言等可辨識的範圍，任何社會現象與事物都可以是文本的來源。為了解音 樂表演場合中，觀眾與表演者之間的互動關係，本研究選擇觀察內含觀眾與表演 者之音樂表演紀錄片作為文本，透過文本中表演者對樂器的控制，以及觀眾與表 演者之間的肢體動作，分析音樂表演場合中，表演者與觀眾之間如何產生互動， 並透過兩者之的互動方式與模式，進一步探討如何增進表演者與觀眾之間的互 動。 本研究所選擇觀察之文本，為2007～2011共計5年的荷蘭Sensation White電子 音樂表演紀錄片。該音樂表演為荷蘭大型音樂活動籌畫公司ID&T所舉辦的大型 電子音樂表演，該音樂表演自2000年起開始舉行，活動日期為每年度7月的第一 個週六，舉辦地點為荷蘭阿姆斯特丹足球場，活動時間為下午11時至隔日上午7 時，共計8個小時，每年約有40,000～45,000名觀眾購票參加，舉辦方規定入場觀 眾必須全身著白色系服裝始得入場，因此該活動Sensation White又以白色派對的 名稱享譽全球。在活動舉辦過後，ID&T公司會將該音樂表演的現場錄影剪輯為 DVD數位影像光碟並於官方網站公開發行販售，內容為該音樂表演之精華片段 與幕後籌備花絮。Sensation White音樂表演活動的主要表演者為即時播放音樂的 表演型DJ，現場並安排一名派對主持人與數名舞者，主要表演內容為Trance與 House樂曲風格的電子音樂。由於該音樂表演每年邀請數名歐洲知名DJ參與表演， 加上活動以高品質的音響與燈光效果著稱，因此每年約40,000～45,000張的門票 都在開始販售的數小時內銷售一空，成為享譽國際的電子音樂活動。(Sensation (event)，2012). 9.
(18) 針對2007~2011的Sensation White音樂表演現場紀錄片，本研究擷取出18個 片段加以進行分析。畫面擷取之依據，為舞台上表演者明顯運用音訊效果器使觀 眾發出歡呼、吶喊、尖叫等情緒聲響，或表演者有拍手動作而使觀眾有特殊互動 回饋的片段。其他由觀眾所發出之情緒聲響，推論可能是由於燈光效果或純粹由 樂曲內容所觸發，不在本研究的研究範圍因此排除在外不予擷取。動態畫面擷取 後再對各互動事件進行截圖，依照紀錄片年份以及畫面出現之時間碼，編碼整理 為下列表格，並將互動角色分為表演者與現場觀眾，與編碼表內對互動過程進行 說明。 表 2-1 2007 年 Sensation White 紀錄片互動事件整理表 Sensation White 2007 Aurora. 1711 | 1728. 說明. DJ 使用效果器持續對音樂濾波調整頻 率。. 觀眾回饋以歡呼、吶喊、口哨聲。. DJ 使用效果器對音樂濾波 效果。. 觀眾回饋以歡呼、吶喊、尖叫、口哨聲。. 2509 ～ 2610. 說明. 出. ID&T. (Producer). (2007). Sensation: The World’s Leading Dance Event [DVD]. Available from http://www.sensation.com/ 10.
(19) 表 2-2 2008 年 Sensation White 紀錄片互動事件整理表 Sensation White 2008 Ocean of White. 0635 | 0720. 說明. DJ 使用效果器對音樂濾波製造出回音 效果。. 觀眾回饋以歡呼、吶喊、尖叫、口哨 聲。. DJ 持續播放一段含有＂Put your hands up＂歌詞的音樂片段，並使用效果對 音樂濾波製造出迴旋效果。. 觀眾回饋以歡呼、尖叫聲，並且把手 舉起隨著音樂節奏打節拍。. DJ 使用效果對音樂濾波，製造出延遲 的效果。. 現場觀眾回饋以歡呼、尖叫聲。. 1412 | 1449. 說明. 2027 |. 說明. 資料來源： 資料來源：ID&T. (Producer). (2008). Sensation: The Ocean of White [DVD]. Available from http://www.sensation.com/ 11.
(20) 表 2-3 2009 年 Sensation White 紀錄片互動事件整理表 Sensation White 2009 Wicked Wonderland. 0532 | 0616. 說明. DJ 使用效果器對音樂濾波，持續製造 觀眾回饋以歡呼、尖叫與口哨聲。 回音效果。. 1710 | 1723. 說明. DJ 使用效果器製造出高頻聲音。. 觀眾回饋以歡呼聲。. 1955 | 2007. 說明. DJ 使用效果器對音樂濾波，製造出回 觀眾回饋以歡呼、尖叫與口哨聲 音效果。. 3236 | 3323. 說明. DJ 使用效果器對音樂濾波，先製造出 觀眾回饋以歡呼、吶喊、尖叫聲。 回音，接著作出音樂的迴旋效果。. 資料來源： 資料來源：ID&T. (Producer). (2009). Sensation Wicked Wonderland [DVD]. Available from http://www.sensation.com/. 12.
(21) 表 2-4 2010 年 Sensation White 紀錄片互動事件整理表 Sensation White 2010 Celebrate Life 1242 | 1340 說明. DJ 跟著音樂節奏打節拍，並且示意現 場觀眾也跟著音樂節奏打節拍。. 現場觀眾跟著台上 DJ 一起隨著音樂 節奏打節拍。. DJ 使用效果器對音樂濾波，先製造出 迴旋隨後接著作出破音效果。. 觀眾回饋以歡呼、吶喊、尖叫聲. DJ 使用效果器作短暫的音樂濾波. 觀眾回饋以歡呼聲。. DJ 使用效果器持續調整參數加強音樂 的迴旋效果。. 隨著音樂的迴旋效果逐漸加強，觀 眾回饋以更大的歡呼、吶喊聲。. DJ 對正在播放的音樂進行不斷加大參 數的效果器濾波。. 觀眾回饋以歡呼、尖叫聲。. 1442 | 1522. 說明. 3619 | 3624 說明 3720 | 3741. 說明. 5658 | 5715. 說明. 資料來源： 資料來源：ID&T. (Producer). (2010). Sensation Celebrate Life Amsterdam 2010 [DVD]. Available from http://www.sensation.com/ 13.
(22) 表 2-5 2011 年 Sensation White 紀錄片互動事件整理表 Sensation White 2011 Inner Space. 05:38 | 06:00. 說明. DJ 持續不斷播放同一段音樂循環，並 對該音樂循環使用效果器對音樂濾 觀眾回饋以歡呼、吶喊、尖叫聲。 波，製造出延遲效果。. 1316 | 1404. 說明. DJ 持續使用效果器對音樂濾波並且 逐漸加大參數，製造出空間迴旋的效 觀眾回饋以歡呼、吶喊、尖叫聲。 果. 2954 | 3043. 說明. DJ 使用效果器對音樂濾波，製造出迴 觀眾回饋以歡呼、吶喊、尖叫聲，隨後 旋效果後播放下一首曲目，並且拍手 跟著台上 DJ 一起打節拍，並同聲唱出 帶動觀眾一起打節拍 音樂內的歌詞。. 3311 | 3400. 說明. 主持人在舞台上對台下觀眾說:「我要 你們深入你們的內心，釋放你們心底 的聲音，當我數到 3，我要你們極盡 所能的大聲吶喊，1 2 3 大家一起尖 叫！」. 現場觀眾放聲吶喊尖叫，位於表演場地 中央的圓形舞台上，有數名工作人員在 舞台四周以麥克風對觀眾的情緒聲響 收音，這些聲音聲即時隨音樂一起被播 放出來。. 資料來源：ID&T. 資料來源 (Producer). (2011). Sensation Innerspace [DVD]. Available from http://www.sensation.com/ 14.
(23) 一、表演者利用音訊效果器加強觀眾的情緒 音訊效果器能對音樂造成頻率或音色的改變，在音樂表演中，表演者時常利 用效果器來改變現場音樂的音色，利用改變音色來營造出不一樣的音樂效果，藉 由刺激現場觀眾的聽覺，來增進現場觀眾的情緒。在2007～2011年的Sensation White音樂紀錄片中，表演者使用音訊效果器改變現場音樂的音色後，觀眾情緒 高漲，並回饋以歡呼、吶喊、尖叫、口哨聲等情緒聲響的事件，共計有16項。以 時間計量來說，效果器並不是一項在音樂表演場合中會長時間持續使用到的裝置； 但以使用頻率來說，表演者經常在音樂表演中使用效果器來營造音樂的氣氛，加 強音樂的豐富程度。足見音訊效果器是一項能夠營造特殊音樂效果，增進觀眾對 音樂之情緒的裝置。 在2011年Sensation White紀錄片33分11秒處開始的互動事件中，派對主持人 在舞台上對台下觀眾說：「我要你們深入你們的內心，釋放你們心底的聲音，當 我數到3，我要你們極盡所能的大聲吶喊，1 2 3大家一起尖叫！」，此時觀眾立 即放聲吶喊、尖叫，盡情的發出情緒聲響，同時在表演場地中央的圓形舞台上， 數名工作人員手持麥克風對觀眾的情緒聲響進行收音的動作，並隨著現場音樂將 麥克風收錄到的觀眾情緒聲響同步播出，該互動事件為本研究所觀察之文本中一 項較為特殊，將觀眾的情緒聲響與現場音樂即時混音播出的互動事件。 綜合上述表演者以音訊效果器改變音樂之音色，觀眾回饋以歡呼、吶喊、尖 叫等情緒聲響，以及麥克風同步對觀眾的情緒聲響收音並與現場音樂同步播出， 藉以加強觀眾參與感的互動事件，若將本研究所設計之互動音訊效果器應用於音 樂表演現場，讓觀眾能夠藉由情緒聲響來改變音訊效果器的濾波，估計能夠加強 觀眾對於音樂的參與感，進一步增進表演者與觀眾之間的互動。. 15.
(24) 二、表演者利用肢體動作 表演者利用肢體動作與觀眾進行現場即時互動 肢體動作與觀眾進行現場即時互動 本研究所觀察之文本中，分別於2008年、2010年、2011年的Sensation White 紀錄片內，有舞台上表演者利用手勢與觀眾互動的事件。2008年紀錄片的14分12 秒處，表演者持續播放一段含有英文歌詞「Put your hands up!」的音樂片段並將 手高舉做動作，暗示觀眾把手舉高跟著音樂一起律動，同時使用效果器對音樂濾 波製造出迴旋音效。現場觀眾隨即將手高舉也隨著現場音樂節奏打節拍，並回饋 以歡呼、尖叫聲。 2010年Sensation White紀錄片的12分42秒處，表演者播放英國皇后合唱團的 經典歌曲「We Will Rock You」前奏，該首歌曲的基底鼓聲為兩聲大鼓加上一聲 人的拍掌聲，表演者同時跟著鼓聲節奏打節拍，並且示意台下觀眾一起動作。現 場觀眾隨即與表演者一起跟著音樂節奏進行打節拍的動作。 2011年Sensation White紀錄片的29分54秒處，表演者播放法國DJ Martin Solveig的歌曲「Hello」 ，該樂曲的副歌為不斷重複的英文歌詞「Hello, oh oh oh oh」， 在播放該曲目的同時，表演者將手高舉跟隨音樂節奏打節拍，並示意台下觀眾跟 著一起做，觀眾的動作除了隨著表演者一起打節拍之外，同時在樂曲歌詞出現處 跟著複誦歌詞。 綜合上述表演者以手勢與觀眾進行互動的事件，若將本研究所設計之互動音 訊效果器應用於音樂表演現場，能將音樂的基底鼓聲節奏或音樂速度，由觀眾鼓 掌聲音的速度即時進行調整，估計能夠讓觀眾有同為表演者的感受，估計能夠有 效增強觀眾對於表演的參與感，同時促進觀眾與表演者之間的互動。. 16.
(25) 第二節 人機互動與互動系統 人機互動與互動系統 互動係指兩個或兩個以上的物件之間，其互相影響的行為。隨著資訊科技的 蓬勃發展，人與電腦之間的互動關係衍生出一個新學門，稱之為人機互動 (Dubberly, Pangaro, & Haque, 2009)。所謂的人機互動，探討的是人與電腦之間互 動的架構，讓使用者能夠有效率地操作器械和數位資訊互動。知名軟體設計師 Kapor在西元1991年發表了著名的軟體設計宣言(Kapor, 1991)文中提到：什麼是 設計？在什麼樣的情況下，設計會成為一個需要重視的問題呢？這個情況，就出 現在你同時跨足科技世界與人類世界，而必須嘗試將兩個世界連結起來的時候。 以建築為例，當業主想要蓋一間房子的時候，那麼他首先應該和建築師溝通，而 不是工程師。原因為何？因為蓋出一間好房子的條件，不屬於工程技術的範疇， 空間設計的關鍵，不是由工程師來決定。居住者希望讓臥房在安靜的位置這樣才 能有好的睡眠品質，可能還希望讓飯廳就在廚房的隔壁，因為廚房是料理食物的 地方，而飯廳是享用食物的地方，居住者自然希望它們距離接近。而這些條件並 非必然的事實，也不是工程技術上的知識，而是設計上的智慧。相似的，電腦軟 體的元件和元素都必須以使用者的需求及使用上的狀況來考量，經過深思熟慮的 設計才能達成，這些東西要靠誰來完成呢？程式設計師。由以上論述我們可以知 道，人機互動的設計是一種超越工程技術，以人的需求為中心去考量的技術，主 要的目的，是要讓人與科技之間產生良好的連結。 人 機 互 動 又 稱 CHI(Computer Human Interaction) 或 HCI(Human Computer Interaction)，是一項研究人與電腦之間互動關係的跨領域學門，該學門橫跨許多 電腦技術如語言辨識、圖像辨識、人工智慧、多媒體系統等，也包含人因工程及 其他相關之學科。Saffer (2006)曾在互動的設計一書中提及與互動設計相關的領 域及其關係：. 17.
(26) 圖 2-1 互動設計及其相關領域關係 資料來源：Designing for interaction (p. 21), by D. Saffer, 2006, Berkeley, CA: New 資料來源 Riders Press.. 從圖2-1可以了解互動設計與人機互動、工業設計、資訊結構以及視覺設計 為直接的交互相關，而在互動設計與人機互動所重疊的部分，是所謂的可用性工 程，也就是以使用者的角度，來探討人機互動設計的可用性，因此設計的出發點 在於使用者，設計結果的好壞，也取決於使用者眼中互動設計產品的可用性。 人機互動主要探討以人為中心的互動問題，而人類與電腦之間是以介面進行 互動，介面指的是互動系統中與人類以實體性、知覺性、概念性等方式接觸並進 行溝通，相互傳達訊息或交換資訊的組成或元件(郭學武(譯)，2009)，以下為介 面三項主要性質說明： 實體性：人與機器之間的互動是透過實際接觸而完成，如：按鍵盤、壓下控 制桿、經由滑鼠點選。 18.
(27) 知覺性：機器藉由顯示人類可見可知的螢幕訊息或聲音，來回應人的動作。 概念性：人與機器互動過程中，機器提供的資訊是設計來讓人思考機器的行 為，人類下一步該如何回應。 人機介面與互動式系統設計的使命是為人類創造出互動體驗，一切必須以人 為中心，因此探討人機介面的議題在人機互動領域中，佔了很大的比例。好的介 面應該要設計得像「人」一樣(Negroponte, 1996)，高度互動的互動裝置可以讓使 用者不必透過學習來適應系統，系統會主動適應多數的使用者，實現了以人為中 心，達到讓人與電腦間符合「簡單、自然、友好、一致」的互動模式(唐國豪， 2003)。近年來人機互動的介面不斷地朝向以人為本的方向發展，像是利用了影 像辨識、語音識別的超距式人機介面，讓使用者可以利用聲音、語言、肢體動作 就能對系統輸入，與系統產生互動，印證了人機介面在人機互動領域中的重要性， 美國認知心理學家Norman (2002)提出的人類與環境的互動模式，廣泛的被套用 在人機互動的模式上，該互動模式如圖2-2：. 圖 2-2 人與環境的互動模式 資料來源：The design of everyday things (p. 47), by D. Norman, 2002, New York, NY: 資料來源 Basic Books.. 19.
(28) 人與環境的互動模式過程分為以下七個階段： 訂立目標(目標的形成) 組成意圖(意圖的形成) 標明行動順序(行動的詳述) 執行(行動的執行) 觀察系統(環境狀態的觀察) 詮釋系統狀態(環境狀態的詮釋) 評估(結果的評估) 將人與環境的互動模式套用到人與科技之間的互動，說明了科技應該要像環 境一樣，讓人類在與科技溝通的過程中，就像與環境的互動一樣自然。但是互動 系統應該具備什麼樣的特質，才能讓人類在操作互動系統時，達到與環境互動一 樣的感受？Borsook與Higginbotham-Wheat (1990)提出構成互動的七個要素： 即時回應性(Immediacy of response) 當使用者對互動系統提出某項訊息或是要求時，系統能夠即時依據使用者的 要求提供適當的訊息回應。 非單線性的資訊處理(Non-sequential access of information) 當使用者有任何問題時，可以隨時反應，暫時中斷資訊的線性流通過程，也 就是所謂的非線性資訊處理，因此使得互動的雙方可以視互動對象的不同，採取 不同的因應對話方式。 互動的適應性(Adaptability) 針對不同的使用者，而做出適當的機制調整，以不同的資訊或是互動方式去 適應使用者，產生出合理的人性化空間與介面。 互動的回饋(Feedback) 由於每個使用者之間或多或少存在著某些特質上的差異，因此互動式系統應 針對每個使用者對系統的輸入而給予適當的回饋，促使整個學習能走向個別化、 適性化的重要條件。 20.
(29) 選擇性(Options) 使用者擁有自由意志，能夠掌握自己對於操控互動系統的權利，藉由身處的 環境與條件做思考的判斷，讓原來處於被動的角色轉換為主動角色。 溝通的雙向性(Bi-directional communication) 在互動過程中，互動系統必須具備與使用者溝通的管道，如此才能夠相互提 供訊息以及意見與需求，增進互動的品質。 可中斷性(Grain-size) 互動流程進行中，使用者必須可以在任何時候取消或中斷互動流程的繼續進 行，不受互動系統內部的箝制。 若能夠完全的滿足上述七個要素，就能夠稱得上是一個相當完美的互動系統， 但並不是所有的互動系統都能夠達到完美的境界，因此根據適應於上述七個要素 的程度高低，可以將互動系統的互動層次分為四個等級(宋倩如，2000)： 零互動：系統以單線的方式呈現資訊 輕度互動：系統透過非單線性方式來呈現複雜的訊息 中度互動：系統提供有意義的互動，使用者與系統之間可以透過回答問題的 方式彼此溝通。 高度互動：系統提供智慧型代理者，使用者與系統間的溝通能依不同情境， 提供使用者繼續進行活動及解決問題。 由上述互動層次可以看出，以單線方式呈現資訊的系統為零互動，稱不上是 互動系統，而好的互動系統能夠依照不同的情境，良好的協助使用者解決問題， 這便是互動系統設計上，所希望能夠達到的互動層次。. 21.
(30) 第三節 相關互動作品探討 相關互動作品探討 近年來在人機互動系統的設計中，許多設計者專注於新介面的互動應用，擺 脫傳統的鍵盤、滑鼠、螢幕、喇叭等裝置，使用不同的輸入輸出設備，達到對於 使用者來說，在操作上以及訊息接收上更自然、更生動的互動效果。像是觸控螢 幕已經在行動電話、自動櫃員機、導覽系統中普遍被採用，使用者可以直接在螢 幕上觸摸想點選的項目功能，免去視線必須在螢幕與鍵盤兩邊互相切換對照有時 還可能按錯選項的窘境，造福了許多不黯鍵盤或滑鼠操作的使用者；近年來一些 國家開始在機場設置臉部辨識機，藉以代替海關安檢人員對出入境旅客的人工辨 識，辨識機的鏡頭拍下旅客的臉部特徵，再與護照上的照片進行比對，讓旅客能 夠快速通關，也能節省查驗人力的成本。這些互動系統的研發以及應用，都顯現 出人機互動系統以人為本的目的，而互動介面的發展，也持續朝著以使用者為中 心的宗旨持續前進。 互動裝置是指實質材料與數位資訊的整合設計，當實質材料與數位資訊兩者 被整合在一起成為互動裝置時，在人與裝置之間的介面便成為互動裝置中非常重 要的組成，因為電腦必須透過感測介面來接收使用者的輸入，而使用者透過輸出 介面來接收裝置的訊息反饋，因此介面就像是人與互動裝置之間的溝通橋樑。目 前常見的新型態互動裝置，輸入端有採用麥克風擷取聲音的音訊辨識、用攝影機 捕捉畫面的影像辨識、紅外線投射並接收訊號的紅外線偵測、以及許多接觸式的 實體感應器。常見輸出端媒材依類型來區分則有揚聲器方式的音訊輸出、振動馬 達或電流的觸感輸出、投影機或螢幕的視覺輸出，嗅覺及味覺方式則較少應用在 互動系統中。使用不同的輸入裝置配合不同的輸出，往往可以使互動系統呈現不 同的互動效果。本研究透過蒐集羅列出一些運用不同輸入輸出方式來呈現互動效 果的作品，藉以了解不同的互動技術應用在人機互動領域的現況，進一步探討使 用者與系統間的互動關係。. 22.
(31) 一、The Mouthesizer 2001年ACM的SIGGRAPH研討會上，日本京都ATR媒體整合與通訊實驗室 的Michael Haehnel與NobujiTetsutan發表了他們的互動裝置The Mouthersizer，該 裝置之輸入端硬體，為一個輕巧的頭戴式攝影機，攝影機的主體是一個微型鏡頭， 裝置內部整合電腦視覺技術，對使用者進行嘴型偵測，處理端將使用者的嘴型輸 入轉換為音樂合成器參數，實現以影像為驅動之互動音訊合成器。該互動裝置不 需用到手或腳即可輕鬆操作，也可應用於無障礙設備便於肢障人士使用。雖然是 超距式的影像偵測，但使用者仍需要配戴感應器，且感應器仍然需要線路接到處 理端，為該互動裝置在使用上不方便之處(Lyons, Haehnel, & Tetsutani, 2001)。. 圖 2-3 Mouthesizer 示意圖 資料來源：Lyons M. J., Haehnel, M., & Tetsutani N. (2001). The Mouthesizer: A 資料來源 facial gesture musical interface. In Colleen (chair.), Siggraph 2001: Electronic Art and Animation Catalog. Symposium conducted at the meeting of the Association for Computing Machinery, Los Angeles.. 23.
(32) 二、Facing the Music 2003年由計算機協會ACM所主辦的New Interfaces for Musical Expression研 討會上，美國麻省理工學院媒體實驗室的Merrill (2003)以前述The Mouthesizer作 者的概念為基礎，發表了一項以使用者頭部姿勢與眼睛開闔為基礎，以此控制音 訊效果器的裝置Facing the Music (Lyons, & Tetsutani, 2001)。 Facing the Music利用FaceSence作為處理端影像辨識軟體，輸入端硬體為紅 外線攝影機，主要用來偵測使用者的頭部及眨眼動作。紅外線攝影機截取使用者 的影像輸入後，電腦再利用影像識別技術分辨出使用者的頭部動作與眼睛開闔， 接著將這些頭部與眼睛開闔動作轉換為音訊效果器之參數，藉此控制音訊效果器 的播放及其效果參數。由於此裝置之輸出端為實體電子樂器，因此設計者使用 MIDI數位音樂介面來實現電腦與實體樂器之間的訊號傳輸(Kapoor, & Picard, 2002)。有別於Mouthesizer，FaceSence雖同樣利用攝影機為輸入裝置，但可免穿 戴於使用者身上，改進了穿戴式介面的不便之處。. 圖 2-4 Facing the Music 示意圖 資料來源：“Facing the music: A facial action controlled musical interface” by M. J. 資料來源 Lyons, & N. Tetsutani, 2001, March, Proceeding of the Human Factors in Computing Systems, 309. 24.
(33) 三、Messa Di Voce Messa di Voce是義大利傳統歌唱藝術中的一種技巧，該歌唱技巧的唱法，主 要為演唱者以同樣的音調，逐漸發聲並將音量增強到高點，接著再逐漸減弱發聲 音量直到無聲，上述動作必須在一口氣內完成，接著演唱者再重複前述方法並逐 步提高發聲的音調(Pulte, 2005)。 美國卡內基美隆大學美術學院的Golan Levin、Parsons設計學校科技與設計 學系的Zachary Lieberman，以上述Messa di Voce歌唱藝術技巧為發想，設計出一 套聲音與影像即時互動的互動藝術作品。裝置以麥克風與攝影機為輸入端硬體裝 置，麥克風擷取使用者的聲音輸入，攝影機主要用來偵測使用者在系統環境中的 所在位置，處理端根據接收到的人聲以音訊處理技術作分析，同時利用影像處理 技術分析攝影機接收到的影像，找出使用者所在位置，分析結果經過轉換後，由 2D動畫軟體呈現在使用者於顯示幕上所處位置，將聲音即時轉化為平面動畫效 果(Levin, & Liberman, 2004)。. 圖 2-5 Messa Di Voce 示意圖 資料來源：“In situ speech visualization in real-time interactive installation and 資料來源 performance”, by G. Levin, & Z. Liberman, 2004, Proceedings of the 3rd International Symposium on Non-Photorealistic Animation and Rendering (NPAR 2004), 7. 25.
(34) 四、The Voice Painter The Voice Painter是義大利Padova大學 Sound & Music Computing Group的 互動裝置，該裝置利用8支麥克風的麥克風陣列來擷取使用者所在位置，依據使 用者輸入的聲音音調高低、音量大小，經過處理端的音訊分析，麥克風陣列對使 用者所在方位的判定後，將這些使用者輸入特徵作轉換，最後以圖像的方式表現 在以投影機組成的電子畫布上(World News, 2008)。相較於前述Messa Di Voce互 動裝置，The Voice Painter不需要使用者手持麥克風對系統輸入，對使用者來說， 這樣的介面相對的較簡便且直覺。 麥克風陣列是由兩支以上的麥克風所組成，將麥克風置放於空間中不同的位 置並同時擷取聲音訊號。由於位置的不同，依據音源傳播到各麥克風的時間、音 量、頻率等強度的差異，這些訊號經由電腦進行運算及比對後，可以有許多對於 單支麥克風來說，更多不同功能的應用。例如單音源聲音定位、多音源聲音定位、 噪音消除、語音分離、回音消除等(Benesty, Chen, & Huang, 2008)。. 圖 2-6 The Voice Painter 示意圖 資料來源：World News. (2008, December, 12). The voice painter a multimodal 資料來源 interface for painting with voice. Retrieved from http://wn.com/The_Voice_Painter__A_Multimodal_Interface_for_Painting_with_Voic e 26.
(35) 五、Fluff 2009年的SIGGRAPH Asia研討會上，日本東京大學航太科技學系的Hideki Yoshimoto與Koichi Hori共同發表了一項以音樂影響燈光效果的互動藝術作品 Fluff，該裝置的主體為透明氣球狀的軟質飛艇，飛艇內注滿氦氣呈漂浮狀態，有 兩個推進器可以使飛艇作水平與垂直的運動，內含全彩LED，底部有一條長120 公分內含LED的電線，飛艇內部安裝了電子控制器、無線訊號收發器與電池，該 裝置的主要系統輸入為環境音樂，透過音樂的變化，裝置會呈現不同的運動狀態 與燈光效果(Yoshimoto, & Hori, 2009)。 該裝置主要應用於音樂表演現場或舞會，裝置以表演者演出的音樂作為輸入 端訊號，系統回饋以不斷流動的燈光效果於表演者與現場觀眾。裝置利用MIDI 為訊號傳輸介面，電腦對現場音樂分析並轉換後，以無線傳輸的方式將訊號發送 至飛艇，藉此控制全彩LED的顏色與閃爍效果及飛艇的推進運動，以此達到裝置 與現場表演者與觀眾之間的互動。. 圖 2-7 Fluff 示意圖 資料來源：“Fluff: Illuminating blimps and Music” by H. Yoshimoto, & K. Hori, 2009, 資料來源 December, Proceedings of ACM Special Interest Group on Computer Graphics Conference and Exhibition in Asia, 1. 27.
(36) 六、Immersive Multi-User Musical Stage 美國麻省理工學院媒體實驗室物理與媒體小組的Matthew Reynolds、Bernd Schoner、Joey Richards、Kelly Dobson與Neil Gershenfeld，於2001年ACM的 SIGGRAPH電腦圖學與互動技術研討會上，發表了他們的多人音樂互動裝置 Immersive Multi-User Musical Stage。 Immersive Multi-User Musical Stage為一具有音樂互動性的多人舞台互動裝 置。其輸入端硬體為安置在舞台四周的聲納，與表演者身上和雜耍道具內之低頻 率無線訊號發射器。裝置利用聲納偵測舞表演者於舞台中的位置變化，加上表演 者身上與表演道具內的低頻發射器，在表演進行的過程當中，聲納裝置不斷偵測 表演者在舞台上的位置變化、表演者身上與道具內的發射器持續發送低頻訊號給 電腦，處理端以這些訊號為依據來轉換參數，藉此播放或改變現場音樂(Reynolds, Schoner, Richards, Dobson, & Gershenfeld, 2001)。實際上表演者是在表演雜耍， 但透過此互動裝置，表演者的一舉一動卻同時在演奏音樂，雜耍道具全部成了不 同的樂器，是一項以體感輸入回饋以音訊輸出的互動音樂表演裝置。. 圖 2-8 Immersive Multi-User Musical Stage 資料來源：“An immersive, multi-user, musical stage environment” by M. Reynolds, 資料來源 B. Schoner, J. Richards, K. Dobson, & N. Gershenfeld, 2001, Proceedings of the 28th annual conference on Computer graphics and interactive techniques, 553. 28.
(37) 七、建構在行動裝置上的小型演唱會群眾互動系統 暨南大學資工系胡振傳，在2011年發表了一項以行動裝置在小型演唱會上進 行互動的系統，使得演唱會中的觀眾能夠透過智慧型行動電話，來與舞台上的表 演者以及其他觀眾進行現場的即時性互動。 由於智慧型行動電話的日漸普及，行動裝置的運算能力也隨著科技發展而越 來強大，加上作業系統平台的開放，智慧型行動電話已經可以用來運作許多軟體 進行更多的應用。該系統的開發者以小型演唱會的應用為發想，在智慧型行動電 話上設置互動式軟體，期望以智慧型手機來增進演唱會中表演者與觀眾之間的互 動。該互動系統以開放式的Android作業系統為平台，利用無線網路技術來達成 互動裝置的定位以及裝置與伺服器端的通訊，當演唱會現場觀眾搖晃行動電話時， 觸發行動電話內的加速度計參數改變，行動電話便以螢幕的明暗程度與閃爍，來 回應觀眾的輸入，透過螢幕的燈光變化，來達到在演唱會上觀眾與表演者進行即 時互動的效果(胡振傳，2011)。. 圖 2-9 建構在行動裝置上的小型演唱會群眾互動系統 建構在行動裝置上的小型演唱會群眾互動系統(頁 29)。 資料來源：胡振傳(2011)。建構在行動裝置上的小型演唱會群眾互動系統 國立暨南國際大學，南投縣。 29.
(38) 第四節 音訊效果器 音訊效果器是一種可對電子樂器或數位音樂訊號改變音色的電子器材，任何 能將聲音訊號再加工變化的音訊處理器，就叫做音訊效果器。其原理為使輸出的 波形聲音訊號失真，藉以改變音訊的頻率與音色。音訊效果器多用於電吉他、電 貝斯、或DJ系統中，將音訊效果器與樂器音頻線路連接，透過改變效果器的設 定，可以改變樂器所發出的音色(Yakabuski, 2001)。 表 2-6 實體音訊效果器型式 型式. 示意圖. 腳踏式 (Stompbox). 機架式 (Rackmount). 平台式 (Tabletop). 音訊效果器通常被定義為調整或修改音訊的訊號處理技術，發展至今約有四 十多年的歷史，應用領域包含作曲、錄音、混音、訊號處理，也擴及到即時互動 30.
(39) 及音訊處理的領域。實體音訊效果器的型式一般可分為腳踏式、機架式與平台式， 腳踏式多為彈奏電吉他及電貝斯之音樂演奏者所使用，常見的腳踏式效果器通常 僅含一項效果功能，演奏者若想同時使用多項音訊效果，可將多顆音訊效果器串 接。機架式一般作為錄音室在唱片後製或錄音時所使用，通常安裝在類似工業電 腦所使用的標準規格機架中，音訊效果器的控制則透過電腦或大型混音器。平台 式通常使用於現場表演的DJ系統中，其控制介面通常為旋鈕或觸控板，也有以 手掌對紅外線感應器作非接觸控制的音訊效果器。 一般常被樂器演奏者使用於音樂表演現場的音訊效果器功能如下： 低通濾波(Lowpass)：過濾掉聲音的高頻部分 高通濾波(Highpass)：過濾掉聲音的低音部分 迴音(Echo)：模擬聲音遇到障礙物後反彈回來的效果 延遲(Delay)：將聲音拷貝並在稍後的一點時間再播放出來 迴旋(Flanger)：利用原音疊上稍微延遲音的原理，產生出迴旋聲 殘響(Reverb)：模擬一個空間中來自四面八方的聲音反射 破音(Distortion)：造成聲音訊號的扭曲、失真，來達到破音效果 樂器演奏者通常會視表演時的音樂來選擇音訊效果器，像是DJ 常使用回音 (Echo)效果器讓歌曲產生回音的感覺；電吉他手若想要做出破音的感覺，可能就 會採用破音(Distortion)效果器；如果覺得聲音太乾時，可使用殘響(Reverb)、延 遲(Delay)之類的音訊效果器來修飾音色。音訊效果器是替音樂增色的工具，應用 在表演中可以對音樂有錦上添花的效果，但是無限制的濫用或應用不當，經常會 造成使人不悅的噪音，因此對一個好的樂手來說，選對正確的音訊效果器並在正 確的時機使用，是非常重要的。. 31.
(40) 第五節 MIDI 音樂介面 在80年代前，電子合成器都是通過按下鍵盤上的鍵，把不同的電壓加到一個 或多個電子振盪器上，藉以產生出適當的音調與音量。後來電子合成器的玩家們 發現，在具有不同設定的兩個或多個電子合成器上同時按下相同的鍵，發出的聲 音要比單一電子合成器發出的聲音好聽得多，電子合成器玩家稱該方法為層疊法 (Layering)。此法一出，讓玩家們熱衷於把電子合成器互相連接起來，用單一合 成器控制鍵盤就能同時操縱多部電子合成器，但當時電子合成器的廠商眾多規格 不一，要將這些電子合成器連接起來，有著相當高的難度。隨後美國電子合成器 製作大師Dave Smith提出一種實體樂器的標準，簡稱通用電子合成器介面。他最 初的目的只是為了能通過一個鍵盤同時演奏兩個或多個樂器，而這個標準經過了 多年的發展和進化，逐漸形成了一個完整的技術規範。 1983年8月，YAMAHA、KORG、ROLAND、SEQUENTIAL CERCUITS以 及KAWAI等世界性的電子合成器製造廠商舉行了一個會議，共同制定了名稱為 MIDI 1.0的技術規範(張戈、張旭，1996)，此後MIDI成為電子樂器工業中最重視 的一項規格。MIDI(Musical Instrument Digital Interface) 全名為樂器數位化介面 (Messick, 1998)，由電子音樂合成器製造協會在80年代制定，是一項電子樂器的 數位訊號傳輸工業標準(謝朝宗，1991)，讓電子樂器、電腦或其他舞台演出設備 能夠透過該工業標準彼此互相連接並且能夠在設備間傳輸音樂演奏訊號。MIDI 設備之間傳輸的訊號並不包含聲音，或者說MIDI訊號就像樂譜，紀錄的是如何 演奏音樂的訊息，像是音調、音符強度、樂曲速度等等的資訊，MIDI的訊息傳 輸是即時的，可在控制器與電子樂器之間傳輸訊息並隨意切換並同時演奏不同的 電子樂器，MIDI訊號相較於聲音檔案來說，在儲存時所需要的記憶體空間非常 的小，透過MIDI方式儲存的檔案，能夠很便利的藉由調整檔案內的訊息，來改 變音樂的演出，輕便且具彈性的儲存方式，也是MIDI介面從80年代制定至今仍 歷久不衰的原因之一。. 32.
(41) 綜合上述對於MIDI介面的介紹，該介面的主要幾項特性如下： 可以達成音樂設備間的通訊，或使電腦與音樂設備通訊 可以在電腦音效卡上合成音樂 使樂器間的通訊標準化 也可控制非樂器設備，例如舞台燈光、錄音設備等 可以不用考慮音質調校，使表演者專注於表演方法 能夠嚴密的控制表演的品質 可以輕易且即時的改變如音調、速度等各項樂器的特性及細節 MIDI介面被制定後，電子樂器開始有一個一致化的標準能夠遵循，即便是 不同廠商製造的不同樂器，也能夠透過MIDI來相互合作演出，MIDI介面的諸多 優點使其成為電子音樂界共通且共同的標準，從80年代至今歷久不衰，MIDI更 可以和波形音樂及合成音樂進行結合，以MIDI介面來控制波形音樂的播放或取 樣設備的操作(Russell, 2009)，近年來透過無線傳輸準與MIDI介面結合，也使得 MIDI介面的應用更加多樣化，讓MIDI設備之間更加零距離。. 33.
(42) 第六節 文獻探討小結 根據以上小節之文獻蒐集與分析，本研究期望結合直覺化的人機互動介面、 音訊效果器與數位音樂介面於音訊互動裝置中，運用音訊效果器濾波與數位音樂 介面控制的概念作為輸出，達到以音訊互動裝置在音樂表演現場的聽覺回饋。 隨著人機互動學門的發展與互動介面的不斷創新，許多互動裝置提供使用者 在操作上非常直覺化且更容易學習之介面，甚至不用接觸任何物體就能與裝置互 動，這樣的介面能夠讓人與電腦之間的互動更為生動且更有趣。目前所見國內外 優秀的音訊互動作品中，多數是以音訊輸入回饋以圖像輸出，或以影像輸入回饋 以音訊輸出的方式來達到互動效果。若能以音訊輸入回饋以音訊輸出的方式在人 與電腦之間互動，使用者以音訊對系統輸入後系統也以音訊回應使用者，對使用 者來說，如此的互動方式是相當直覺的。如果這樣的互動方式運用在音樂表演中， 作為觀眾與表演者之間的溝通媒介，讓兩者在這樣的互動過程中完成一場音樂表 演，可以讓觀眾與表演者之間透過音樂產生共鳴。 在設計互動裝置的輸入設備時，由於裝置的使用者為音樂表演現場的觀眾， 為多人同時進行輸入，因此為了避免使用穿戴式感應器的不便，我們利用麥克風 作為系統輸入端硬體設備，如此也可避免過多的感應器造成過多需要分析處理的 訊號，導致延誤互動的即時性。 在互動裝置的輸出端，由於我們需要改變音樂的節奏，對於常用的波形音樂 訊號來說，以改變播放速度的方法最為簡便而且能夠容易的改變音樂節奏，但卻 同時會造成音色的改變，若播放速度的幅度改變超過一定百分比，則可能導致音 調巨變造成音樂演出的反效果。因此我們選擇以MIDI數位音樂介面的方式作音 樂輸出，利用MIDI方式能夠僅改變音樂速度且同時確保音調不變，可以避免上 述欲調整音樂速度卻同時導致音調改變的副作用發生。. 34.
(43) 第三章 研究方法 本研究使用麥克風對聲音進行訊號取樣，結合音高偵測及節拍偵測於互動裝 置，音樂表演場合中觀眾的情緒聲響作為系統的輸入，以音高改變音訊效果器參 數、鼓掌節拍調整音樂節奏，進而改變表演現場的音樂內容。於第二章文獻探討 中，我們觀察音樂表演紀錄片、探討人機互動、互動裝置、音訊效果器以及MIDI 音樂介面。在本章節我們將介紹本研究之互動裝置設計，並進一步說明裝置輸入 與輸出端之互動設計，最後以專家訪談來評估本研究之互動裝置設計結果，以及 音訊互動裝置在音樂表演場合的適用性。. 第一節 研究架構 本研究使用麥克風作為互動裝置之輸入端硬體設備，結合音高偵測以及節拍 偵測之聲音訊號處理技術，辨識音樂表演現場的觀眾對系統的音訊輸入並回饋以 音訊效果濾波及MIDI節奏改變後之音樂內容，完成互動音訊效果器裝置。. 文獻蒐集與探討. 互動裝置設計. 音高偵測與掌聲偵測. 音訊效果濾波與音樂節奏調整. 音訊互動裝置 圖 3-1 研究架構圖. 35.
(44) 第二節 研究工具 本研究之目的為開發一套音訊輸入回饋以音訊輸出之互動裝置，研究工具可 畫分為硬體裝置與軟體平台兩部分。裝置之硬體部分採用麥克風置於輸入端，而 軟體工具的部分，可分為程式語言開發平台軟體與擴充多媒體功能之函式庫。 硬體：動圈式麥克風 程式語言開發平台：Microsoft Visual Studio 2010 多媒體函式庫：FMOD Interactive Audio Middleware, Microsoft DirectX SDK, Sanford Multimedia MIDI Toolkit 展示平台：相容於IBM PC之個人電腦. 第三節 互動裝置設計 本研究藉由即時偵測使用者對麥克風輸入聲音訊號之音高與節拍，進而改變 效果器濾波與音樂節奏，實現聲音輸入回饋以聲音輸出之音訊互動裝置，因此本 研究之研究設計分為音高偵測、節拍偵測、音訊效果濾波以及音樂節奏調整四部 分。本研究採用Microsoft公司之整合性開發平台Visual Studio中的Visual C#程式 語言撰寫，麥克風音訊輸入、音高偵測、節拍偵測的部分，採用FMOD Interactive Audio Middleware, Microsoft DirectX SDK, Sanford Mutimedia MIDI Toolkit多媒 體函式庫來實現。. 一、實體裝置設計 本研究之互動裝置採用麥克風作為輸入端硬體，處理與輸出端使用相容於 IBM PC 之 個 人 電 腦 以 Visual C# 程 式 語 言 加 上 FMOD Interactive Audio Middleware, Microsoft DirectX SDK, Sanford Mutimedia MIDI Toolkit多媒體函式 庫以電腦程式實現，裝置之設計如圖3-2：. 36.
(45) 圖 3-2 互動裝置設計圖. (一) 輸入端 本研究採用麥克風作為互動裝置之輸入端硬體設備，利用麥克風擷取觀眾之 聲音輸入，並將輸入之類比聲音經過取樣轉換為數位聲音訊號，本小節將討論麥 克風的選用與類比音訊轉換為數位音訊的取樣方法。 1. 麥克風的選用 麥克風依照使用原理及收音端硬體構造的不同，可分為動圈式、電容式、駐 極體電容式、微機電式、鋁帶式、碳精式等(Tung, n. d.)。其中以動圈式之價格便 宜，聲音柔潤適合收錄人聲的優點，因此本研究採用動圈式麥克風作為輸入端硬 體。 對於本裝置之安裝環境特性來說，麥克風的指向性也是一項必須列入考慮的 因素。麥克風的指向性係指麥克風對於來自不同方向的聲音之收音靈敏度，而麥 克風依據指向性來分類，可分為全指向性、心型指向性、超心型指向性、槍型指 向性、雙指向性(江亦帆，2006)。. 37.
(46) 全指向性. 心型指向性. 超心型指向性. 槍型指向性. 雙指向. 圖 3-3 麥克風指向性示意圖 如圖3-3所示，圓心點為麥克風主要收音部位，下方為麥克風手持部位，實 線圈起之部分為各種指向性不同之麥克風所能接收到聲音訊號的方向範圍，以本 研究之互動裝置環境設置為考量，由於音樂表演現場為開放式環境，除了揚聲器 所播放的音樂外，還可能會有四面八方傳來的環境音雜訊。因此為了避免麥克風 收錄到除了觀眾對互動裝置之聲音輸入以外的音樂聲或環境雜音，本研究採用心 型指向之麥克風，其收音方向朝向音樂表演現場的觀眾，藉以減少環境雜音對互 動裝置輸入端的干擾。 表 3-1 本裝置採用之麥克風規格 麥克風規格 廠牌. Kinyo. 型號 主構造型式. AY-0128 動圈式. 指向特性. 心型. 頻率響應. 50~14KHz. 感度. -53 ± 3db. 接頭. USB 1.1. 額定電壓. DC 5V. 2. 音訊輸入格式 一般麥克風收音所採用之聲音訊號編碼為PCM格式(Pulse Code Modulation 脈衝編碼調製)。PCM是一種數位取樣方法，可將類比訊號轉換成離散的數位訊 號，運用PCM方法，波形聲音訊號可以按固定的周期頻率取樣，其頻率通常為 38.
(47) 每秒鐘數萬次，對於每個樣本都測量其波形的振幅，振幅通常以位元深度為單位， 對於人耳的分辨能力來說，通常設定為16位元音質就足夠。取樣頻率決定聲音可 被數位化和儲存的最大頻率。以過低的取樣頻率對聲音取樣時，合成的波形比最 初的波形頻率更低，會造成所謂的訊號失真。Audio CD (CDDA)中使用的取樣頻 率是每秒44,100個樣本，或者稱為44,100 Hz。該取樣頻率為人耳所能分辨聲音的 極限。在Claude Shannon著名的取樣定理(又稱夏農取樣定理、奈奎斯特取樣定理) 中，指出如果信號是有限制的，並且取樣頻率比訊號頻寬高一倍，那麼原來的連 續信號就能從取樣的樣本中完全重建出來(Mitra, 2001)，由於一般認為人耳所能 聽到最高頻率的聲音約為20kHz，因此44.1kHz的取樣頻率依照取樣定理的定義， 能夠完整重建原始信號，為避免訊號失真導致裝置處理端音高偵測結果產生誤差， 本裝置輸入端採用CDDA規格作為音訊取樣之規格依據。 表 3-2 音訊輸入格式 CD 音質 聲音擷取格式. PCM. 取樣頻率. 44100 Hz. 位元深度. 16 bit. 聲道. Stereo. 資料量 (bits/sec). 1411200. (二) 處理端 在音樂表演現場，觀眾通常透過歡呼、吶喊、尖叫，或鼓掌來表達對表演者 演出之音樂的情緒反應，一般來說，這類表達情緒的聲音會比平時說話時的音調 高出許多，因此觀眾的情緒聲音高低通常可以代表對音樂喜好程度的高低。而觀 眾也會透過跟著音樂節拍的鼓掌，加強自己對於音樂的參與感，通常觀眾會跟著 表演者或是音樂的節拍鼓掌，來加強此類感受。在音樂表演中，音樂的內容主要 由表演者來掌控，欲將使用者對音樂的感受也加入表演，而成為音樂內容的一部. 39.
(48) 分，但又必須避免影響到表演者以及演出內容的完整性，因此，本研究利用觀眾 的情緒聲響來對音訊效果器進行控制，將觀眾鼓掌聲的速度對應於音樂節奏的調 整，達到加強觀眾與表演者互動的效果，以下將對前述兩項因素在互動裝置上的 實現進行說明： 1. 即時音高偵測 音高是聲音訊號裡面一項很重要的特徵，音高代表聲音頻率的高低。就人類 生理構造而言，由於聲帶的粗細寬度不同，男性及女性所能發出之聲音的音高範 圍也不同(桂冠學術編輯室(譯)，1999)，一般來說： 男性發聲的音高範圍約在62~523 Hz 女性發聲的音高範圍約在110~1000 Hz 因此一般稱人類聲帶所能發出之音高範圍約莫是50~1000 Hz之間。 聲音訊號之音高可經由音高偵測的方法求出，音高偵測是利用電腦估算音訊 資料中的音高，音高偵測的方法廣泛運用在音訊處理上，如語音辨識、聲調辨識、 語音合成的韻律分析、旋律辨識、音樂資訊檢索等。一般來說，音高偵測依據訊 號處理的方法可分為時域與頻域兩類實作法(Jang, n. d.)。 (1) 時域方法 自相關函數 (ACF: Auto Correlation Function) 平均振幅差函數 (AMDF: Average Magnitude Difference Function) 簡化反向濾波 (SIFT: Simple Inverse Filter Tracking) 基於時域的音高偵測方式主要是直接分析聲音訊號的波形來得到頻率，此類 方法運算速度快，在單一頻率的音高辨識上，準確率高，但若用來辨識兩個頻率 以上所組成的複音，則辨識的準確率會下降。 (2) 頻域方法 調和產品頻譜法(HPS: Harmonic Product Spectrum Method) 倒頻譜法 (Cepstrum Method) 基於頻域的音高偵測方法，會先利用快速傅立葉轉換的方式，將聲音訊號的 40.
(49) 波形資料轉換為頻域資料，接著再藉由分析頻域資料來得到聲音的頻率，在辨識 複音的準確率上較時域方法高，但是運算所需時間較時域方法高出許多。 本研究利用FMOD音訊函式庫對輸入端所捕捉到之數位聲音訊號進行音高 偵測，利用函式庫中的getSpectrum函式，對麥克風錄音所得到之音訊檔案進行分 析，可以得到該聲音訊號之頻譜分布，該函式之宣告如下：. FMOD_RESULT System::getSpectrum( float * spectrumarray, int numvalues, int channeloffset, FMOD_DSP_FFT_WINDOW windowtype );. FOMD音訊函式庫內的getSpetrum函式，為一項基於頻域方式來對聲音訊號 進行音高偵測的方法，使用快速傅立葉轉換(Fast Fourier Transform，FFT)來分析 聲音訊號，將PCM格式的時域訊號轉換為頻域訊號，並找出頻譜分布中強度最 高的頻率，該頻率即為所求之音高，該函式的第一個引數spectrumarray為浮點數 型別之矩陣，用來存放快速傅立葉轉換後之頻域資訊，第二引數為第一引數 spectrumarray之尺寸，第三引數channeloffset為欲分析之音軌，以雙聲道立體聲來 說，參數值0為左聲道、1為右聲道；最後一個參數windowtype為快速傅立葉轉換 前，預先將聲音訊號平滑化的功能，該方法為數位訊號處理上之視窗法(Mitra, 2001)。快速傅立葉轉換在將時域訊號轉換為頻域訊號時，會先對訊號進行取樣 處理，通常會將時域訊號截取為一段一段的序列，然後將每段序列看成是一個固 定的訊號，這個步驟稱之為框化，而這樣一段一段的序列稱之為時間窗口(time window)，由於截取出來的時間窗口很有可能不是訊號週期的整數倍，如此會導 致時間窗口的接點處有不連續的情況發生，因而造成頻譜洩漏效應，導致測量結 果出現誤差。應用預先平滑化方法先對聲音訊號乘上一個視窗函數，可以讓時間 41.
Outline
相關文件
These activities vary from unit to unit, so it is important to make sure students are clear about the task before they listen.. Then play the audio track listed for
Later, though, people learned that Copernicus was in fact telling the
Unit 6 The World’s Most Dang erous Creature... creature (n.)
• Learn to show the body props and to make the sound effects.. • Teamwork to play the fairy
Reading Task 6: Genre Structure and Language Features. • Now let’s look at how language features (e.g. sentence patterns) are connected to the structure
Promote project learning, mathematical modeling, and problem-based learning to strengthen the ability to integrate and apply knowledge and skills, and make. calculated
identify different types of tourist attractions and examine the factors affecting the development of tourism in these places;.4. recognize factors affecting tourist flows and the
Students in this Learning Unit should recognise the concepts of sample statistics and population parameters and their relationships:. Population Parameter
