第二章 文獻探討
第五節 文獻探討小結
interaction 或 human–machine interaction)。早期使用鍵盤輸入來對電腦下指令，
隨後則推出滑鼠、手寫板、搖桿等輸入設備，近年來則有網路攝影機、麥克風、
紅外線等設備提供使用者選擇。這些設備不斷地讓人與電腦間符合「簡單、自然、
友 好 、 一 致 」 的 互 動 模 式 [8] 。 針 對 人 機 互 動 中 的 互 動 要 素 ， Borsook &
Higginbotham[9]提出以下六點[10]：
1. 立即回應
10
11
12
Machine Human
Serial Process
感測模式
13
14
置，讓使用者可以得到不只一種的感官回饋。
互動裝置的創作者除了要有資訊科技的知識以外，還必頇考慮整個互動流程 的架構，讓使用者在進行互動操作時，將無形的物件變成像是真實的一樣，同時 體驗創作者設計的互動效果以及輸出回饋的感官結果。
15
第二節 音訊互動作品探討
在人機互動的作品中，創作者設計的內容選擇技術與器材。裝置輸入端的部 分有使用網路攝影機捕捉影像的影像辨識、用麥克風擷取聲音的音訊辨識、用紅 外線偵測溫度的紅外線感測等等，而輸出端依輸出類型可以有螢幕或投影機的影 像顯示，喇叭裝置的聲音播放等等。使用不同的技術搭配不同的輸出型態，可以 讓使用者與作品有不一樣的互動關係。因此本研究選擇了一些運用不一樣技術的 互動作品，藉此了解不一樣的技術領域，進而探討使用者與作品之間的互動關 係。
一、 Drawn
Zach Lieberman[15]是 Drawn 這裝置的創作者，同時擁有程式設計師與藝術 家兩種身分的他，致力於互動藝術的開發。這個互動裝置透過一個架設於頭頂上 的攝影機來捕捉與辨識使用者用毛筆於白紙上所繪畫的圖形，並經過投影機投影 出來，使用者可藉由手指簡單的觸碰與移動這些物件而製造出不一樣的聲音。這 種直覺式的互動方式，讓使用者幾乎不需要另外的學習即可有良好的互動效果。
圖 2-2：Drawn 裝置實際操作照片[15]
16
二、 Messa di Voce
Golan Levin[16]被譽為聲音視覺領域的大師，其作品將影像、聲音、音樂循 環互動結合在一起。致力於互動藝術的他，在 2000 年以前的作品都呈現視覺相 關的互動，但是在 2000 年「Scribble」這個作品以後，開始致力於整合聲音與視 覺。Messa di Voce 這件作品就是聲音與影像即時互動的裝置，使用者在舞台上 發出一連串的聲音，透過音量、音高、音長以及發聲位置的偵測，將聲音轉換成 相對應的虛擬圖像顯示於螢幕上。使用者用聲音操作時可以即時得到視覺上的回 饋，經由移動聲音來源或者改變發聲方式來讓聲音與視覺有一定程度的相對應。
由於人類對於視覺的熟悉度比聲音來的高，所以這樣的互動方式可以讓使用者對 於聲音有更深一層的了解。
圖 2-3：Messa di Voce 裝置實際操作照片[16]
三、 Freqtric Drums
2006 年來自日本九州大學的 Tetsuaki Baba[17]運用皮膚的接觸作為音樂創 作的互動介面。Freqtric Drums 運用皮膚的電量活動(EDA，Electro Dermal Activity) 來偵測人類手上的碰觸與否以及碰觸強弱，並且即時傳送 MIDI 信號給擴大機放 出聲音來(圖 2-4 左)。整個裝置是以一個帶有四個握把的圓環構成(圖 2-4 右)，讓
17
四位使用者各出一隻手握住握把，另一隻手就可以互相的碰觸進而產生不一樣的 音調以及強度，進而達到音樂創作的互動。之後出現的 Freqtric Project 也是以 Tetsuaki Baba 為主的計畫，主要是把這項技術以及互動的概念套用到遊戲中，利 用人類五感中的觸感：皮膚與皮膚之間的接觸作為互動的概念，讓傳統的人機介 面有更不同層面的思考。
圖 2-4：Freqtric Drums 裝置實際操作照片[17]
四、 reacTable
在 2007 年台北數位藝術節一套來自西班牙巴賽隆納 Pompeu Fabra 大學的作 品「reacTable」[18]互動音樂桌，強調多用戶、即時操控的聲音、直覺性的音訊 互動裝置。reacTable 是以一個半透明圓桌做為操作介面，圓桌上可以依照使用 者喜好擺置 reacTable 提供的各種形狀特製方塊，在方塊的背面各有一種辨識符 號元件。在圓桌底下有攝影機以及投影機，攝影機即時的捕捉半透明圓桌上各個 控制元件的位置以及該辨識符號元件所代表的聲音採樣，並且即時計算其旋轉、
移動以及與鄰近其他元件的角度、距離、關聯、連線狀態，再把這些資訊透過 TUIO 協定傳送給控制聲音合成器以及視覺合成器。控制聲音合成器取得所需的 資訊後依照不同的參數產生並改變喇叭撥放的聲音，視覺合成器則連結到投影機 即時投影出相關狀態顯示於圓桌上。使用者藉由旋轉、移動、加入、移除等動作，
操作實體的辨識符號元件，達到即時的聲音改變與圖形連結，得到聽覺與視覺的 回饋。目前在 reacTable 的官方網站也有相關的釋出技術，已經有人使用他釋出
18
的技術進行相關延伸研究。
圖 2-5：reacTable 裝置實際操作照片[18]
五、
The Sound of Touch
David Merrill 與 Hayes Raffle 是來自 MIT Media Lab 的學生，而 The Sound of Touch[19]是他們於 2004 年的作品。裝置外觀是一支像筆的手持裝置，使用者可 以將聲音錄製於裝置中，就可以將剛錄製的聲音與裝置接觸表面的聲音做混音的 效果並撥放出來。裝置的前頭可以讓使用者自行選擇使用的材質，有黃銅片、刷 子、塑膠棒以及畫刀，不同的材質在接觸不同表面時所發出的聲音也不一樣，因 此混音出來的結果也會不一樣。使用者可以藉由聽覺與觸覺去感知材質與聲音之 間的變化樂趣。
圖 2-6：The Sound of Touch 裝置實際操作照片[19]
19
六、 Drawdio
MIT Media Lab 的 Jay Silver[20]延續前一個 The Sound of Touch 作品中混音 效果的概念，研發出了一個聲音的互動裝置「Drawdio」。Drawdio 是把 draw 與 audio 結合在一起，顧名思義是一支可以畫出音樂的筆，簡單的應用是將裝置與 鉛筆做連接，在紙上畫圖時就可以邊畫邊發出聲音，並且在畫過的痕跡上用手指 觸碰塗抹，可以發出不同的音階。主要原理是利用鉛筆筆心內的石墨與電路創造 出一個通電的迴圈，類似電路迴圈的概念。運用鉛筆的筆心當作導電元素可以創 造出人與物體上的互動，而這項裝置也可以使用於人與人身體上的接觸，幾乎是 所有導電與帶電的物體都可以使用此裝置。Drawdio 的出現，除了讓人與人之間 有一種不一樣的聲音互動方式，也創造出物體與人類對話的世界。
圖 2-7：Drawdio 裝置實際操作照片[20]
七、 Counter Phrases
Counter Phrases（對立說法）[21]是 2010 年台北美術館所展覽的「形、音、
異：法國里昂國立音樂創作中心聲音裝置展」中的作品之一，創作者為 Thierry De Mey。一般來說，音樂與舞蹈之間的關係是先有音樂，舞蹈家再根據音樂來進行 編舞，但這個作品卻反其道而行，先把舞蹈動作拍攝下來，再請作曲家來根據動 作編曲。這個作品將 Anne Teresa de Keersmaeker 所編的舞蹈，請十位作曲家編 曲，作者再整合起來變成一段變奏曲，因此將作品的名稱取為對立說法。雖然這
20
件作品本身觀眾無法進行科技性的互動，但是作品中所蘊含的意義卻可以帶給觀 眾不一樣的回饋。
圖 2-8：對立說法作品[21]
八、 三位一體#2
這個裝置是台灣藝術家宋恆[22]於 2007 年的作品，2006 年先是推出作品「三 位一體」，以傳統鼓具演奏結合互動科技，打破參與者、樂音及影像本位各自獨 立的觀念，重新建立人、聲音及影像三者為一體的全新關係，使虛擬影像、真實 鼓聲與場域內的參與者同時變成作品主體。而「三位一體#2」的不同處是增加了 傳統鼓具的數量到三個，由於使用者的增加也添增了人與人之間透過聲音的互動，
形成全新的三位一體。
圖 2-9：三位一體裝置實際操作圖[22]
21
九、 2304+壹
「2304+壹」[23]這項作品是施惟捷於 2010 年台北數位藝術獎的互動裝置，
試圖以電子音樂、鋼琴裝置、身體三者建立一種帶有即興元素的表演風格。2304 是 48 的次方，代表著 48 個鋼琴白鍵有著 2304 種組合，而國字的壹指的是一個 人或舞者，以 2304 與壹來代表兩種不同領域的對話。藉由攝影機捕捉舞者的動 作能讓鋼琴上的電磁筏裝置產生敲擊並產生亂數的音符，在這種情況下產生的音 樂是完全自由且不具樂理規則的。作者藉由互動裝置的開發，想呈現的是一種從 兩者間彼此的試探到彼此的信任，然後在一連串的累積中，趨近完整的一種過 程。
圖 2-10：2304+壹作品示意圖[23]
在以上所探討的音訊互動作品，我們將擷取這些作品的優點來發想本研究的 互動裝置形態，「Messa di Voce」作品利用了麥克風陣列來實現使用者聲音位置 的定位，在「2304+壹」的作品中讓舞者的肢體動作做為音樂輸出改變的依據，
而「Counter Phrase」則利用幕後編曲的動作讓作品有美妙的音樂搭配舞蹈呈現。
結合以上優點來進行本研究互動裝置中輸入、處理與輸出的開發，利用互動裝置 來感測與定位使用者舞蹈的肢體動作，並輸出編曲過的音樂來對應使用者的舞蹈 動作，希望從人與裝置的互動發展成音樂與舞蹈之間的互動關係。
22
23
1. 帄面式麥克風陣列
帄面式麥克風陣列，顧名思義是採取一維直線或二維帄面型態的排列方式，
因此細分上可以多分出線性式麥克風陣列。線性式麥克風陣列最常見的應用是用 於筆記型電腦上，運用兩支獨立的麥克風形成的麥克風陣列可以克服環境噪音和 回音對於語音訊號的影響，讓使用者在使用語音服務時可以還原出乾淨的聲音。
二維帄面式的麥克風陣列也大量的運用在機器人上面，以人類耳朵為基礎概念，
運用兩個或多個麥克風於機器人上可以判斷聲音來源的方向，做出即時的頭部旋 轉[27]。
帄面式麥克風陣列的應用中最有名的實例是在於偵測波音 777 發出噪音的 所在位置。由於世界各發達國家紛紛制定了民航機起飛和降落時的噪音標準，然
帄面式麥克風陣列的應用中最有名的實例是在於偵測波音 777 發出噪音的 所在位置。由於世界各發達國家紛紛制定了民航機起飛和降落時的噪音標準，然