科技藝術與互動多媒體

ㄧ 、 科 技 藝 術 與 互 動 藝 術 的 定 義

「科技藝術」（Technology Art）或稱「媒體藝術」(Media Art)、「新 媒體」，意指以電腦、光學應用、電子、機械等任何明顯經過現代科技產

31

整合設計[10]。透過實體影像作為視覺感測之基礎，並透過聲音的變化之 回饋，使用者可以透過各種反應（如聲音、動作等），即時與多媒體之人 機介面（human -computer interface）（圖 2-4-1）產生互動。

圖2-4-1 ：人機介面 [31]

三 、 互 動 多 媒 體 的 分 類

針對裝置種類及用途而言，可以區分為輸入及輸出兩種類型。其中，

如以感官模式及回饋方式做區分，可將互動之輸入及輸出方式細分整理如 下：

(一 ) 輸 入 ：

多模式系統（Multimodal system）是由兩個或兩個以上的使用者輸入 模式所組成，例如語音（speech）、書寫（pen- based）、觸碰（touch）、

手勢（manual gesture）、眼球轉動（gaze）、頭部（head）與肢體移動（body movement）等訊號辨識。再依人的知覺可將感官模式分為視覺、聽覺、觸 覺及運動感覺[11]。未來的多模式系統中，自然模式整合核心知識將來自

32

33

1、 視覺設備：互動裝置利用視覺影像將指令或訊號透過視覺輸入至系統 內。

2、 聽覺設備：互動裝置利用聽覺聲音將指令或訊號透過聽覺輸入至系統 內。

3、 觸覺設備：互動裝置利用觸碰方式將指令或訊號透過觸碰介面輸入至 系統內。

4、 運動感覺設備：互動裝置利用人體運動時的動作驅動裝置器材，將指 令或訊號輸入至系統內。

(二 ) 輸 出 ：

互動多媒體著重在雙方之互動，設計時必須考慮到彼此之互動模式，

包括操作、認知、感受、行為模式、聲音回饋等[32]。其中，互動多媒體 主要的功能即是表現大量的訊息給使用者，使得它們能夠了解訊息和訊息 項目間的關係。訊息呈現主要強調回饋性，包括視覺回饋、觸覺回饋、聲 音回饋等方面。

1、 視覺回饋：一般常見的手法是瞬間改變色彩變化，使得視覺產生落差。

2、 聲音回饋：多運用在警告或按鍵是否有碰觸到之反應等。

3、 觸覺回饋：一般多與視覺回饋結合，常見的方式多為按鍵之後介面產 生變化。

34

35

36

四 、 互 動 裝 置 的 設 計 與 應 用

目前多媒體互動裝置應用之領域包括教育、藝術、娛樂、醫療、工程 等。研究參考近年來互動多媒體相關研討會之文章與數位藝術作品，其中 以電腦視覺感測作為輸入，並產生聽覺等回饋之互動裝置作品，可分析整 理如下：

1. Phenakistoscope player：

Phenakistoscope player [4]是 以 唱 盤 模 式 為 基 礎 的 音 樂 播 放 介 面 ( 圖 2-4-5)，該裝置以顏色為音調，影像變換速率為節拍，兩者相互結合形成 新 的 音 樂 表 現 模 式 ， 裝 置 設 計 上 以 費 奇 那 鏡 Phenakistoscope 置 於 轉 盤 上，再以不同顏色的透明薄膜塑膠片覆於費奇那鏡之上，攝影機固定於轉 盤之上，藉由轉盤的旋轉形成ㄧ連續動畫顯示於螢幕之上，系統分析影像 之顏色（薄膜片）輸出顏色對應音調，而影像的變換速率則改變音樂的節 拍 ，形成新型態的音樂表現方式如圖 2-4-5 與圖 2-4-6 所示。

圖2-4-5 ：Phenakistoscope player 設備 [4]

37

圖2-4-6 ：Phenakistoscope player 轉盤示意圖 [4]

2. spinCycle：

spinCycle [7]亦是一套以唱盤為基礎的音樂播放介面(圖 2-4-7)。其操 作方式與傳統唱盤不同之處在於結合了視訊互動裝置。演奏者透過玻璃塑 膠製成的圓盤（紅色、黃色、藍色三種）來改變音樂的音色以及音調。系 統藉由攝影機拍攝圓盤排列情形與顏色，經電腦即時分析後，播放不同效 果之音樂。唱盤之演奏模式包含打鼓介面與正弦波合成介面。其中，正弦 波合成介面可以透過減色法合成不同的顏色來改變聲音的頻率(圖 2-4-7)。

圖2-4-7 ：spinCycle設備與操作情形 [7]。

38

3. LINE：

LINE [6]是一套結合光線與聲音的互動裝置。使用者可以透過一個手 握控制器改變光線的性質並合成不同效果的聲音。此互動裝置由一個圓柱 狀的水箱與投射燈等器材組成。透過光線的反射可以使得光線在水箱中產 生交會，呈現不同的視覺效果。另外，光束的顏色、大小、與亮度分別影 響到聲音的頻率、和聲、與音量。

圖2-4-8 ：LINE 所呈現的光束效果與互動情形示意 [6]

4. 虛 擬 鋼 琴 Virtual Piano：

虛擬鋼琴之研究應用了數位影像處理技術，並且結合了影音互動裝置 [14]，形成一套虛擬的表演介面。研究藉由攝影機對使用者的手部動作取 像，再針對手部位置做分析，以即時合成音高並即時播放聲音。演奏者可 以透過桌面上的虛擬鍵盤彈奏樂曲，成為一套不需實體鋼琴的演奏介面。

圖2-4-9 ：虛擬鋼琴操作情形 [14]

39

5. 戲 水 戲 [62]：

本裝置為 2007 年台北數位藝術節互動裝置之得獎作品，戲水戲應用 了水波的干涉作用，裝置主題為三個透明水槽，各對應高、中、低音，以 投射燈光由下往上透射透明水槽，攝影機架於天花板以擷取水槽投映於牆 上之干涉條紋，參與者藉由拍打水槽使水波產生干涉條紋，系統即時偵測 干涉條紋之多寡，干涉條紋越多，聲音的節奏就越快。

圖2-4-10：戲水戲之操作實圖 [62]

6. 雙打 [63]：

本作品亦為 2007 台北數位藝術獎之作品，並入圍義大利 404 電子藝 術節展演出，其原理是由於 CCD 視訊攝影機可偵測人眼不可見之紅外線，

因此在球的上方裝置一紅外線投射器，藉此攝影機可即時擷取參與者操縱 的桌面球位置，位置不同裝置會發出不同頻率聲響的音訊，同時投射出七 彩線條之影像，裝置如圖 2-4-11。

40

圖2-4-11：互動裝置「雙打」之操作實圖 [63]

以 上 所 列 舉 之 互 動 多 媒 體 系 統 皆 透 過 視 覺 感 測 裝 置 作 為 訊 號 輸 入 設 備 ， 給 予 使 用 者 不 同 的 聽 覺 回 饋 。 國 際 研 討 會 NIME(New Interface for Musical Expression)中，有許多此類的作品。國內而言，台灣師範大學音樂 系李文彬教授的作品「雨滴的聯想」[22]，便是一套探討「文字」、「音 符」、「影像」與「表演」之間相關性的作品。以現場演奏，讓樂器演出 者與文字轉譯產生互動，從音樂演出觀點帶出視覺效應。