多媒體智慧實驗：透過互動式系統之影音與運動媒體整合

(1)

行政院國家科學委員會專題研究計畫成果報告

多媒體智慧實驗：透過互動式系統之影音與運動媒體整合

計畫類別：個別型計畫計畫編號： NSC94-2411-H-009-007- 執行期間： 94 年 03 月 01 日至 95 年 03 月 31 日執行單位：國立交通大學音樂研究所計畫主持人：溫瑟.費爾共同主持人：黃志方報告類型：精簡報告處理方式：本計畫可公開查詢

中華民國 95 年 7 月 2 日

(2)

行政院國家科學委員會專題研究計畫期末報告

多媒體智慧實驗：透過互動式系統之影音與運動媒體整合

Experiments in Multimedia Intelligence: Integration of

audio/visual/motion media via interactive systems

計畫編號：

NSC 95－2411－H－009－007

執行期限：95年3月1日至96年3月31日

主持人：Phil Winsor 教授國立交通大學音樂研究所

一、中文摘要本計畫將各相關學科作一設計之整合，研究團隊將包括藝術家與科學家之同心合作以完成影音實驗藝術下各學門跨領域之計畫。計畫所發展之實驗多媒體應用包括整合使用者互動軟體發展，其範圍可函括各式影/音/運動媒體成份、人類之音樂演奏、舞者、以及演員。本計畫將透過多媒體實驗藝術軟體之實際經驗，透過各式感應器與數位資訊融合，可將聲音、影像、與運動資訊加以整合與交換，藉由運動模擬器以及視訊、音訊之整合與輸出，和各領域之藝術家與科學家共同達成互動式實驗影音藝術研究與表演的目的。最後將完成建立歷史性的有聲資料檔，記錄了台灣社會在千禧年間之轉變，包括社交的、環境的、以及文化特質的相關聲音，將擷取並利用分類的數位聲音風景畫資料庫以供商業聲音設計人員之使用，以及提供予一些想利用自然環境聲音資源創作的作曲家們所使用。這些自然環境聲音資源在電腦音樂的語彙中稱之為 “具象音樂”，而期間之田野研究與分析結果將整合於電腦音樂之環境中，以環境聲音風情畫為題材的新音樂，配合 ”跨媒體” 藝術創作方式逐步表現出來。關鍵詞：實驗多媒體應用、影/音/運動媒體成份、環境聲音風情畫、”跨媒體” 藝術 Abstract

This project is designed to be interdisciplinary in nature. Research teams are to be comprised of artists and scientists

projects lying within interdisciplinary audio/visual areas. Experimental multimedia applications include development of user-interactive software incorporating audio/visual/motion media components and human musical performers, dancers, and actors. This project will be based on the experience of the experimental multimedia arts, via the various sensors and data fusion, the synthesis of motion, video, and audio can be integrated and interchanged. Therefore the outputs of motion simulator, audio, and video can be coordinated with various fields of artists and scientists, in order to achieve the goal of researching and performing for the interactive experimental audio and video arts. Finally an historical archive of sonic portraits will be compiled to document the social, environmental, and cultural characteristics of the Taiwan community at the turn of the millonium, and, a categorized SoundScape Digital Library will be compiled for use by commercial sound designers and for composers wishing to make use of natural and environmental sound sources in the computer music idiom know as digital

musique concrete. Therefore the new music

composition with the environmental soundscapes will be composed with the “inter-media” art composed and showed up, eventually.

Keywords: Experimental multimedia

applications, audio/visual/motion media components, environmental soundscapes, “inter-media” art

二、緣由與目的

(3)

中實現演奏者-互動多媒體藝術（例如現場音樂家、影音數位控制、戲劇演員、以及編舞等）。有鑒於國內學術界對於電腦音樂之討論與應用方面，仍以使用 MIDI 程式以及電腦打譜為主，較少討論數位聲波， MIDI，以及互動式演奏之結合。本計劃將探討數位音樂創作原理與方法，並結合具有實際使用電腦創作音樂與即時演奏能力之演奏者，以科技之方法達成互動式音樂創作之輔助與檢視方法。計畫中利用互動式 PC 軟體整合電腦音樂與現場演奏、即興創作演奏、新音樂記譜法程序等，除了利用先進的電腦音樂技術，並將各種聲音、影像、以及運動等資料整合運用成為創作之素材，提供予一些想利用電腦與即時演奏結合創作的人士經熟稔與思考後靈活運用。在運動資料之擷取與模擬方面，目前國主要以 Motion Capture Sensor 為舞者或是運動物體之輸入，運動模擬平台為模擬舞者或是各種可能合成運動之輸出。國內學術界對於六軸運動模擬平台之設計與控制，主要是以正反運動之分析為主，較少討論運動之動態效應與可即時控制性之重要性。本計畫之主要研究，擬在於發展一般化之 PC-based 控制機制，用以控制電動螺桿缸驅動之 Stewart 平台作為六軸運動模擬器之運動平台，並針對利用 MIDI、 Audio、Video、以及 Motion 等各種數位資料交換、融合、與運動平台之相互搭配與役使問題，作一深入研究。計劃中，將著手建立一套實驗用系統雛型，包含一六自由度 Stewart 運動平台，並使用電動螺桿缸驅動之方式，較傳統液壓控制方式之效率為高，尤其適合如舞蹈、運動等瞬間 G 力與姿態之運動模擬。隨著電動馬達之酬載能力的提升，用電動螺桿缸驅動中小型六軸舞蹈運動模擬平台是十分理想之設計。該平台屬卡笛遜座標機構，具有高的順從性與穩定性，且回授力大，尤其其翻轉角度與位移量大，故能勝任各種載具在慣性空間各種運作情形之模擬，尤其適用於各種運動合成之動感模擬器。計畫同時對於人和平台在加速度、視效、音效方面之人因工程 (Human Factor) 以及多媒體藝術方面的問題作一討論。Stewart 平台雖然工作範圍較小，但其剛性、力重比、以及控制精度等，均較串列式操作器為佳。Stewart 平台有很多種形式，一般是以六個或三個線性伸縮桿(Linear Extension Bars)為致動器。一般六個線性伸縮桿之構型，依 Grubler 公式之計算可得到六個自由度。本計畫採用 Stewart Platform，含括了六個致動器，可得到六個自由度的機構。由於該機構具有線性線性伸縮桿之對稱性與簡易性，亦兼具六自由度之能力，是六軸運動模擬平台機構之良好設計。

另一方面 OSC (Open Sound Control) 為一種跨越電腦、跨越合成器、甚至跨越各式多媒體與網路裝置的一種通訊協定。例如：不同電子樂器或是合成音源均可透過 OSC 的機制達成資訊分享的目的，使多位電子樂器演奏者可以透過共通的平台交換資訊，因而可以讓不同廠牌的樂器一起協調地演奏。最基本的 OSC 電子樂器架構可藉由 MIDI 協定來實現， MIDI Controller 與合成器均可透過共通平台來分享各式音源與合成器之資源，以完成一致性的創作與演出。三、結果與討論本年度計畫以 MAX/MSP 影音 MIDI 準則創作軟體與六軸舞蹈運動平台之整合為主要項目，目前已完成包括下列方向之研究與實作：音響學與電腦音樂之整合 - 對於所

(4)

需用到之電腦音樂技術發展作一研究，尤其針對環境音樂數位化後之聲波檔作適當之音效處理後，瞭解各樣本波形之起始 (Attack)、衰退 (Decay)、持續 (Sustain)、釋放 (Release) 等四個階段之特徵並作一分析，嘗試以電腦音樂之技術改變樣本波形之特性，以適合各音樂創作所需之音響效果，將可使電腦音樂之應用層面發揮得更為廣闊。 MIDI 軟硬體架構之建立與 Sequencer 編輯程式之運用 – 包括 MIDI 發展歷史與其格式、電腦打譜、與 MIDI Sequencer 之介紹與實作，以奠定電腦音樂創作之基礎。MIDI Sequence 合成方法實現 – 包括以 Cakewalk 為主之軟體介紹，以及音色之各式轉換（Transformation）功能，以期達到從一個最基本單元之 MIDI 檔轉換至聲波檔具有充分處理之能力。數位音樂創作架構之建立 – 以電腦音樂為主要之發展環境，利用 MIDI 介面與聲波處理程式結合，學習透過各種數學轉換之功能，對於音高結構、節奏、音色、時值、音域、速度、力度等各種音樂要素能夠在作曲者心物合一之控制下，得心應手並達到數位音樂創作之目的。 MIDI/Audio 之整合環境介紹 - 在電腦音樂創作與音效處理上，主要針對電腦音樂之應用方面，不僅使用 MIDI 程式，更進一步討論數位聲波檔、MIDI、以及環境音樂之結合，同時在音樂創作上對於不同特性之材料上之整合，期能突破一些領域上之限制，開創出全新之可能性。各種環境音樂發聲方式經過分析與分類後，將可更深刻之掌握音響學與管絃樂配器之原理，對於虛擬之數位聲波檔、真實樂器、以及所錄製之環境音樂加以整合，創作嶄新之音樂，同時可學習電腦音樂之環境整合電子式音樂與音響式音樂，成為整合式的電子-音響音樂（Electro-Acoustic Music），並加入音響樂器演奏者的即時與即興演奏，透過數位轉換（Digital Transformation）的功能，達成數位互動音樂之創作與演奏。 MIDI 準則創作 透過 MAX/MSP 準則創作軟體，將可建立一套具有各種準則設計能力之音樂發展環境。這些準則包括內建之函式，例如： Random Function 或是 Sieve 等，如圖 1 所示。

圖 1、用 Random Function 與 Sieve 函式之”MAX”程式範例

數位聲波合成與創作環境建構

透過 Adobe Audition、Audio Mulch、 MAX/MSP、或是 Granular 等數位聲波合成技術與創作軟體，將可以實現取樣聲波檔案之建立、合成、與轉換。其中圖 2 為使用 MSP 產生 Cross Synthesis 之範例；而圖 3 則為使用 AudioMulch 產生 Cross Synthesis 之範例。

(5)

圖 2、用 MSP 產生 Cross Synthesis 之範例圖 3、用 AudioMulch 產生 Cross Synthesis 之範例 PC-Based 可程式控制邏輯控制器之設計 PC-Based 之可程式控制邏輯控制器可控制六自由度舞蹈運動平台。計畫所發展之控制器係以 PC-Based 可程式控制邏輯 Programmable Logic Control, PLC) 制器為基礎，為 WINDOWS-based 程式。計畫中將建構一個架設在 Microsoft Windows 95/98 上的可程式邏輯控制器 PLC 系統。傳統 PLC 設計需透過操作者界面 Operator Interface) PLC 程式化工作站 PLC Programming Station) 製成硬體或晶片式之 PLC 來執行控制相關工作，其設計與修改均不方便。有鑑於傳統 PLC 設計之缺點，本計畫在發展射控電腦即以 PC-based PLC 為主要控制器，非其設計與修改均十分方便，且據有強大之人機圖形功能，操作簡易，極適用於現場藝術家之操控，並節省訓練與操作時間。系統所提供圖形化的人機介面，其功能包括了 PLC 程式的編輯、管理及控制模擬。除此之外，內含 Open-Check 及 Short-Check 功能的階梯圖編譯器也建構在系統虛擬機器中。而為了能提供給 PLC 系統一個精確的計時器，我們重新規畫 Real Time Clock 晶片使 PC 能產生 1kHz 準確的硬體中斷。再者，為了要使 PLC 程式容易維護，我們將沒有意義的接點名稱轉換成依循國際標準 IEC1131-3 有意義的變數名稱。當編譯器編譯完階梯圖時，則產生可執行機械碼，藉此完成 Windows 上可程式邏輯控制器系統的實現。鑒於軟體之可擴充性與可維修性，本計畫將採用模組化之軟體設計法則，目前規化為下列模組：軟體 PLC 程式模組 (CPL)，可以 Ladder Diagram (LD)、

Instruction List (IL)、或 Sequential Function Chart (SFC)方式撰寫程式，可執行布林運算、Timer、Counter、Coil 等功能；人機界面模組(HMI)，可執行圖形控制、X-Y Graph、Cursor、監視 I/O 點等功能、LED Display、LCD Display、以及一些物件崁入 (OLE)與各式軟體 Button 功能；延伸環境模組(Extension Environment, ENV)，可為系統發展使用者將其應用軟體之 Dynamic Link Library (DLL)或 Dynamic Data Exchange (DDE)加入控制器中；公用資料交換模組 (GDE)，為執行引擎，透過 Real Time Clock 卡或 PC 本身之 Real Time Counter，執行相關之軟、硬體 I/O 功能；硬體構型模組 (CNF)，可規劃、測試相關

(6)

硬體，直接將程式對應到控制點位置。其所之援之硬體將包括 A/D、D/A、Counter、 Timer、Motion Card、RS232/422/485 等。 PC-Based 可程式控制邏輯控制器可依據 IEC1131-3 程式語言規範之相關語法來進行編譯，包含了 Instruction List (IL)、Ladder Diagram (LD)、與 Sequential Function Chart (SFC) 等語言來實現自動化應用之邏輯控制設計。採用 PC-based PLC 為主要控制器不僅有上述模組化、易修改性等優勢，由於其工業標準化之成效，亦可始本計畫之六軸舞蹈運動平台系統核心控制部分具有穩定性與易擴充性。傳統 PLC 設計 PC-Based PLC 設計 I/O PLC Operator Interface PLC Programming Station Indsutrial PC PLC Software I/O 圖 4、完成 PC-based 可程式邏輯控制架構 六軸舞蹈與運動模擬平台設計分析 一個典型之六軸運動模擬器所使用之運動平台通常為 Stewart Platform。此平台包括了六個致動器，其中三個在線性伸縮桿 (Linear Extension Bars) 上，另外三個在旋轉關節 (Rotary Joints) 上。六軸運動是指模擬平台在不同的時間行程內，一系列之線性位移與旋轉位移，因此可視為運動之軌跡 (Trajectory of Motion)。舞者宜透過感測裝置 off-line 或是即時地將運動資訊透過 PC-based 控制器處理後，配合影音資料融合後在運動平台上產生不同之動作模擬，運動平台前宜安裝一投射銀幕，以虛擬實境 (Virtual Reality, VR) 或其他之動態影像系統方式呈現，以作為六軸運動模擬平台之視效部份。六軸運動模擬平台與舞者間最重要之互動關係應為加速度。當速度為一定值，亦即在零加速之期間，六軸運動模擬平台並不需要產生任何運動。由是針對一定之運動，吾人宜先行計算每一瞬間所需之加速度，因此在有限之工作區間 (Workspace) 內，在一離散時間序列內對加速度作取樣是必要的。在本計畫中吾人討論六軸舞蹈與運動模擬平台與 MIDI/Audio 系統間之加減速匹配問題，未來亦可應用於與藝術創作情境和平台間之脈衝運動匹配問題之研究。圖 5、運動模擬平台之設計

(7)

六自由度舞蹈運動模擬機構製作 六自由度舞蹈運動模擬機構之設計與控制，主要是以正反運動之分析為主，另外亦討論運動之動態效應與可即時控制性。本年度計畫之主要研究，擬在於發展製作一般化之 PC-based 控制機制，用以控制電動螺桿缸驅動之 Stewart 平台作為平行式機構之運動平台，並針對平行式機構與電動馬達之相互搭配與平衡問題，作一深入研究。計劃中，將著手改善建立一套實驗用系統雛型，包含一六自由度 Stewart 運動平台。使用電動螺桿缸驅動之方式較傳統液壓控制方式之效率為高，尤其適合瞬間機砲之射擊。隨著電動馬達之酬載 (Payload) 能力的提升，用電動螺桿缸驅動中小型平行式砲臺機構是十分理想之設計。該平台屬卡笛遜座標機構，具有高的順從性與穩定性，且回授力大，尤其其翻轉角度與位移量大，故能勝任各種載具在慣性空間各種運作情形之模擬，尤其適用於平行式砲臺機構。Stewart 平台六自由度平行式操作器 (Parallel Manipulator)，與串列式操作器 (Serial Manipulator) 相比，雖然工作範圍較小，但其剛性、力重比、以及控制精度等，均較串列式操作器為佳。 Stewart 平台有很多種形式，一般是以六個或三個線性伸縮桿 (Linear Extension Bars) 為致動器。本計畫則採用六軸 Stewart Platform，由於該機構具有六個線性線性伸縮桿之對稱性與簡易性，是六軸舞蹈運動機構之良好設計。圖 6、運動平台之機構實體六自由度舞蹈與運動平台之反向運動學分析六軸舞蹈與運動模擬平台屬於平行式機器人機構，其反向運動學為唯一解，座標系統如圖 7 所示，吾人可依據卡迪遜空間（Cartesian space）導出關節空間（Joint Space）之關係。 (O) Uc ( ) Pub Pbi Ri Ti Pui Li 圖 7、六軸舞蹈與運動模擬平台座標系統此六軸舞蹈與運動平台機構包含三個 RSSR 迴路，因此形成了三個方程式：

[ ][ ] [ ] [ ] [ ]

P

_ui

Q

+

P

_ub

−

P

_bi

−

L

_i

=

0

for i =1, 2, 3 此處

[ ]

P

_ui 為上板中心至球行接頭之向量；

(8)

[ ]

Q

為

3 ∗

3

方向矩陣；

[ ]

P

ub 為原點 O 至上板中心點之向量；

[ ]

L

i 為線性致動器之向量。由上述之定義與關係式可導出：

[ ] [ ][ ] [ ] [ ]

L

i

=

P

ui

Q

+

P

ub

−

P

bi i=1, 2, 3 三個旋轉角

φ

_i可由三個旋轉關節自由運動軸之起始向量

[ ]

T

_i0 得到：

[ ]

)

]

[

(

cos

1 i i0 i i0

T

⋅

=

− i

φ

i=1, 2, 3 此處

[ ]

T

_i 為三個旋轉關節軸向量。透過運動學之分析，並以 C 語言程式執行即時之解譯與控制，才可以使六自由度舞蹈與運動模擬平台順利地整合與 MAX/MSP 準則創作環境中，以利跨媒體以及超越器之多媒體實驗藝術創作。 MAX/MSP 系統與運動平台或致動器之整 合 MakingThings' Teleo 是一組可以和 MAX/MSP 互動藝術創作結合之硬體裝置，透過 MAX 機制與 Teleo 所提供之 I 類比與數位/O 可直接控制外界環境之物理量，包括各式感應器之輸入/輸出以及致動器之控制等。馬達致動器之控制亦可使用 MAX/MSP 程式來加以整合控制，包括 Limit Switch 等感應裝置亦可於程式中結合，如圖 8 所示。圖 9 則為典型之馬達與驅動器之範例。圖 8、使用馬達與 MAX/MSP 程式之整合運用圖 9、DC 直流伺服控制馬達與驅動器範例在 MAX/MSP 之聲波處理上，除了可以產生各式振盪器之組合外，亦可以透過快速傅立葉轉換（Fast Fourier Transform, FFT）、高 / 低通濾波器來執行各式聲波之轉換（Transform）以及濾波（Filter）之效果，以獲得所需之聲音取樣、合成、與變換。其中可以透過如圖 10 所示 Interactive Four Buffer Play，可以將預存之聲波檔案以及即時錄音之聲波放入 MSP 所開設之 Buffers，因而產生了即時演奏互動之音色變換與交感機制，進而達到即興演奏與音樂創作合一之境地。又如圖 11 所示，MSP Performer Interactive Program 可以透過 Random 以及其他函式將取樣之音樂重新

(9)

組合，藉由電腦環境整合為一具有互動演奏與不定性（Indeterminacy）特徵之嶄新創作方式。

圖 10、Interactive Four Buffer Play

圖 11、MSP Performer Interactive Program 利用 MAX/MSP 整合視覺與音樂元素之成 果圖 12、Max/MSP 圖像與音樂整合設計 用 MAKENOTE 物件讓 metro 開始動 作，使 counter 物件每兩秒鐘由 0 數到 100。由 counter 輸出的數值用來計算同心 圓的顏色及座標，使用 PaintOval 訊息顯示 在 lcd 物件內。 此 lcd 物件有 160 個像素寬，120 個像 素高。由三角函數關係得知，此 lcd 物件的 中心到每個角落的距離都是 100 個畫素，所以整個 lcd 物件可以被半徑 100 的圓包住。 由於已知 lcd 物件的大小為 160x120， 我們可以計算出其中心為 80, 60。所以要做出半徑為 100 的圓，會被座標為-20, -40, 180, 160 的方塊給包住。所以，要在計數器由 0 算到 100 的時間內，依序做出逐漸縮小的同心圓，包住此圓的方塊座標由-20,-40,180,160(半徑為 100 的圓)變成 80,60,80,60(半徑為 0 的圓)。計算後的座標值包裝成列表，在最前 面加入 PaintOval，將整個訊息由 s tolcd 及 r tolcd(隱藏在主程式中)送入 lcd 物件。 繪圖顏色是由 color 後接 0-255 的數字訊息所給定。如果有大於 255 的數值輸入，將自動以求餘方式限制在 255 內。此程式 中有用到此功能。由 counter 的左輸出端點

(10)

送出的數值乘上右輸出端點送出的 carry count(計算值到達最大值的次數)。以當畫 出每個圓形時，lcd 物件的顏色的跳動間隔 會由 1，變成 2，在變成 3，lcd 物件會將他們對應到正確的範圍內。由於色彩跳動的間隔並非固定的，所以圓圈的顏色模式也會改變。圖 13、Max/MSP 整合式聲音與圖像程式設計畫面圖 14、Max/MSP 程式控制影像視窗的開關點下 WCLOSE 代表關閉影像視窗 OPEN 代表開起影像視窗 GRAPHIC 物件的四個引數代表影像視窗左、上、右、下四個邊的預留像素圖 15、poly 發聲數物件之控制方式 演奏音符的音高速度傳送到 poly 物 件，此物件給定不重複的發聲數編號(1-8) 到每個按著的音符上。當按下的琴鍵超過 八個，poly 物將送出第一個按下音符的 note-off 訊息，以讓更新的音符發聲。這稱為 voice-stealing 發聲數轉移。第一個引數 給定 poly 物件有發聲數，第二個引數(如果 非 0)指定是否允許發聲數轉移。圖 16、動畫與音樂參數之整合控制機制為了不必帶著 MIDI 鍵盤到處走，這裡的聲音輸入改用 MAKENOTE 物件來代替 MIDI 鍵盤，並且把音高以及力度參數連接到 POLY 物件。音符的音高跟速度決定繪製在影像視窗內的方塊格式。發聲數號碼用來將訊息 串連到八個不同的 rect 物件。 影像視窗中，圖形以 sprites 方式顯 示。也就是說圖形將會在一個位置出現之後，整個消去，再移動到另一個位置繪出。 每個繪圖物件，如 rect 物件，會控制一個 sprite，所以如果要同時呈現數個圖案，需 要多個物件。這裏使用了八個 rect 物件， 以表示合理情況下能夠同時按下的最多琴

(11)

鍵數。 rect 物件由引數指定將圖形放在哪 個影像視窗中。其輸入端點指定四個角落的相對於繪圖視窗的左上角的座標位置，順序為左，上，右，下。同時也有輸 入端點指定 sprite 的 pen mode 及顏色。 我們使用輸入的 MIDI 訊息計算出這些數值，以繪出圖形。將所有六個輸入端點打包成一個列表，並將發聲數號碼放在列表的最前項，所以我們可以將此列表中的方 格敘述串連到適當的 rect 物件。 圖 17、繪出的長條圖圖 18、使用程式使動畫圖片隨著音高及力度改變位置 pict 物件可以載入任何的圖片檔案到 影像視窗中，pict 物件第一個引數是影像 視窗的名稱，第二個則是圖片檔案名，此檔案必須要放在 Max 的資料夾路徑下，否則將會在 Max 視窗中顯示錯誤訊息。第三個引數則是 sprite 的優先順序，優先順序越高，會被放在越上層，而疊在優 先順序小的 sprite 之上。預設的 pict 優先 順序為 0，而 rect 的優先順序為 3，所以 預設情況下 rect 件會蓋過 pict 物件。現 已將 pict 物件設定較高優先順序，所以圖 片永遠會在圖形之上層。圖片大小由本來的檔案決定，我們只 能給予 pict 物件兩個座標數值，也就是圖 片的左上角座標位置。非 0 數值或是 bang 訊息送入 pict 物件左輸入接點，會令圖片 顯示在指定的點上。 在此，line 物件用來由左至右連續改 變座標位置，到達指定的目標點。如同方塊的參數計算方式，橫座標的目的地位置，是由按下的音符計算得出。圖片與底部的距離由音符的 note-on 的速度值決定 (1-127)，對應到縱軸的數值(由下而上是 320 到 0)。由於圖片高度為 32 個畫素，可用的範圍則是 290 到 0。將速度乘上 -2.3，使範圍變為 2 到-290，再加上 292 便能得到希望的像素範圍。line 物件移動 圖片到指定座標，其中所需時間由 timer 物件決定，此物件量測前一個 note-on 經過的時間。時間解析度為 33ms，令圖片以每秒變換 30 次。而實際圖片重繪的速度繪由你電腦的速度決定。

使用 Serial Port Max/Msp 與馬達控整合

成果

使用此段程式透過 RS-232 介面來送出訊給馬達，以控制其轉速或其他運動效果。

(12)

換成其他文字；經過 spell 物件轉換成 ASCII CODE 再由 RS232 傳輸出去。

點擊 PRINT 物件會顯示目前可使用的 COM PORT，Serial a 代表 COM 1，b 代表 COM 2，依此類推。SEND 物件負責發送訊息，其後面的引數必須是 default，否則會造成發送訊息的錯誤，使得接收端收到錯誤資訊。圖 19、Baud Rate 設定方式。圖 20、Data Bit 設定方式。圖 21、Parity 設定方式圖 22、Stop Bit 在此設定。圖 23、此段程式負責接收由 COM PORT 傳回的訊息並顯示出來。圖 24、Max/MSP 之電腦 (Notebook) 與遠端馬達控制整合程式此程式測試馬達控制程式是否接收到 MAX 所送出的訊，結果收到與ＭAX 所送出的字元”20”相同，代表測試成功。 RS232 通訊建立之後，便可以將 MAX 所產生的 MIDI 數值，傳輸給馬達控制程式，來讓馬達配合音樂產生不同的律動，我們甚至可以讓機器人隨著音樂起舞。 本計畫已完成之工作項目及具體成果 本年度完成以現有電腦音樂與多媒體影音藝術能量為基礎，提供所需之電腦軟硬體與相關之科技支援予 “跨媒體” （Inter-media）藝術領域之研究，並整合校內外相關領域之師資與學生（包括音樂、藝術、與科技），執行前瞻之多媒體藝術實驗研究，並結合音樂所演奏組與作曲組師生從事現代實驗性藝術之創作。 1. 建構 MIDI 準則創作環境 MAX/MSP 之環境架構與程式開發與數位聲波合成與創作環境。 2. 完成 PC-Based 之可程式控制邏輯 (Programmable Logic Control, PLC) 控制器之軟、硬體設計與實現，適用於 MIDI 役使六軸舞蹈運動平台系統之整合。

3. 完成六軸與兩軸舞蹈與運動模擬平台設計分析。

(13)

4. 完成六自由度舞蹈運動模擬機構設計及馬達運動與音樂創作整合設計。 5. 完成六自由度舞蹈與運動平台之反向運動學分析，並以二軸為實現展示其與多媒體藝術整合之方法。 6. 設計 MAX/MSP 程式完成圖像與音樂創作之整合。 7. 完成 MAX/MSP 系統與二軸運動平台或致動器之整合。 8. 本年度計畫已發表之相關論文如下：

{ Chih-Fang Huang, “The Sound Synthesis and the Establishment of Computer Music Environment”,

The International Journal of Arts Education, Volume 4 Issue 1: Digital Art Education, Taipei,

Taiwan, July, 2006. (Accepted) { Hsing-Jih Lee, and Chih-Fang

Huang, “The Integrated

Methodology and Research of the Interactive Intermedia Art for the Sound, Vision, and Dynamic Machinary”, The 3rd International Conference WOCMAT, Workshop for Computer Music and Audio Technology, Taipei, Taiwan,

March 11-12, 2006, pp.1-8. { Durate, Jose, Hsiao, Shu-Chin,

Huang, Chih-Fang, and Winsor, Phil, “The applications of Sieve Theory in Algorithmic

Composition using MAX/MSP and BASIC”, The 3rd

International Conference

WOCMAT, Workshop for Computer Music and Audio Technology, Taipei, Taiwan,

March 11-12, 2006, pp.96-99 { Phil Winsor, Sanctuarium,

Computer Music Video,

WOCMAT Conference, Taipei, Taiwan - March 12, 2005

{ Phil Winsor, Eighth Degree of the

Yang Chin, Computer Music for

8-Channel Sound Diffusion, System, International WOCMAT Conference, Taipei, Taiwan - March 19, 2006.

{ Durate, Jose, Hsiao, Shu-Chin, Huang, Chih-Fang, and Winsor, Phil, THE APPLICATIONS OF

SIEVE THEORY IN

ALGORITHMIC COMPOSITION USING MAX/MSP AND BASIC,

The 3rd International Conference

WOCMAT, Workshop for Computer Music and Audio Technology, Taipei, Taiwan,

March 11-12, 2006, pp.96-99.

五、參考文獻

[1] Dodge, Charles, “Computer

Music-Synthesis, Composition, and Performance”, Schirmer Books, New

York, 1985.

[2] Moore, F. Fichard, “Element of

Computer Music”, Prentice Hall,

(14)

[3] E.A. Parr, Programmable Controllers: An engineer's guide, NEWNES, 1993.

[4] Jon Stenerson, Fundamentals of Programmable Logic Controllers, Sensors, and Communications, Regrent/Prentice Hall, 1993.

[5] Ian G. Warnock, Programmable Controllers Operation and Application, Prentice Hall, 1988.

[6] George L. Batten, Jr. Programmable Controllers: hardware, software, and applications, McGraw-Hill Inc., 2nd, 1994.

[7] John W. Webb and Ronald A. Reis,

Programmable Logic Controllers: principles and applications, Prentice

Hall, 3rd,1995.

[8] Schrader, Barry, “Introduction to

Electro-Acoustic Music”, Prentice-Hall,

Englewood Cliffs, New Jersey, 1982. [9] Rigden, S., John, “Physics and the Sound

of Music”, 2nd ed, John Wiley & Sons,

1985.

[10] Schafer, R. Murray, “The Soundscape -

Our Sonic Environment and the Tuning of the World”, Destiny Books, Rochester,

Vermont, 1997.

[11] Winsor, Phil, “Automated Music

Composition”, UNT Press, Texas, 1992.

[12] Eargle E., John, “Music, Sound, and

Technology”, Van Nostrand Reinhold,

New York, 1995.

[13] Chadabe, Joel, “Electric Sound”, Prentice-Hall, Englewood Cliffs, New Jersy, 1997.

[14] Rowe, Robert, “Interactive Music

Systems”, The MIT Press, London,

England, 1994. [15] 吳丁連，《視窗下音類理論作曲之環境》，台北：行政院國科會成果報告， 1996。 [16] 吳丁連，《電腦上的音類理論環境》，台北：行政院國科會成果報告，1993。 [17] Stewart, D., “A Platform with Six

Degrees of Freedom”, Proc. Of the

Institute of Mechanical Engineers,

London England, Vol. 80, pp. 371-386, 1965.

[18] Phillip John McKerrow, Introduction to

Robotics, Addison Wesley, Chapter 2-5,

1991.

[19] Craig, J. J., Introduction to Robotics Mechanics and Control, 2nd ed. Addison Wesley, Chapter 8, 1989.

(15)

[20] Yang, Yu-Neng, “Implementation of a Six D.O.F. Forced-Reflecting Teleoperator System with Fully Parallel Master-Slave Manipulators”, PhD thesis

for M.E. Dept. of National Chiao Tung University, Chapter 2, 1996.

[21] E. F. Fichter, “A Stewart Platform-Based Manipulator: General Theory and Practical Construction”, The

International Journal of Robotics Research, Vol. 5, pp. 157-182, 1989.

[22] Jean-Pierre Merlet, “Singular Configuration of Parallel Manipulators and Grassmann Geometry”, The

International Journal of Robotics Research, Vol. 8, pp. 45-56, 1989.

多媒體智慧實驗：透過互動式系統之影音與運動媒體整合

行政院國家科學委員會專題研究計畫 成果報告