美育第169期 ▎JOURNAL OF AESTHETIC EDUCATION, NO.169 31
數位媒體藝術
「數位媒體藝術」強調對於「新科 技」的運用與實驗,俾使其成為藝術表現 的一種可能,知名的數位媒體藝術家暨理論 學者Roy Ascott指出,「數位媒體藝術最鮮明 的特質為連結性與互動性」,並且強調作品 具有何種特質的連結性與互動性,它是否讓 觀者參與新影像、新經驗以及新思惟的創 造。數位媒體藝術創作者從接觸連結,並 全身融入其中,與系統和其他參與者產生 互動,這將導致作品及意識產生轉化,
最後出現全新的影像、關係、思維與經 驗。一般說的數位媒體藝術,主要是指電 路傳輸和結合電腦的創作,主要特點為促 使參與者和作品進行互動,並介入參與作品 轉化與演變的網路與數位科技。這些「作品」
可能是顯示於螢幕上的多媒體、機械操控的系 統、抑或環境式結構,但共通點是 — 參 與者經由和作品之間的直接互動,參與 改變了作品的影像、造型、甚至意義。
他們以不同的方式來引發作品的轉化
— 藉由觸摸、在空間中的移動、抑或 所發出的聲音。不論與作品之間的 介面為鍵盤、滑鼠、燈光或聲音感 應器、抑或其他更複雜精密、甚至 是看不見的「開關控制」,參與 者與作品之間的關係主要
還是互動性質的,抑或是超越時空藩籬 的連結性,將全球各地的人聯繫在一起的 電信網路導致的結果。在這些網路安身的網 路空間中,使用者可以隨時扮演各種不同的 身分,搜尋天涯遠方的資料庫以及資訊檔案,
滲透到異國文化中,產生新的社群。
數位媒體藝術中所採用的互動技術核心即 是互動性,人工智慧的加入可以使創作中互動 的實現更加擬真,人工智慧主要是模擬人類思 考的模式,經過精心設計的演算提供參與者 或裝置最佳應對的互動,使互動情境趨近合 理與真實。電腦遊戲屬於數位媒體藝術的 一環,人工智慧在遊戲開發中已然形成完 整成熟的技術,藉由遊戲人工智慧的開 發經驗與成果,應用於其餘數位藝術 的創作可以更具體有效。
人工智慧在遊戲中的應用以 角 色 行 為 動 作 擬 真 化 最 具 代 表 性,另外也包括戰略遊戲中電腦 的布局、行動、攻擊;或是角 色扮演遊戲敵人角色的施法、
攻擊;或是電腦控制角色的行 動;甚至於像是大富翁一類的 遊戲,人工智慧都占有了相當 重要的角色。以人工智慧在遊 戲中扮演的重要元素,轉化到數 位媒體藝術的創作,必可增加作 品互動性與連結性。
30
換成數位化影像以影像處理電腦視覺技術分析相關 影像特徵與內容,近年來運用於即時人機互動研 究。尤其是應用於互動設計的範疇,引起設計創作 者的注目,透過幾種不同的影像技術來發展各類即 時性互動媒體藝術設計,如下介紹幾種常見的表現 手法:
肢體動態律動
透過電腦視覺偵測畫面中的物體是否處於運 動狀態,在運動的瞬間捕捉影像位置,產生動態的 視覺效果。下圖左Playing with fire,是用粒子特效 particle system模擬火燄的視覺效果,透過視覺化公 用開發軟體PROCESSING用WebCam捕捉動作特徵 區域,在該區域範圍呈現火燄特效。
PROCESSING程式開發環境是美國著名學府 麻省理工學院媒體實驗室(Media Lab in MIT)開 發的,提供不具資訊程式背景的藝術家使用,由於 PROCESSING 提供的程式開發環境可以達到更佳 的即時性與擴充性,系統可以非常平穩的進行即時 性的訊號處理運算,並且能簡單的搭配內容進行周 邊硬體與軟體裝置的對應製作。因此近來許多媒體 互動作品採以PROCESSING 做為基礎工具程式。
身軀輪廓互動
透過電腦視覺取得畫面中人形輪廓,此手法 主要能夠設計出虛擬物體彷如沾黏於身體上之效 果,這些虛擬物體可以是天空落下的花葉、水中浮 游生物或甚至是高速的運動體,下圖右作品即如用 人形輪廓把玩飄浮氣泡。
數位媒體藝術具多元互動特質
互動性是數位藝術各種元素的關鍵因子,從 傳播技術角度,數位藝術激化使用者彼此間的互 動,也增進使用者與資訊內含之間的交互影響,從 傳統一對多的傳達方式演變成多對多的網際網路 式溝通,全面性的互動性遊戲產業正快速茁壯,
位居數位藝術的創新潮流中的前端,互動性遊戲 將互動性發揮極致,其中有《魔獸世界》(World of Warcraft)和《模擬市民》(The Sims ),從數
位媒體中開發衍生出的這些遊戲,允許玩家在虛擬 的數位社群建立彼此關係和擁有歸屬感的體驗,在 遊戲中玩家可選擇逃離或沉溺於平時夢想的生活。
The Sims的製作人Will Wright對於這款遊戲特別感 動,因為許多玩家黏附於玩家自己創造的社群關係 模式,甚至於可以大半輩子沉浸於此模式,數位媒 體確實建立了虛幻中的實境,擴展了我們真實生活 的向度。
製造感官知覺上的刺激與體驗,除了必須考 量真實世界的物理實質經驗外,還必須估算記憶體 的能力,通常分成感官系統、知覺能力系統、行動 系統、導航系統、運動系統與本體感覺系統。而本 體感覺系統牽涉到內心的物質慾望與現實的關係。
各個系統之間相互影響,但又分別管理不同部門,
任何行動表現必須要考慮四大條件:1. 什麼時候 做?2. 做了什麼?而且是怎麼做?3. 為什麼要做?
4. 花費的時間?
數位媒體藝術中有各類型的互動媒體,例如 光電、聲音、嗅覺和影像等介質。以影像媒體為 例,影像可藉由電腦標準配備webcam的取像,轉
Playing with fire
分子氣泡(Molecular Bubbles)
焦點話題
Focus Issue
徐道義 徐道義
Tao-I HSU Tao-I HSU
世新大學數位多媒體設計學系教授 世新大學數位多媒體設計學系教授
徐道義
Tao-I HSU
世新大學數位多媒體設計學系教授
當人工智慧融入 數位媒體藝術
When Artifi cial Intelligence Blends with
Digital Media Arts
32
簡單物件追蹤
透 過 一 些 方 法 來 進 行 物 件 追 蹤 , 從 簡 單 的 單 一物件,到多個物件追蹤,除了能夠追蹤物件位 置甚至取得外型輪廓。物件的種類可以是影像中的 特徵如邊緣、區域中唯一色彩、紅外線光源與影像 紋理,運用對即時舞者影像與延時的錄像之靈活掌 控,創造出概念鮮明、幽默動人或發人深省的互動 表演藝術。
遊戲娛樂科技的互動具體呈現
遊 戲 的 本 質 除 了 讓 玩 家 本 身 追 求 一 定 程 度 的 樂趣、自信心的構築、思考角度的調整等與手腦協 調的助益外,其實遊戲本身也是一種對外交流的形 式。遊戲設計並非純粹遊戲設計者的主觀全面控制 遊戲性,還包括遊戲者實際體驗的運作方式,最明 顯的因素為互動性娛樂,必須考慮玩家參與、心理 表現及相對反應等合作性的藝術形式。參與者不僅 有遊戲設計者本人,還邀請遊戲玩家共同建構遊戲 發展,以互動的方式達到交流歡愉的目的。
體感類遊戲玩家不再是對著冰冷的螢幕、滑鼠 鍵盤,每位玩家只要戴上感測系統如指套,不需鍵 盤滑鼠的輔助,遊戲會自動追蹤指尖的位置,自動 對應遊戲內容的相關位置,直接以手指來畫球、踢 球、擋球,就可來一場足球大戰。手指的操作觸面 直接融入畫面,直接對著球猛力一戳,你會覺得像 真的讓球彈射出去,感受身歷其境、緊張刺激的競 賽。最近較流行的Wii簡單介面與六度空間的運動,
配合人體工學與遊戲情境需求,玩家對操控性的掌 握更加順暢。互動的形式不受限實體,任何介於參
與者或玩家與媒體間的介面,皆可考慮具有互動 性。若以遊戲實體裝置與玩家交互關連性區分,互 動技術的機制可以是可接觸式的互動裝置介面或心 理認知的遊戲人工智慧的融入。
互動裝置、互動效果、互動技術
互 動 媒 體 藝 術 創 作 時 , 經 常 考 慮 如 何 應 用 互 動技術作為創意來源的參考。其目的是使一種裝置 與參與者產生互動的效果,所使用的方法、技術或 科技,就可以稱之為互動技術。因此互動裝置、互 動效果與串聯上述兩因素的互動技術為主要關鍵。
「互動裝置」可以看作是一個空間、場域、環境的 構成。參與者可以是在一個大的裝置裡面,或是在 裝置的外面但是卻像是在裝置裡面,也可以在裝置 上操作,或者直接操作裝置。有時參與者本身就是 一種裝置,有時也可以是多人同時對裝置進行操 作。「互動的效果」亦即模擬人類五官的感覺如視 聽觸聞與眼神、碰觸、氣氛的營造來進行。主要須 了解參與者與裝置的互動,與其如何來進行,裝置 如何偵測參與者曾做了什麼,如何回應?裝置也像 人一樣可以互傳訊息嗎?參與者如何去感受裝置所 給我們的體驗。「互動技術」這技術包括了所使用 的科技以及整合的方式,通常是以有數位電子的技 術,透過電子、數位的方式,可以產生更多互動的 效果。互動技術的使用,最重要的是整合多元技術 的方式,真正讓裝置產生最佳互動效果,這才是真 正所謂的創意。同時,也才能真正呈現出藝術所要 傳達的概念,以及要帶給參與者的奇妙的體驗。下 列是典型的範例:
美育第169期 ▎JOURNAL OF AESTHETIC EDUCATION, NO.169 33 ICH² - 360° Inter
media Dance Performance
互動植物生長計畫
如果你靠近我一點
(Se Mi Sei Vicino)
如果你靠近我一點(
Se Mi Sei Vicino)
透過中間表演者地板下的感測器,當有人靠進 或觸碰,肢體的動作就會像磁場活動一樣,在外為 巨大的螢幕顯示出來。那種即時顯現相對距離的類 似DNA雙螺旋的電磁場波動變化,即便是細微的變 化也能夠產生劇烈的反應,再加上音效和鮮明色彩 的強烈視覺、聽覺刺激,彷彿與中間的表演者之間 真的有一種神祕的超距力量,彼此互相牽引互相影 響。
互動植物生長計畫
藝術家在空間中裝置了五盆真實的綠色植物,
當觀者觸摸這些植物時,透過感應器與電腦系統的 連結運算,同時間在前方的大型螢幕上,亦投映
「生長」出虛擬的植物,而不同參與者所觸摸的不 同植物,將不斷地疊層上去,形成一個與真實植物 相互對應的虛擬綠色叢林。
漂浮數字
在 一 張 大 型 桌 面 上 浮 動 著 如 河 流 般 的 大 串 阿 拉伯數字,觀眾隨意地觸碰桌面上的任何數字,就 會有圖像、文字、影片或是動畫等令人驚喜的互動 資訊出現。這些在桌面上流動的數字,指涉的是科 學、宗教、藝術或是人們對日常生活的理解意義。
觀者藉由觸覺,透過巨型投影與觸控螢幕為媒介,
將「數字」視為人類社會的重要溝通符號,並探索
其意義,它就像是對文本的再翻譯,反映了所處當 代資訊社會中的歷史、文化及哲學意涵。
互動媒體藝術遊戲
互 動 媒 體 藝 術 創 作 時 , 如 何 將 互 動 科 技 概 念 與藝術整合表現成為一般設計者專注的焦點。「互 動」是作品與觀賞者間的溝通過程,作品中的互動 模式應著重於觀賞者對其認知、心理層面的涉入影 響,而互動藝術依據一來一往不同的訊息傳遞過程 產生回應,此時觀賞者改變了自身定位並擁有了作 品的操控權,能夠經由互動行為來改變影響作品表 現,往往能夠令人驚奇及產生樂趣。互動的趣味性 是數位媒體藝術的價值所在,通常體現於具遊戲的 作品中,如下列範例:
你看得到我嗎?
這 是 一 個 可 以 同 時 容納20人參賽的城市殲 滅 遊 戲 , 它 結 合 了 全 球 衛 星 定 位 系 統 ( G P S ) 及無線網路(WiMax)
等 技 術 。 被 散 置 在 城 市 中 的 參 賽 者 之 位 置 同 時 顯 現 在 線 上 的 城 市 地 圖
漂浮數字
電腦線上玩家 街頭實際玩家
你看的到我嗎?
焦點話題
Focus Issue
34
中,玩家們可以相互交換戰略並傳簡訊給控制中 心,我們可以知道敵、友的位置,並且在攻守之間 有許多實際功能供玩家運用,如:透過控制中心的 無線電對講機發出的頻率竊聽追蹤者的行動,和戰 友相互交換戰略並傳簡訊給控制中心,除了這是一 場「遊戲」,人、地、時、物幾乎都是真實的。
羅伊叔叔在你身旁
以互動遊戲方式重現了間諜電影的情節。它是 一個線上玩家和在真實城市街上的參賽者共同參與 的遊戲。街頭參賽者使用手提電腦和接收到的訊息 尋找羅伊叔叔的蹤影,而線上玩家則在虛擬城市中 的同一地區協助街頭參賽者尋找目標。然而在其他 競爭者之間,你必須分辨訊息是否是敵方來的假情 報,或者是友方的協助?因為目標只有一個,而周 遭都是陌生玩家,就像身處於007片中諜對諜的緊 張刺激。這個遊戲的設計,完全傳達網路的互動特 色。
遊戲人工智慧(Artificial Intelligence, AI)
在 互 動 媒 體 藝 術 遊 戲 人 工 智 慧 比 較 少 被 創 作 者列入考慮,在互動技術中若考量遊戲AI的因子,
可提昇遊戲的合理性與真實性。AI在遊戲開發中的 運用,以角色設計為例,有玩家與非玩家控制角色
(Non-playing character, NPC)的追逐與逃跑的行 為、移動模式、群組分類、基本的路徑尋找及角色 的適應與學習等情境。特別是NPC 在許多遊戲中都 占有十分重要的地位,當然,如果 NPC 一直重複同 樣的動作,或是笨到不行,一定會為玩家所詬病,
一般遊戲強調 NPC 具有人工智慧,「他們能躲開攻 擊招式、對手們會共同研究從中阻撓玩家的計畫、
電腦控制的人物會模仿人類的行為,然後以自己的 方式行動、相同的情節幾乎不會重複上演」,這也 說明了玩家對 NPC 的要求可不只是會講講話、做做 機械性動作而已,他們要有學習能力、要有屬於自 己的行為模式。
AI就像是一部戲劇的製作人,將角色的主要影 響力與環境整合,所以任何一個角色的行為改變會 波及其他角色,AI所謂的關聯性就是相互牽制互動 影響。
1. 生命跡象的種類:生命跡象的種類包含睡眠、活 著、死亡、無意識。角色因不同的跡象而有不同 的反應。如果遊戲中的角色能了解自己所處的生 命狀態,就能適時的表現出不同的反應,例如日 本玩具製造商生產一種稱為菲比的玩具寵物,它 以毛茸茸的玩具形式陪伴在主人身邊。菲比會說 菲比語(Furbish),回應基本指令、簡單組織 句子溝通對話。配合一些菲比的發語詞以及經過 相處之後學會的語詞,菲比會自我學習可以造出 約八百個左右的句子。共有超過300種不同的眼 睛、耳朵與嘴巴搭配出的表情與動作,菲比也會 要求關心與進食,它要求主人在特定時間給寵物 餵食、陪它娛樂或是做運動。 如果照顧不周,寵 物會生病甚至死掉。玩家可以看到寵物高興、悲 傷、思考的樣子,甚至將兩個性別相異的菲比安 排在一起,他們會有相親相愛的模樣,反之,若 分開時,漸漸表露寂寞悲傷的表情,分離時間拉 長還有絕食致死的情形發生。國內著名的互動藝 術作品「一百萬個心跳」設計概念融合了人工生 命的元素,讓生冷的裝置引起溫馨積極的參與與 主動關懷反應。
2. 自覺:角色可以自行注意到遊戲中什麼東西消失 了,以及當玩家或事物改變時能夠發現的能力,
也就是「具有發現改變的能力」。暢銷遊戲《模 擬城市》(Sim City),由玩家建構的小社區會自 行發展;《模擬人生》(The Sims)中,虛擬小家
美育第169期 ▎JOURNAL OF AESTHETIC EDUCATION, NO.169 35
庭每天發生的故事是玩家不能左右的。他們真正 被賦予生命,會產生自主的反應,並透過更真實 的肢體動畫和細膩的臉部表情,來表達他們的情 緒和感覺。
3. 外在事物的存在:角色在創造過程至內容發展,
角色因周邊的事物之改變有相對的反應,有名的 西班牙互動藝術作品「互動音樂桌」中 即清楚闡 釋角色與外在變化的反應,互動音樂桌是基於一 個半透明、圓形的多輪接觸面。桌下的錄影機不 斷分析桌面的活動,跟蹤使用者的手指及分布在 桌上的物體的性質、位置和方位而作出反應。使 用者透過移動這些物件,改變其距離,方位和彼 此間的關係,創作音樂,這些動作直接控制了音 頻合成器。圓桌下設有投影機,把動畫投放在桌 面,為音頻合成器產生的聲音、狀態及活動提供 激烈視覺效果。
具體來說,建造一遊戲角色,亦即建造能夠與 他人互動的生物,而在這樣的自主能力背後需要有 學習能力、動作思考選擇及具有目標,才能完成。
發展完整的自主性人工智慧是條漫漫長路,雖說如 此,但仍是有可能做到跟現實人類思考行為能力一 樣的時候。
人工智慧融入互動藝術的期待
時下流行一句廣告詞「科技始終來自人性」,
數位互動藝術之所以廣為人接受,與忠實體現這句 話不無關係,在數位藝術充分運用科技機制表現人 類感性的原型前提下。人工智慧可扮演多重角色,
可以是創作前的規劃綱領,創作者可依循人工智慧 成熟的法則順利發想,也可以是作品實現中各階段 的後勤技術支援,使藝術的美感領略藉由既有高端 技術具體呈現。
互 動 媒 體 藝 術 中 數 位 遊 戲 的 創 作 , 互 動 性 為 遊戲開發創意呈現的核心,從現有的互動技術跨 時空,凝聚虛擬社群及參加者的影響力,說明互動 技術的控制,在互動媒體藝術許多情境需要妥善應 用,例如考慮社群發展合理與真實,引用人工智 慧,可以提高參與者樂趣,增加創意的來源,遊戲 人工智慧的演算法,在許多的遊戲引擎中,公用的 網頁部落格已經有相當數量的發表,多元整合各項 功能,互動媒體藝術的創作必可有所突破。
■圖片來源
• Playing with fire:http://www.setpixel.com/content/?ID=fire
• 分 子 氣 泡 (M o l e c u l a r B u b b l e s ) : h t t p : / / t w . y o u t u b e . c o m / watch?v=UuCvGeVcxlo
• ICH² - 360° Inter media Dance Performance:http://www.creobic.
tv/category/motion -tracking/
• 互動植物生長計畫:http://www.medienkunstnetz.de/works/the- interactive-plant-growing/
• 漂浮數字:http://uiui.mmdays.com/2008/04/08/floating-numbers/
• 你看得到我嗎?:http://www.blasttheory.co.uk/bt/work_cysmn.html
• 羅伊叔叔在你身旁:http://www.uncleroyallaroundyou.co.uk/
具人工智慧的玩偶寵物菲比有各種情緒的外觀與反應。
「一百萬個心跳」,玩家將手接觸裝置就能感應玩家 的心跳,心跳達到百萬時,小嬰兒就會誕生。
「互動音樂桌」:使用者透過移動物件控制節奏音符,無線網路讓桌 子感應到改變發出聲響。
《模擬人生》:遊戲的發展由玩家共同經營。 《模擬城市》:由人工智慧模擬虛擬人生。
焦點話題
Focus Issue