腦波介面在智慧型空間的應用：以提出一個感知人的智慧型空間為例

(1)

腦波介面在智慧型空間的應用：以提出一個感知人的智慧型空間為例

A brain computer interface approach to smart space

研究生黃郁鈞

指導教授劉育東

(2)

A brain computer interface approach to smart space

研究生：黃郁鈞 Student：Yu-Chun Huang

指導教授：劉育東 Advisor：Yu-Tung Liu

國立交通大學

建築研究所

碩士論文

A Thesis

Submitted to Graduate Institute of Architecture

College of Humanities and Socilal Sciences

National Chiao Tung University

in Partial Fulfillment of the Requirements

for the Degree of

Master

in

Architecture

July 2006

(3)

中文摘要

人是空間的一部分，人在空間中生活即是住宅，隨著數位科技的發展，聰慧住宅是近幾年研究的新議題。而聰慧住宅是為了讓人在空間中達到舒適性、便利性、節能等目的，為了讓人和空間的關係更密切，而有遍佈式運算的研究發展，它提供了一個可讓人在實體空間中可以相互感知的環境，

例如: 藉由手勢、聲音、移動

式電話去創造環境感知系統。

為了以更自然的方式創造出環境感知的智慧住宅而有各種不同的裝置與空間結合例如：智慧型地板，它藉由腳步的力量、頻率、形狀等特徵去識別每天生活中及工作環境用的的不同使用者，它讓人不用刻意的操作任何介面而與環境達成互動。而腦訊號控制介面的發展，它讓人不用透過學習以自然的腦波和環境互動。因此，為了讓人與空間達到一個最合諧的共生層次，本研究希望能藉由腦訊號控制介面與空間中的電腦電訊設備溝通，讓空間賦予更人性化的情感，使人可以直接與空間做更自然的對談。

而本研究的問題是，在現有的介面中

人類如何以較自然的方式與所處的空間達成自然的互動，且環境系統如何以

自然的給予人回饋? 因此在本論文提出一個讓使用者維持良好精神狀況的

智慧空間，當環境察覺到人處於想睡、發呆狀態時，系統會自動察覺且適時

的改變背景音樂、燈光、溫度等環境的氛圍讓使用者自然的清醒過來。

關鍵字：智慧空間、腦訊號控制介面、人機互動介面

(4)

Abstract

The more digital technologies develop the more researchers are paying attention to the new research field of “Smart Homes”. The goal of Smart Homes is to provide and more economical dwellings for humans. Le Cobusier envisioned a house as a machine for living. To enable a space to take the initiative in perceiving the demands of the user and to respond with appropriate feedback under diverse conditions, many sensors for communicating with the user via gestures, cameras and cellular phones are installed throughout the house. There are many ongoing developments in Human-Computer Interaction (HCI). For example, users can direct their own smart home functions from a handheld device. The user defines the sensor measures (criteria) that should be taken into account when performing a specific action; the action then responds to user specified criteria, making the applications more flexible and tailored. To interact with the environment more naturally, “The Smart Floor System” has been developed. This floor system identifies users from the rhythm and pattern of their footsteps used in their everyday living and working environments. As for context-awareness, human have to act intentionally in case the action could be detected by the sensors. However, developers of some of the general sensors are not satisfied with only assisting handicapped people. They are now developing a Brain-Computer Interface (BCI) system. It is not necessary to use an action, keyboard, or mouse to interact with the space; brainwaves are used that provide natural and intuitive interactions. In order to achieve symbiosis and harmony between the users and the space, we communicate with the space using computers assisted by BCI. This gives a more friendly and human touch to a space. And as research develops we will be able to communicate with a space even more naturally. The problem of this research is how can people communicate with the space where they live more naturally, and how can the space respond to people within its confines more naturally? This research proposes, therefore, a smart space that enables the user to work in an energized way via the BCI system. When the space “perceives” that someone is getting sleepy by monitoring the user’s brainwaves, it will take appropriate action such as providing specific background music or adjusting the lighting and temperature in the room as subliminal reminders to the user to stay alert and productive.

(5)

感謝

非常感謝Aleppo老師在論文上的諄諄教誨讓我可以在這短短的兩年中有這樣的成果，也非常感謝老師一口答應讓我能在短暫的時間買到昂貴的腦波儀器以完成我的碩士論文再感謝老師在這兩年內給我的鼓勵和支持以及讓我有機會可以參與很多計畫的團隊，在論文之外團隊的合作上都得到不少寶貴的經驗感謝文化資產保存中心沒有你們的幫忙我也不會有今天的成果非常感謝資工所生醫訊號處理實驗室的陳永昇老師毫不吝惜的借我昂貴的腦波儀器以及感謝士暐、聖瀚熱心的講解腦波儀器的使用及操作方法讓我可以順利的發表CAADRIA 2005的論文感謝君昊老師在我研一剛進去時給我的啟蒙還有感謝李華老師的科幻課讓我獲益匪淺感謝基義老師的指導再感謝匡時老師在人機互動課給予的指導以及玄輝老師在口試時給予的寶貴意見感謝文禮在我論文上及論文以外的幫助感謝再感謝信和多次的配合當論文實驗的受測者讓我可以順利的完成論文的研究你真是個好人感謝小倩、小婉、小牛陪著我以及對我的諸多照顧讓我在交大的兩年可以開心的度過我們是永遠的四千金*^_^* 感謝群儀學長可以和你一起工作是很開心的事感謝小路常常煮美味的義式料理給我們吃以及永遠在MSN線上陪著我等你開店後一定天天跑去捧場感謝我的好同學景順、阿男、豪廷、皓哥、小新還有我的好弟弟設計組可愛的蕙如跟良慈、昀青、菜鳥底迪、塗中、方怡、唯晏以及數位組、設計組、March1的學弟妹們小毛、瑪莉、介佑、小胖… 感謝你們給我這麼多美好的回憶最後要感謝在感謝我的爸爸跟媽媽還有姊姊，沒有你們的愛跟支持也不會有今天的我!!

(6)

第一章導論 01

1-1 研究背景 01 1-2 研究問題與目的 02 1-3 研究方法與步驟 03

第二章文獻回顧 06

2-1 智慧空間 06 2-2 腦訊號控制介面 12

第三章腦訊號控制介面之系統雛型 25

3-1 空間中的互動模式 25 3-2 腦訊號控制介面基本架構 30 3-3 本研究之腦訊號控制介面 35 3-4 系統軟硬體設備 38 3-5 腦波訊號分析 42

第四章系統實作與測試 46

4-1 訊號擷取與處理 47 4-2 機制判斷 54 4-3 與實體環境連結 57 4-4 系統測試 59

第五章結論 63

5-1 研究貢獻 63 5-2 研究限制及未來研究 64

(7)

第一章導論

1.1 研究背景

人是空間的一部分，人在空間中生活即是住宅，隨著數位科技的發展，智慧住宅 (smart home)是近幾年研究的新議題。而智慧住宅是為了滿足人在空間中的舒適性、便利性、節能等目的 (Gross, 1998)，也因此有電腦相關科技產品的發展。而傳統的電腦使用介面(interface)必須透過滑鼠與鍵盤的操縱才可使用，但滑鼠與鍵盤是需要透過學習的方式來達到控制的。而傳統的控制介面不論透過何種裝置幾乎需透過學習的過程，無法讓人直覺得使用。為了讓空間能夠主動的感知人且人能夠自然的與環境互動，而有環境感知(context awareness)的發展，它提供了一個可讓人在實體空間中可以相互感知的環境 (Chen, 2005)，例如: 藉由手勢、聲音、移動式電話去創造環境感知系統(Barkhuus& Vallgaarda, 2003)。且未來的遍佈式運算 (Ubiqutous computing)環境( Essa, 2000)將與設計的空間產生密不可分的互動模式 (Kim & Choi, 2005)。為了讓人以更自然的方式和環境溝通，而創造出環境感知的智慧型空間。而過去的研究者也利用了這種環境感知的顯示 (Prin, 1999 & Gross, 2003 & Edward et al., 2004)讓散佈各地的同儕可以感知到彼此。Gellersen and Michael Beigl (1999)使用了聲音來當作狀態的顯示， Streitz (2003)的互動牆 (The Hello. Wall)，它使用了不同燈光的圖案去傳送感知的訊息給路過的人。這些的研究顯示，人類想要透過更自然的方式去控制環境和環境互動，也因此有研究開始探索利用腦波 (electroencephalography, EEG)來做控制的可能性。近幾年來不斷的專注於解釋有節奏性的腦電波、腦磁波 (magnetoencephalography, MEG)，發現腦部的活動是可以被記錄、分辨的(Nunez et al., 1997, 1999)。因此我們更可運用這種方式去更自然的與環境互動。例如：睡眠感測的燈光控制、情緒式的音響感測等。近幾年來，資訊科技、電子電器、自動控制及無線通訊的快速發展，人們對於環境的生活品質也逐漸的提升，為了追求居住生活之便利、舒適，及爭取更多休閒時間的欲望逐漸提升，因此家庭自動化的概念也逐漸成行；許多原先被用來提高工業生產力及商業競爭力的的技術被轉為商品化變成便利生活的科技產物。而遍佈式

(8)

運算的概念也逐漸被用來當作家電整合控制中心的平台，它有強大的運算能力且具備有寬頻網路通訊的功能，且具有整合性與彈性，但如何去整合這些軟體控制家電的問題以及要如何讓這些控制更便利更直覺化是我們所重視的。在目前的智慧型空間中，多使用的智慧型的感應家電，如: 紅外線的自動給水設備、光影感測的電燈開關、微電腦的恆溫空調、網路冰箱等，這些不外乎應用了紅外線的感應器、感溫感應器、網路系統等 (Essa, 2000)。為了控制家庭自動化系統軟體與硬體的控制也更趨於複雜，如何讓使用者容易去操作使用，更人性化的設計介面將是設計者會面臨到的問題 (Gross, 1998)。在過去的研究中提及透過藍芽 (bluetooth)、手機等一些較便利的方式來控制空間的東西，他解決了我們必須起身走到牆邊去開關電器的麻煩，也提高了人類對家電的操控的困難度，而這種種是為了實現智慧空間中的可移動控制的便利性，且為了讓使用者能夠以第一人稱的觀點去遙控所處的環境 (Essa, 2000)，而有無線通訊的自動化控制系統，我們雖免除了須移動到家電開關前控制開關的困擾，卻也增加了學習如何操作移動是控制介面上不直覺且複雜的介面。所以手機、PDA 等雖帶來強大的功能性，兼具可移動性、可同時控制多種開關的便利性，卻也造成了不人性化的缺點。智慧空間必須兼具有科技與舒適性，在智慧空間中的軟體、硬體設備將會越來越複雜，如何讓使用者容易操作使用，將是設計者會面臨到的問題 (Gross, 1998)。

1.2 研究問題與目的

為了履行電腦普及化的空間環境，在概念上需關心到實體環境所重視的真實空間，藉由空間行為所觸發的空間分析、以及在有距離的空間中使用者的分析。而將空間中賦予人工智慧(AI)，讓使用者與空間的距離更密不可分。因此為了讓人與空間達到一個最合諧的共生層次，Nunez et al. (1997, 1999) 透過腦訊號控制介面 (brain computer interface, BCI) 與空間中的電腦電訊設備溝通，讓空間賦予更人性化的情感，使人可以直接與空間做更直覺的對談。

(9)

介面發展：如利用機械式與光感應式的手套控制介面，他打破傳統被局限於 2D 操縱的滑鼠控制介面，且可在空間中自由操縱並標示出所在的座標位置與方向 (Zimmermann, 1987)；但手套的發展還是被認為不夠直覺，因為他在實體空間操縱的自由度有限，且必須在特定的設備與環境中使用，而有 3D 即時追蹤的手勢控制介面發展，它可以簡單的幾個手勢，直覺且準確的控制三度空間中的游標 (Yoichi, 2001)；但手勢還是得經由大腦傳遞執行手勢的訊息給手臂上的肌肉才去執行手勢的動作，眼球追蹤控制介面相較於手勢控制介面要來的直覺些，且較準確且迅速的可達成目的，可以更輕易有效的控制空間中的開關 (Linda, 2000)；在 smart floor system 的研究中藉由人類腳步的力量、頻率、形狀等特徵去識別每天生活中及工作環境的不同使用者的活動 (Orr, 2000)，他運用了自然且直覺的生物訊號去取得使用者的資訊，並使空間給予適當的回饋與反應。同樣的應用所測得的自然生物訊號：腦波(EEG)，他是一個最直覺且迅速的感知訊號，不用透過任何神經生理反射，直接透過 BCI 與實體空間作結合。因此 BCI 有可能是更直覺且自然的的空間感知介面。在醫學上，腦訊號控制介面可讓一個四肢無自主能力的患者，不用透過任何的姿勢、動作、或工具，可藉由意志去達成一些簡易的動作 (Wolpaw et al., 1991 & Birbaumer et al., 1999 & Wolpaw et al., 2002)；在 VR 環境裡，使用者可透過腦訊號控制介面系統的轉譯藉由意念、想像自然的在虛擬空間中自由的導覽 (Leeb, 2004)；在遊戲的應用上，有研究者將 BCI 融入在遊戲的情境中，且不使用任何的鍵盤、滑鼠、搖桿等 (Krepki et al., 2004)；腦訊號控制介面系統是一種新型態的互動方式，在建築空間中，若能結合 BCI 應用，將空間變得更智慧化，讓我們能夠以另一種更自然的方式和空間環境溝通。因此在本篇論文中，我們將腦波的互動方式應用在實體的環境中，提出一個讓設計者維持良好精神狀況的腦訊號控制介面的系統雛型，當環境察覺到人的腦波處於打瞌睡狀態時，適時的提供音樂、調節燈光及溫度等環境的刺激，以調節使用者的情緒，給予使用者一個可以維持清醒具人性化的工作環境。

1.3 研究方法與步驟

本篇論文主要研究的目的是在智慧型空間中拓展一個新的互動方式，提出一個更自

(10)

然且具人性化的空間感知系統，為了達到此目的，本研究方法為實做出一個系統裝置，結合腦訊號控制介面與環境家具、家電的可能性，也就是說環境可以主動感知人，並在適當的情況下給予適切的回饋，本研究以腦波控制檯燈開關、風扇為例，概念如下圖 (圖1-1)。此研究進行的方法可分為二個步驟：第一步驟，腦訊號控制介面系統雛型架構 (BCI system prototype)：了解現有的腦波系統架構，並分析評估適用的系統架構。第二步驟，腦訊號控制介面系統實作 (System implementation)：腦電波訊號擷取與處理 (EEG data acquisition and analysis) Æ 機制判斷 (Logical analysis)Æ BCI系統與實體空間的串連 (Connecting to the physical environment)Æ 系統測試 (System demonstration)：將此裝置系統與實體空間結合，並找受測者作測試，測試受測者在接近睡眠狀態時自己通常不會有自覺，此空間感知系統透過腦波以最快最自然的方式察覺到，且空間並給予燈光刺激、降溫、音量的刺激等回饋以維持使用者良好精神狀況的空間。這可以用二個步驟來達成。 Auto-control _subliminal BCI system Perceive 圖1-1 系統概念圖第一步驟：腦訊號控制介面系統雛型 1. 空間中的互動模式：因此為了更瞭解人在空間中的關係，對人與空間中的互動媒介做了深入的分析與探討。 2. 腦訊號控制介面基本架構：調查目前相關的研究，並找尋一個適合的腦訊號控制介面的架構，分析並評估此架構的在本研究的適用性。

(11)

3. 腦訊號控制介面架構調整：確定本研究所使用的系統架構後，再依本研究所探討的方向進行調整及修正。因為本研究將腦訊號控制介面應用在實體的建築環境中，所以和傳統上腦訊號控制介面系統的應用不太相似。 4. 系統軟硬體設備：在整個實做的過程中所使用相關的硬體及軟體設備的基本介紹、及原理。 5. 腦波訊號的分析：因此實驗由腦波訊號做判斷，所以必須先對腦波的波段以及訊號做觀察與分析，本實驗著重在 Alpha 波的分析。第二步驟：系統實作與測試

1. 腦電波訊號的節取與處理 (EEG data acquisition and analysis)：腦波儀器的軟硬體設置及訊號的擷取，以及訊號處理、訊號即時互動。

2. 機制判斷 (Logical analysis)：利用程式即時讀取腦波軟體資訊，並利用程式下判斷，不同狀況給予不同判斷。

3. 與實體環境連結 (Connecting to the physical devices)：將系統與實體環境相連結 (如圖1-2)。腦波儀器的設定腦波訊號的擷取 Computer 腦波訊號的處理 Human 控制板外部環境 Ex:燈光,音樂 Feedback Environment 圖1-2 裝製流程 4. 系統測試 (System demostration)：將環境設置好並找受測者測試在接近睡眠狀態時，此空間感知系統能夠透過腦波以最快最自然的方式察覺到，且給予燈光刺激以維持使用者良好精神狀況的空間。

(12)

第二章文獻回顧

2.1 智慧型空間

2.1.1 智慧型空間的發展

智慧型空間的背景

智慧住宅 (smart home)廣義的來說也可被稱為”智慧空間 (smart space)”，以下皆以智慧空間稱之。智慧空間它必須具備能夠回映出居住者的需求和期待，藉由調節燈光、溫度及週遭的音樂等變化，聰慧空間的構想也已經逐漸成行於在二十世紀的科技中，人類就對生活充滿想像，自動洗澡、穿衣、自動刷牙機器，自動開門，開、關燈….等。在二十一世紀的今天，一切已逐漸開始實現，房屋就像一個為生活而存在的機器，在既有的電子科技與傳統的結合，傳統的建築的技術與智慧空間最後變成實現的可能這就是二十一世紀的智慧型空間。一個基本的家庭自動化控制系統是由感應器與控制系統的構成的，為了調節居住者的機械系統更貼近使用者的需求，這個自動化的聰慧空間就必須提供一個更安全、舒適、經濟的居住的環境 (Gross, 1998)。為了要達成家庭自動化系統監控家電目的，而有新一代的資訊家電產品，除了在傳統家電產品開發新功能外，新型態的資訊家電則是利用PDA 透過手機，或利用無線網路卡上網，與家中 PC 溝通，再經由PC 控管家電網路。此解決方案對現代人來說皆有其不足，因受到 PDA 有無上網功能，和家中電腦只能在固定地點使用，以及網路線路的有無等限制，已經無法滿足E 世代新新人類講求快速、便捷的需求了。 智慧空間的代理人 2002 年 Mav Home 計畫中提出，住宅是扮演一個合理的代理人。這個代理人盡可能的提高居住者舒適感且降低操作住宅所產生的花費。為了達到此目的，這個代理人必須能預料流動性的符號和居住者的裝置的使用。在這個產品中，我們介紹這個 Mav Home 計畫且是在建築環境之下的。並將三個預測的演算法套用在住宅控制的

(13)

中心。最後顯示出將演算法應用在綜合性或實際的智慧住宅中所產生的影響 (Das et al, 2002)。且此計畫將這個 Mav Home 成品實際呈現在智慧住宅的建築上，他允許智慧住宅(或其他種智慧型的環境)扮演一個理性的代理人。當家中的智慧代理人接收到感應器的輸入後會選擇適當的動作並透過制動器執行。這樣的架構能夠整合在智慧住宅的各領域的研究，如機器學習、資料庫、可移動式電腦、機器人、多媒體運算等是智慧住宅空間不可或缺的。

2.1.2 智慧空間中的直覺式控制介面

智慧空間不外乎須滿足舒適便利的條件，但隨著科技的進步與各種高科技產品的發展，而有更新的使用，但隨著產品數位化，許多東西就不如預期的那樣直覺、便利，而近幾年來研究者對現有的空間家電、各種控制介面有了更新的介面的改革，如傳統的電燈裝置再夜間無照明時需要摸黑走到牆邊透過牆上的的開關去控制燈光明暗，而有光影感應的燈光控制介面，如電腦的發明與使用，雖為人類的帶來更便利性，但使用者必須透過學習控制滑鼠熟悉介面才可方便的操縱電腦，而為了更直覺的與空間的環境溝通而有更人性化介面的發展(Gross, 1998)。 可移動式控制介面 為了實現智慧空間中的可移動控制的便利性，又為了讓使用者能夠以第一人稱的觀點去遙控空間中的環境 (Essa, 2000)，而有無線通訊控制系統，行動電話 (mobile phone)、PDA 等，他們提供了我們一個很好的解決方案，即是行動通訊技術與家庭自動化系統的整合。行動通訊之遠距家庭自動化系統的理念在 2004 年中實現。利用手機的可移動性、且重量輕的特質，及行動電話的普及性，透過手機介面發送簡訊（Short Message Service，SMS），傳遞即時的文字訊息至家中改良式家庭自動化系統，得以遠距控制紅外線家電產品，例如電視機、冷氣機等，並進行設定，即可達到操作方便、簡單、快速、有效率地監控家電。為了讓使用者能更方便地使用本系統，在使用者輸入介面部份，包含行動電話上的簡訊發送介面，及系統主機上的控制按鍵，此介面滿足了。

(14)

方式傳遞出控制命令，當接收端的家電模組收到控制命令時，才依照命令執行動作，達到行動通訊之遠距家庭自動化的目的。Barkhuus and Vallgaarda (2003) 提出了一個HYP 系統 (如圖 2-1)，這個系統可藉由手機來與空間作連結，當沒有人在看電視時手機會發出警示的鈴聲已告知使用者。類似於此的手機控制介面最大的貢獻在於將家中的電子消費產品的整合，透過可移動式的手機控制介面，以提供一個可以簡易、快速管理居家環境的管道的家庭自動化系統，不僅提高家中電器的機能，並達到節省人力與能源的目的，進而滿足居住空間的生活安全。

圖2-1 HYP 系統 (Barkhuus and Vallgaarda, 2003)

手套控制介面 手套的量測位置和使用者手的外形的裝置在過去已經被廣泛的研究，手套最常被普遍運用於虛擬環境中，手指關節所裝置的感應器，典型的有機械式與光學的感應器，關節外的感應器決定了手在空間中的絕對位置 (Sato, 2001)。另一個被廣泛運用的例子：資料手套 (DataGlove)的裝置研究 (Zimmermann, 1987)，他利用了光學纖維的技術去偵測手指的彎曲度、和磁性的感應去做空間的定位追蹤，一般來說利用手套能快速的辨識出手勢及位置且具有高度的準確性但手套控制介面最大的限制在，使用者必須帶著手套移動，且手套並不適用於某些人機互動的介面上，因為那手套會限制使用者在實際空間操縱的自由度，而有手勢的控制介面發展 (如圖 2-2)。

(15)

圖2-2 手套控制介面 (Zimmermann, 1987) 手勢控制介面 在人機互動介面裡的應用，為了取代傳統鍵盤、滑鼠…等繁雜需透過學習的裝置，而運用了人類的手勢動作發展的介面 (Yi, 2001)。以影像為基礎的手勢控制介面經由攝影機擷取手勢的畫面，以圖像辨識分析出手勢的意義，並給予有效的指令動作 (Pavlovic, 1997)。在空間追蹤使用者手，且在使用者身上不使用任何侵入性的裝置，及時的辨識出使用者在空間中的手勢，透過神經網路適當的訓練，達到準確與快速的控制介面。此種介面也應用在電腦的 3d 環境中，傳統的圖形介面並不適用在每一個裝置當中，例如需要高自由度的控制，利用滑鼠操作空間中的3d 物件並不是件容易事，因為滑鼠被限制在 2d 的環境中移動，而此種手勢介面可直覺得利用使用者的手代替滑鼠，在3d 環境中使用，因此使用者可以直覺且輕易的運用手的移動去控制 3d 物件的位置和方向 (Sato, 2001)(如圖 2-3)。此種介面進而運用在聰慧空間中，可藉由攝影機去捕捉手勢，藉由此一手勢控制介面將手勢所捕捉到的圖像加以辨識轉換成數位訊號而去控制空間中的各種開關，而解決了到牆邊開關燈、尋找遙控器去控制家電設備的困擾。圖2-3 手勢控制介面 (Sato, 2001)

(16)

眼球追蹤控制介面 此種控制介面的原理是藉由光反射至瞳孔中，並藉由攝影機去偵測眼角膜中瞳孔的位置來判斷眼球轉動的位置來做互動 (如圖 2-4)。眼球追蹤控制介面提供一個方便且自然的互動與使用者的電腦溝通，在 Sibert (2000)的研究中做了兩個實驗，比較出互動的技術利用人眼睛一般所凝視的區域來代替滑鼠做物件選擇的動作。我們發現人類的眼球凝視的的動作比用手操作滑鼠所作物件選擇的速度要來的快且準確，此研究結果顯示出眼球追蹤控制介面是一種更人性化且直覺的互動介面，且方便適用在手必須做其他作業的情況下。人們不斷的利用眼球動作探索週遭環境，且快速的環視周圍的情況且迅速的得到所要的答案，此研究中也顯示出人們專注於工作時與分工作時(Jacob, 1993)，眼睛不會隨意飄動，兩種正常與不正常的眼睛的轉動已經可以被紀錄了且分辨得出使用者所處的狀態(專注與否)，因此藉由眼球追蹤的控制介面所做的互動，應該會比手勢介面來的自然且直覺而有效。圖2-4 眼球追蹤原理圖 (Jacob, 1993) 生物訊號控制介面

也因此有更人性化的介面產生。智慧型地板系統 (smart floor system)的計畫中 (Orr, 2000)，我們已經創造出利用個人化腳步的特徵並藉由認證的方式有效的應用在空間中，且於地板中設置瓷磚的量測感應介面、並收集所取得的資訊加以識別每

(17)

別率 (如圖 2-5)。此系統也是同樣藉由人的自然反射動作去做識別，巧妙的賦予空間智慧，讓人與空間藉由此系統做更緊密的溝通。主要研究的目的在研究出另一個世代的裝置，它可以將空間賦予智慧的控制。且將此系統實際應用在空間中，這個新一代的住宅提供生活的實驗室給一些實驗性的技術‧我們將智慧型地板系統的感應器安裝在十個地板的瓷磚上，包含住宅入口處、玄關、廚房、臥室等。住宅裡此系統可給予認證外，瓷磚更可以指出使用者移動的方位，也可藉此系統去探討住宅空間的使用效率問題。此研究著重在如何控制空間系統的機能，為此目的，我們能夠使用系統自己收集的資訊去控制系統，例如很強烈的重踩的腳步，可使系統做不同的動作 (Orr, 2000)。而此種裝置則是一種更人性化的感應介面，他透過更自然直覺的介面去感應人的生物訊號：腳的形狀、腳步的頻率、重量，而加以識別並給予更一般的回饋與反應。圖2-5 智慧地板 (Orr, 2000) 腦訊號控制介面

腦訊號控制介面 (brain-computer interface, BCI)是基於腦電波圖所發展的系統，有很多方法取得腦波活動訊號，EEG 是最普遍且適合拿來應用在腦訊號控制的介面上，尤其是他的可攜帶性 (Lin, et al., 2005)。利用生物訊號放大器透過腦波感應器取得使用者腦前額的腦波圖案 (EEG patterns)，並經由小波分析特徵化轉譯成特別的指令，與實體環境溝通。腦訊號控制介面的發展是基於辨識使用者特定的腦波圖案，當特定的心理想像意識的改變，皆會有不同的 EEG 訊號產生會有，且會被紀錄並可被應用在螢幕上的游標控制，且一些實驗結果顯示出各種不同的 EEG 的特徵化、分類都可以被計算，(Pfurtscheller, 2000)，BCI 應用於肢體癱瘓的病人有明顯的幫助，Hinterberger (2005)的研究顯示，BCI 可直接的與神經癱瘓的病人溝通。

(18)

傳統上大部分有關BCI 的研究多應用在醫療上，它多半是在輔助一些肢體殘障的患者 (Wolpaw et al., 1991 & Birbaumer et al., 1999 & Wolpaw et al., 2002)，因此近年來有越來越多的人開始將 BCI 應用非醫療的領域上， Georgia State University BrainLab 試著將 BCI 在真實世界中更有效的應用，包含人與人之間的溝通、環境控制、神經義肢及創意的互動等 (Moore, 2003)。例如 Krepki et al. (2004) 將BCI 應用在操縱遊戲的介面上 (如圖 2-6)。

圖2-6 BCI 在遊戲上的應用 (Krepki et al., 2004)

2.2 腦訊號控制介面

2.2.1 腦電波與磁電波

1929 年，一位德國精神柯醫師漢斯伯格（Hans Berger），在人類完整的頭蓋骨上紀錄到相同的電氣活動，這是首次發表人類的腦波記錄，並命名為腦電波圖 (electroencephalogram)簡稱 EEG，此後腦波即開始被應用在醫學的領域。從字義上來看electro－electrical－電的；encephalo－brain－大腦的；gram(ma)－picture －圖像。所指的就是記錄大腦活動時的電波變化 (榮總 EEG unit, 2006)。

(19)

目前量測腦波記錄可分為兩種，一是腦電波（electroencephalogram, EEG），測量大腦皮質的電流，大腦皮質的電流是發生在細胞外的電流，是由細胞群與其他細胞群之間的電位差形成的。另一是腦磁波（magnetoencephalographic, MEG），此乃根據法拉第定律─電生磁，當腦神經活化時所產生的電訊號會引發磁場變化，所偵測到訊號的大小即為腦磁波。腦波在醫學也是有很大的貢獻的，近幾年來醫療的技術進步迅速，其主要為了探究無法妥善預防及治療的病症，在這些精密的儀器上測得的生理變化，來診斷並追蹤病情。為了減少醫護人員檢查和追蹤病情的時間，以及提升判讀成效，故以腦波分析判讀受測者的生理狀況，也因此腦波的判讀已有初步的研究發展。在腦波的判讀上又可將腦波訊號分成多段，或是交叉的比較各段腦波訊號間的相異性。也就是，醫護人員可選取單一或多個病患不同的腦波訊號區段，經由檢視即分析步驟來做判讀(Huang, 2003)。

2.2.2 腦訊號控制介面

隨著人類對腦波的研究與發展，研究者對腦訊號控制介面(BCI)產生了興趣，希望可以發展出一個能解讀腦波的裝置。此介面是讓其個別的傳遞，或不使用大腦末梢的神經和肌肉的一般輸出的路徑控制外部的世界。訊息和命令被電流生理學的現象和自發的腦波的特徵所所表達。腦訊號控制介面仰賴著兩個適當的控制器的互動，使用者必須持續的靠近在他和她的意圖之間的關連性和一些現象。且腦訊號控制介面必需把這些現象翻譯在裝置的控制上且完整的表達出使用者的意圖。(Wolpaw & Birbaumer & McFarland & Pfurtscheller & Theresa, 2002)

這個腦訊號控制介面的發展使腦波訊號將僅有的神經反射系統的動作在訊息反應在執行的動作上。事實上BCI的軟體和硬體可將腦波訊號轉譯為進行神經、肌肉和活動，換句話說，人類只需利用腦神經控制介面就可以讀出且判別腦中所想要做的事物，即可執行動作而不再需要藉助其它四肢的協助 ( Roque, 2003)。腦訊號控制介面的重點為腦神經工程研究 (NeuroEngineering)，從基礎腦科學及認知神經科學出發，結合醫學工程、人因工程，並引入生物科技、電子、電機、資訊、

(20)

機械、材料、微機電等領域的知識與工具，進行腦神經工程之基礎及應用研究。在腦神經科學的基礎研究上，我們利用腦波、腦影像及各種生理訊號的量測與分析來探索人類在不同外界刺激及各種壓力下的心理狀態變化，注意力轉移及反應過程等，進而建立工作任務（環境）、腦信號與人體各部分感測與神經肌肉反應的三方對應關係，再結合工程技術進行腦機介面（brain-computer interface）等腦神經工程應用研究。腦機介面之研究將可幫助一般人在與他人或機器密切互動的工作環境下（如開車），維持高持續認知能力，而減少失誤及對週遭情況的誤判。而計畫中、長期目標則將進一步研究開發侵入及非侵入式之神經或肌肉彌補裝置（neuroprosthetic devices）(機構或晶片)以協助肢體殘障或視障、聽障病患恢復部分功能 (Lin, 2005)。

2.2.3 腦訊號控制介面的構成

腦電波訊號 EEG是在紀錄大腦皮層所產生的潛在的電波，這個潛在的電波是5~100¹V，然而 EEG的記錄就像一個在腦皮層的電極訊號和參考的電極訊號(典型的聽力)潛在的差異。腦波訊號的範圍介在100-300 Hz之間，這個範圍是足以捕捉到EEG訊號的頻率。我們採用256 Hz抽樣的機率，圖2-7為腦波EEG訊號。因為EEG是很微弱的電波所以EEG很容易受外就環境的影響，就連眼球轉動或頭皮肌肉拉動所產生的的電流也會影響到所測得EEG的結果 (Roque, 2003)(如圖2-7)。圖2-7 腦波訊號( Roque, 2003)

(21)

腦訊號控制介面的建構 BCI成熟的表現就像任何一個傳達或控制的系統。他有一個輸入(使用者的EEG訊號) 和一個輸出(一個動作的指令)的動作，且它將轉譯輸入訊號給輸出訊號和一個協定，他是可以決定控制的時間。而這個BCI介面的系統架構 (圖2-8)包含四個主要的過程: 1. 訊號的取得； 2. 訊號的過程: 特徵的摘錄； 3. 訊號的過程: 轉譯的演算法； 4. 輸出的裝置。圖2-8 BCI架構( Roque, 2003) 操作的協定(operating protocol) 當一個新的使用者第一次使用BCI系統，演算法必須就使用者訊號做特徵化的處理。一個有效的BCI系統也需要經過一連串的訓練降低實驗過程中的誤差，甚至使用者一天的心情變化、荷爾蒙數據的變化、精神狀況不佳或身體不適等都會影響其實驗出來的結果。這種轉譯的演算法需要改變自己去適應這些變化。所以它可以盡可能讓使用者的訊號特色更接近在特定的範圍內，而這個範圍是儀器可接受的標準裝置範圍內( Roque, 2003)。

(22)

然而，這兩種標準是不足以有效的作為 BCI 控制中心的依據，他仰賴人腦與腦訊號控制介面之間的互動。第三個適應的層級將考慮到使用者腦部的適應能力，就長遠來說大腦將可以更改這個訊號的特徵去改善 BCI的控制方式。總而言之，使用者更需要模組化他的EEG訊號。為了達到這些要求，一個控制的協定需要帶領BCI 的控制。這個控制協定定義了這個系統的行為、序列、和反應的速度，在使用者和系統之回饋是以使用者為條件的。

2.2.4 腦訊號控制介面的應用

傳統上BCI常被用來當作輔助殘障病患的控制介面，它可讓一些肢體殘障者藉由BCI 控制介面的輔助，透過訓練藉由腦中意志來執行一些簡單的動作 (Wolpaw et al., 1991 & Birbaumer et al., 1999 & Wolpaw et al., 2002)。Georgia State University BrainLab正研究創造出一種更適合的方法讓腦訊號控制介面更有效的應用在實體空間互動、溝通。為了讓BCI互動更有效率，其中包含和環境溝通、環境控制、神經義肢、等有高度創造性的表現 (Moore, 2003)。在實際的應用上，使用者可藉由 2D螢幕上行、列閃爍的範例單字來決定所想要選擇的單字 (Moore, 2003)。目前已經發展出讓受測者限制在2D的螢幕上瀏覽並選擇單字的虛擬鍵盤 (Mason et al., 2000)(如圖2-9)。進幾年也有人將BCI應用在VR環境的技術中，藉由以EEG為基礎的BCI控制介面，心智活動 (想像移動腳或移動右手)所產生的腦電磁波訊號經由 BCI轉換成控制的訊號 (Leeb, 2004)，這些訊號被用來控制虛擬空間中的前進、後退或持續不動(如圖2-10)。圖2-9 BCI的游標指示系統 (Mason, 2003)

(23)

圖2-10 BCI在VR 環境的應用 (Leeb, 2004) 交通大學腦科學中心結合虛擬實境動態模擬、訊號分析處理與機構設計等工程技術及神經科學進行含括工程、心理與神經科學之跨領域腦機介面研究。目前的人類腦生理訊號研究絕大多僅止於視覺與聽覺的刺激反應機制分析，對於動態刺激反應(kinesthetic stimuli)的研究相當少，因此在他的研究將以虛擬實境動感平台提供動態刺激以探索人類在不同外界刺激及各種壓力下的心理狀態變化，注意力轉移及反應過程，進而建立工作任務（環境）、腦信號與人體各部分感測與神經肌肉反應的三方對應關係，開發以腦訊號為基礎之腦訊號控制介面 (如圖 2-11) (Wu, 2004)。此項成果也讓腦生理訊號研究在國際學界佔有開創性的地位。其研究項目包含：(1)腦動態、生理變化與人類認知狀態之關連性研究；(2)單一試驗(single trial) 短暫性腦動態特性研究；(3)維持高持續認知能力之腦訊號控制介面的回饋訊號與模式研究；(4)腦電波(EEG)與動態刺激(kinesthetic stimuli)之關連性研究；(5)建構神經感知人機互動介面；(6)BCI 效益評估研究；(7)發展無線乾式電極生理訊號感測系統；(8)發展應用於腦機介面之可攜式即時嵌入式系統；(9)發展泛用型生理訊號處理晶片 (Lin, 2005)。

(24)

圖2-11 VR 為基礎的生物訊號感知系統 (Wu, 2004) 腦訊號控制介面系統架構 在過去的研究中，還未有人提出分散式的腦訊號控制介面系統，但在Krepki et al. (2004)的BBCI的研究中，他提出了非侵入式系統方式即時抓取EEG訊號去做分析，並提出了分散式腦訊號控制介面 (BCI)的系統架構 (如圖2-12)，此系統的優點是可以即時的將所測得的腦波訊號分配給多台電腦做處理，一台伺服器作同步的動作，將分散各處的電腦做同步的運算，再進行分類，最後將所收集到的訊號做整合並進行人與電腦的互動 (如圖2-13)。Krepki et al. (2004) 之BCI研究架構可分為七個步驟： (1) 受測者帶著電極帽 (brain-cap)並面對著電腦畫面； (2) 藉由電極帽上的128 channels 的電極取得EEG腦波訊號； (3) 取得的EEG訊號經由訊號放大器放大 (因腦波為一種微弱的電波)； (4) 並將訊號放大器輸出的訊號傳送至電腦紀錄； (5) 將一些較不重要如前置期的訊號以及不用即時處理的訊號先傳送至資料庫； (6) 並將所有訊號傳送至中央處理電腦伺服器上做即時的訊號處理； (7) 將訊號與與電腦遊戲結合，讓受測者可藉由大腦意志去玩遊戲。

(25)

圖2-12 BCI系統架構圖 (Krepki et al., 2004)

圖2-13 Parallel manner of data processing (Krepki et al., 2004)

而Krepki et al. (2004)所提出的BBCI系統是需要讓機器學習的，也就是說使用者需做一連串的訓練讓系統學習，並調整系統為使用者所適合的最佳狀態，在學習的訓練過程中取一些EEG樣本做依據，而這些訓練過程包括想像自己舉右手或左手，且過程中試著讓自己放輕鬆，盡可能不要做任何的肌肉的動作如打呵欠、吞嚥、轉頭或移動身體等等，這些動作都會誘發肌肉電流的產生 (electromyographic,

(26)

EMG)，而這些EMG訊號會干擾EEG訊號導雜訊比過高，而實驗就失去其準確性了。此訓練過程為時七分鐘如圖2-14，可分為想像以及自我步調方式兩種，自我步調的方式是讓使用者藉由鍵盤來做標記使決定進行下一個步驟，想像的方式是藉由視覺得提醒來做標記以進行下一步驟，所以在執行BBCI系統前會經過一連串的訓練才可以開始做實驗。圖2-14 執行BBCI前的訓練(Krepki et al., 2004) 為了取得腦部特徵化的微弱腦波訊號，必須有一個特別的前製作業的過程，包含所要取得的波段，每秒鐘的取樣率等，在BBCI的研究中他以每秒128的取樣率去得腦波訊號，並藉由傅立葉的轉換、部份濾波等過程將所要的EEG訊號萃取出來。再來經由分類以取得所要的EEG訊號，經由64次想像舉右手、舉左手的試驗過程(如圖2-15 紅色為舉左手、綠色為舉右手)，可看得出系統可以紀錄下並分辨出兩者不同的腦波訊號。圖2-15 累積的試驗結果(Krepki et al., 2004) 因此在應用上，Krepki et al. (2004)將其應用在人與電腦的遊戲介面上，藉由人腦去控制電腦螢幕畫面上的動作，而畫面的變化也會影響人腦波的變化，他也提出

(27)

了幾個不同的遊戲情境，來測試人在不同遊戲場景中的互動反應，例如利用腦波互動來操控賽車遊戲、走迷宮、腦波乒乓球及腦波俄羅斯方塊等 (如圖2-16)。圖2-16 腦波走迷宮(Krepki et al., 2004) 它讓使用者藉由遊戲的畫面刺激使用者的視覺，而使用者用不同於以往的方式用大腦憑空想像來操縱遊戲，這種方式雖然不用透過手及任何外部裝置來操縱鍵盤滑鼠，但使用者卻要在操從BCI系統之前做一連串腦波的訓練，因為人腦波的差異性太大，且腦波具有個人化的特質，很難用一種方式去辨別每一種腦波所代表的意義，這也是BCI所面臨的一大難題，因為腦波到目前為止還不算是很成熟技術，且因為腦波微弱的電波，很容易受外界的環境影響，而使其雜訊比過高而導致實驗的失敗，所以如何濾波如何能夠取得最乾淨的腦波訊號也是目前熱門的研究議題，因此BCI並不如所想的那樣直覺，但在Krepki et al. (2004)的研究中他讓BCI有了不同於以往的運用。 以腦波為基礎的虛擬實境導覽系統架構 在 Leeb et al. (2004)的研究中，他描繪出人可以藉由腦波的動態想像在虛擬空間 (VR)中自由的走動，但這個以EEG為基礎的腦訊號控制介面是需要結合腦波與虛擬實境的技術，且這個BCI系統能夠轉譯生理物電流的腦波訊，並將心理所想像的畫面 (例如：想像腳或手的移動…等)轉化為控制的訊號。這個系統必須是人腦與電腦的溝通橋樑，他將心理的活動、感覺。而移動的想像與在實體環境中執行真實動作的腦神經網路是類似的 (Neuper et al, 2001)，所以在BCI的應用當中動態想像也變得是一種很重要的策略控制 (Pfurtscheller et al., 2001)，而這種腦訊號控制介面的

(28)

溝通方式是一不需要做任何外部的動作即可達成的，因此他可以幫助一些肢體殘障的病患藉由此系統達成和環境溝通的方式，例如虛擬鍵盤…等。

Leeb et al. 在2004年提出了Graz-BCI系統，這個系統包含有EEG放大器(g.tec, Guger Technologies,Graz, Austria) 、 EEG 訊號擷取卡 (National Instruments Corporation, Austin, USA)以及一台Windows XP作業系統PC (Microsoft Corpo-In the presented work, an EEG-based BCI is combinedration, Redmond, USA)。在此系統中受測者藉由電極貼片貼至頭部取得原始的EEG訊號，將即時抓取的訊號經由訊號放大器、及濾波處理轉換為控制的訊號，並紀錄在硬碟中。實驗前必須先做訓練以紀錄下個人的腦波特徵，因此受測者必須藉由想像去控制螢幕上的游標 (向左向下…等)，受測者被指示做移動左右手的動作，並在聲音、或視覺的刺激下作腦波訊號的標記，在一段時間內不斷的訓練 (腦中想像動左手、動腳)，歸納出此種EEG 訊號，並轉換為控制訊號(虛擬場景中向前、向後) (如圖2-17、圖2-18 所示)。圖2-17 受測者的訓練想像及在VR中所代表意義 (Leeb et al., 2004)

圖2-18 BCI實驗前的訓練過程 (Leeb et al., 2004)

在這篇研究中提到，大部分的BCI研究多提出一個有回饋的互動方式的情境，他讓使用者移畫面中的捲軸、球做向上向下的動作，但多半都僅只於一些簡單的人

(29)

與電腦的互動方式，這種回饋給使使用者的表現方式就已經足夠了嗎(Leeb et al., 2004)？

系統架構

因此Leeb et al. (2004)開始研究另一種可能性，他將BCI應用在虛擬實境中，創造出一個可以隨心所欲控制的3D虛擬環境，使用者可在立體的場景中操控3D的物件。他結合以EEG為基礎的BCI系統在虛擬環境中，此系統包含利用頭戴型立體顯示器 (head mounted display, HMD)、及頭部慣性的追蹤器去瀏覽虛擬的場景，受測者將BCI所轉換的控制訊號去導覽整個場景，他可以藉由腦中想像右手移動或想像腳的移動在虛擬城市中前進、後退或停止不動 (如圖2-19)。圖2-19 藉由BCI在虛擬城市中導覽(Leeb et al., 2004) 此結合VR的系統可分為七個步驟 (如圖2-10)： (1) 受測者帶著電極帽 (brain-cap)及頭戴型顯示器； (2) 藉由電極帽上的128 channels 的電極取得EEG腦波訊號； (3) 取得的EEG訊號經由訊號放大器放大 (因腦波為一種微弱的電波)； (4) 將測得的訊號做訊號處理並儲存在電腦中； (5) 將訊號轉化成控制訊號； (6) 將控制訊號傳送至受測者的頭帶顯示器； (7) 受測者可在虛擬場景中隨心所欲的控制。

(30)

過去的BCI發展多著重醫療的研究上，在Leeb et al. (2004)研究中，提出了BCI 在電腦螢幕2D平面外的應用，也驗證BCI系統架構下，每一個人在訓練後皆可以想像在虛擬場景中隨心所欲的自由瀏覽。他為BCI的研究開拓了新的視野，也為虛擬實境的研究提出了一種新的導覽方式，他讓使者可以叫自然且直覺的方式在空間中瀏覽，而不比透過複雜的介面、裝置來控制。但目前的技術尚未能清楚且廣泛的辨識每一個人的腦波，且一定得做一連串的訓練告訴系統某些腦波代表的特定的控制訊號，因此這也是目前所面臨最大的瓶頸。

(31)

第三章腦訊號控制介面之系統雛型

3.1 空間中的互動模式

空間中的裝置就像是人與空間溝通的媒介，為了讓人與空間做更直覺且自然的互動，本研究中提出了一個能夠讓設計者維持清醒的工作空間。因此為了更瞭解人在空間中的關係，對人與空間中的互動媒介做了深入的分析與探討（如圖3-1），人為了要與空間環境做互動會因為不同的裝置還產生不同的互動，而隨著裝置的發展，人需透過學習來操縱空間中的裝置介面，且人會因為不同裝置而改變原有的生活習慣，而為了發展出一個更好的互動模式，本研究將現有的裝置介面區分為四種類型： (1) 有意圖 + 有動作：大部分的互動介面皆採這種方式。例如人想關燈時，大腦會先想到再去做關燈的動作。 (2) 無意圖 + 有動作：沒有刻意執行某些動作，但有動作時環境就會有反應，例如光影感測的電燈開關，人經過時，燈就會自動亮起。 (3) 有意圖 + 無動作：只要藉由想像來控制環境，不用作人和動作。例如藉由腦波操縱空間的裝置。 (4) 無意圖 + 無動作：不用刻意想像，也不用有任何動作，環境自然的依不同的使用者狀態給予回饋。例如本研究所提出的讓使用者維持清醒的工作空間。 Human 電燈電視調節溫度開關音樂人與空間互動的媒介人在空間中的自然行為人與空間的互動模式實體環境有意圖 + 有動作無意圖 + 有動作有意圖 + 無動作無意圖 + 無動作圖3-1 人與空間的關係

(32)

人在空間中互動的情境 而這四種不同的互動模式也會影響人原有的生活習慣 (如圖3-2所示)，人在空間中互動的情境可分為七個階段：外部環境的刺激，使用者接收，使用者感覺到並有意圖執行某些動作，接著是開始執行動作，控制裝置，最後是環境給予人回饋。使用者會因為不同的裝置介面而有不同的互動情境，如 (圖3-2 下的 Ex1.)傳統的遙控器控制介面，當使用者在感覺到環境變低時，他會先有意圖想把溫度調高，再來才是執行拿起遙控器的動作，接著控制遙控器調節溫度，最後環境才回饋給人舒適的溫度。從使用者感覺冷到，環境調節成舒適的溫度經過了四個階段，使用者必須起身去執行這個動作才會有所回饋，遙控器雖縮短了人與裝置的介面的距離，但卻也衍生出使用者必須找尋遙控器及學習如何操縱裝置的困擾。而在 (圖3-2 下的 Ex2.) 中利用BCI在輔助殘障者行動，當殘障者想前進時，腦中必須想像特定的動作，但不需實際執行動作，在藉由系統辨識腦波，最後是輪椅自動向前進，這和以往的互動模式有很大不同，他讓使用者省去了執行動作的部份，在想像的同時，環境就給予人回饋。溫度變低使用者感覺冷想把溫度調高拿起遙控器調低溫度環境中輪椅殘障者想往前走腦中想像系統辨識腦波溫度變低輪椅向前走環境地板使用者經過有感覺走過地板系統辨識腳步無意圖回傳誰走過光線太暗使用者覺得眼睛疲勞系統自動察覺並控制環境變亮無意圖無動作無動作 Ex1. Ex2. Ex3. Ex4. 圖3-2 人在空間中互動的情境由此可知大多數的空間裝置介面皆需透過學習才可以操縱，人多以第一人稱的方式和空間做互動，且空間並不能感知人的狀態，因此在本研究中認為人在空間中的生活習慣是不應該被改變的，裝置的發展與應用是用來輔助人類生活的，例如手機、遙控器的使用，我們雖可以在遠距離方便操控空間中的東西，但在使用初期卻遇到了學習的不便，所以理想上的智慧空間，他必須要能主動感知人的狀態，並且適時的給予人回饋，如 (圖3-2 Ex4.) 所示，使用者因光線太暗而感覺勞累的時候，

(33)

系統即可察覺到使用者的生理狀況，並自動的調節光線，給予人適當的回饋，在互動的情境中使用者不必刻意想像或執行某些動作就可得到環境的回饋。 3.1.1 非人體感應互動介面 因此本研究也對人在空間中的互動介面做了分析與比較，如表3-1中我們可以發現人在空間中的互動介面有很多種，過去沒有電腦、沒有數位新科技的輔助，我們可以較自然的方式在空間中生活。但隨著數位科技的進步與發展，有越來越多智慧型的輔助裝置在應用再生活空間中。而空間中的互動介面又可分為兩種：一種為非人體感應互動介面，另一種為人體感應互動介面。表3-1 非人體感應互動介面控制介面互動模式感應方式是否需學習手機 / PDA 有意圖 + 有動作使用者透過手機或PDA控制遠端空間。是遙控器有意圖 + 有動作使用者使用遙控器透過紅外線去控制開關，例如開關電視、冷氣等等。是網路有意圖 + 有動作使用者藉由網際網路遠端的控制空間的系統或裝置，例如遠端遙控家電。是非人體感應手套有意圖 + 有動作使用者需戴上手套，並做某些動作與空間互動。是非人體感應的互動介面不外乎是遙控裝置，使用者藉由手持或穿戴另一種輸入裝置（手機、PDA、網路及手套）來與空間互動。這些裝置都須讓使用者額外的學習操作另一種新工具，也就是在求便利性的同時，必須先面臨初期學習使用的不便。如利用手機去遠端的操作家裡的空調、保全裝置等等，而這類非人體感應的控制介面的互動模式，是讓使用者在想做任何操作的同時還要執行實體的動作，這種互動方式在智慧型空間中並不算是很有智慧，他只是讓使用者與空間互動更增加了

(34)

其困難度，使用者必須學習操作來操作這個介面，雖解決了遠端操作的便利性，但卻增加更多的困難度，如家中的老人，他們得要花上很長的一段時間學習才可以做相同的操作。 3.1.2 人體感應的控制介面 人體感應的控制介面(如表3-2所示)，他是希望能改善傳統上需操作特定的裝置或物件，利用人身體的手勢、動作或身體的任何訊號來與空間做互動。例如藉由特定的面部表情來執行空間中裝置的開關動作，或利用聲控裝置來控制環境中的裝置等，但大部分的人體感應控制介面，在操縱前都要先訓練，聲控必須先儲存聲音訊號，並指定其代表的控制訊號，手勢也是如此。而也有另一種控制介面在操縱前不需要訓練，如智慧型樓板 (Orr, 2000)，他運用了人體的腳步重量、頻率，去識別一天當中誰經過這個空間，人不必要有特殊的動作即可與環境溝通；而還有另一種互動的方式，不用做實際的動作即可與空間環境做互動，即腦波主動的控制介面，他運用人腦中的動態想像，來與空間溝通，但在操縱前還是得先做訓練，讓系統記錄特定的訊號腦波，並指定期所代表的控制訊號。戶外照明的動作感應器即是一個很自然人體感應控制介面，此裝置藉由影像辨識判斷前後影格的影像不同時，即判斷有人走過，不用作任何動作燈光即亮起，一段時間即熄滅，但當人靜止不動時燈即熄滅，因此他也造成了些許的不便，它沒辦法識別人是否還在原地，它雖讓空間變得更有智慧，但此裝置卻只能侷限在入口處或戶外的照明裝置，不需要長久照明的地方，此種介面雖不用刻意做任何動作以及不需要學習操作任何繁雜的介面即可達成，但在其應用面還是有很多不適用的缺陷。表3-2 人體感應互動介面控制介面互動模式感應方式使否需透過學習人體感應手勢有意圖 + 有動作特定的手勢動作並藉由影像辨識，控制空間中的開關。是 (使用前需做訓練，讓系統紀錄使用者特定手勢代表的動作)

(35)

眼球有意圖 + 有動作利用攝影機偵測瞳孔軌跡，來追蹤所要控制的東西。是 (需侷限在特定範圍內) 腳步無意圖 + 有動作利用感應的地板，去偵測使用者是否經過特定空間。否表情有意圖 + 無動作是 (使用前需做訓練，讓系統紀錄特定的表情所代表的動作) 藉由影像辨識去辨識使用者的表情，並給予回饋。聲控有意圖 + 無動作利用聲音去做空間裝置的控制。是(使用前需做訓練，紀錄聲音) 無意圖 + 有動作藉由前後不同影像的改變去偵測是否有人經過，例如戶外的節能照明，人經過即亮燈，離開則關閉否動作感應器腦波主動控制有意圖 + 無動作藉由腦中想像手或腳的移動去控制游標、或實體空間的裝置，例如殘障者藉由此腦波控制系統去做簡易的文字溝通。是 (使用前需做訓練，讓系統紀錄使用者特定腦波代表的執行動作) 腦波被動控制無意圖 + 無動作本研究中所提出的，不需刻意的想像或特定的動作，藉由腦波辨識，環境會主動去察覺使用者的生理狀態並讓環境給予適當的回饋，例如使用者感覺勞累時，環境會自動調節燈光的強弱並提供適當的背景音樂給予使用者自然的提醒。否

(36)

人想要操控空間中的物件時，會先有情緒的反應，然後才會有執行的動作，再來才是人與介面上的溝通。而本研究中所提及的智慧型空間是希望能省略情緒的反應和執行動作的步驟，直接透過大腦腦波的偵測就可以與環境做自然的溝通 (如圖 3-2 的Ex4.)，即採用『無意圖 + 無動作』的互動模式。這種方式與前者所提及的動作感應最大的不同點在於，腦波的偵測可讓環境主動的感知人的生理與心理狀態，給予最適切的回饋，而動作感應的介面，是根據人類外在的行為去做偵測與回饋，他雖可以給予自然的互動回饋，但卻不能清楚的知道人大腦目前想法與身心狀態的需要，而本研究所提出的腦波感應的介面，他可依人的不同狀態來給予最適切的照明切換。因此本研究選擇用腦波來與空間做互動，且其在互動上採取『無意識 + 無動作』的互動模式，藉由腦波的偵測來判斷使用者的心理狀態，讓人能以更自然的方式和環境互動。

3.2 腦訊號控制介面系統架構

在過去的智慧型空間中也發現，研究者多半著重在如何去發展一種不同於以往生活空間，而提出多種新型態的互動方式，其不同於傳統的地方是人需透過學習才能與這個空間互動。這種新型態的互動方式雖滿足了一些便利性，但卻增加了學習操作的問題且使用者多半以主動的方式和空間互動 (如圖3-3)。因此這些不同於以往的互動方式就一定比傳統互動方式來的便利、舒適嗎？

Common smart space.

Human

Light Music Temperature

(37)

圖3-3 一般智慧型空間的互動方式而在本研究中也提出了一個能夠主動感知人的空間 (如圖3-4所示)，這個智慧型空間會主動感知使用者的狀態並適時的給予回饋，例如本系統發現人處於勞累狀態時就會改變環境的音樂以舒緩他的情緒，或給予燈光的刺激，讓使用者自然的清醒；又或者使用者感覺冷的時候，環境會自動調節到舒適的溫度等，這個智慧型空間是必須考慮到人的心理、生理等因素，且隨著人的不同狀態再去改變環境，這種互動方式和以往有很大的不同。在過去的研究中，腦訊號控制介面的互動方式，多著重在人與電腦上的應用，也就是說，研究者希望能藉由腦訊號控制介面的幫助去控制電腦滑鼠游標等等，而在本研究中，將腦訊號控制介面結合在實體的空間環境中，也為智慧型空間開拓了一個新視野。

The system we proposed...

Human

Light Music Temperature

Passive

(interact by thinking)

Smart space would perceive the human.

圖3-4 本研究的主動感知人的互動空間因此本研究主要是提出一個腦訊號控制介面系統架構雛型，並將腦訊號控制介面系統整合在實體的空間環境中。而此系統架構包含腦波訊號的取得、訊號的分析與處理、特殊訊號的分析及實體上的應用等。因此為了找到一個最適合本研究的系統架構，本研究調查了現有相關的腦訊號控制介面的研究、應用，並尋找一個適合的腦訊號控制介面的模型，分析、評估此架構的在本研究中的適用性，並因應本研究的目的加以修改調整，提出一個最適合本研究的腦訊號控制介面架構。

(38)

3.2.1 腦訊號控制介面系統之比較 在過去的研究中發現，腦訊號控制介面 (BCI)是人機介面 (HCI)的一種，它藉由大腦內部所產生的腦波訊號活動來讓人與電腦溝通 (Wolpaw et al., 2002)，因此人可以藉由大腦的想像來執行某些動作。從過去到現在有很多方法可以紀錄腦內活動的影像，其中非侵入式的方法包含PET、fMRI、MEG、EEG等，而他們各自也有其優缺點，但EEG訊號是最容易取得的，且設備也較經濟，因此研究者通常拿EEG來做實驗，所以EEG也是BCI中最常使用的一種腦波訊號 (Krepki et al., 2004)。

從腦波的發現到腦波訊號的分析，一直倒進幾年才有腦訊號控制介面的發展，它算是一種很新的的領域也是近幾年來腦神經細胞的活動，可用神經電生理的方法偵測而得到腦波來做應用。 分散式腦訊號控制介面系統 在過去的研究中，還未有人提出分散式的腦訊號控制介面系統，但在Krepki et al. (2004)的BBCI的研究中，他提出了非侵入式系統方式即時抓取EEG訊號去做分析，並提出了分散式腦訊號控制介面的系統架構 (如圖2-12)，此系統的優點是可以即時的將所測得的腦波訊號分配給多台電腦做處理，一台伺服器作同步的動作，將分散各處的電腦做同步的運算，再進行分類，最後將所收集到的訊號做整合並進行人與電腦的互動。此研究所提的BBCI 系統架構可分為七個步驟： (1) 受測者帶著電極帽 (brain-cap)並面對著電腦畫面；(2) 藉由電極帽上的128 channels 的電極取得EEG 腦波訊號；(3) 取得的EEG訊號經由訊號放大器放大 (因腦波為一種微弱的電波)； (4) 並將訊號放大器輸出的訊號傳送至電腦紀錄；(5) 將一些較不重要如前置期的訊號以及不用即時處理的訊號先傳送至資料庫；(6) 並將所有訊號傳送至中央處理電腦伺服器上做即時的訊號處理；(7) 將訊號與電腦遊戲結合，讓受測者可藉由大腦意志去玩遊戲。因此Krepki et al. (2004)將其應用在人與電腦的遊戲介面上，藉由人腦去控制電

(39)

腦螢幕畫面上的動作，而畫面的變化也會影響人腦波的變化，他也提出了幾個不同的遊戲情境，來測試人在不同遊戲場景中的互動反應，可利用BCI來控制由息，同時也可藉由腦波來的變化來觀察使用者在不同情境中的反應，例如利用腦波互動來操控賽車遊戲、走迷宮、腦波乒乓球及腦波俄羅斯方塊等 (如圖2-16)。它讓使用者藉由遊戲的畫面刺激，讓使用者以一種創新的方式用大腦憑空想像來操縱遊戲，這種方式雖然不用透過手及任何外部裝置來操縱鍵盤滑鼠，但使用者卻要在操縱BCI系統之前做一連串腦波的訓練，因為人腦波的差異性太大，且腦波具有個人化的特質，很難用一種方式去辨別每一種腦波所代表的意義，這也是BCI 所面臨的一大難題，因為腦波到目前為止還不算是很成熟技術，且因為腦波微弱的電波，很容易受外界的環境影響，而使其雜訊比過高而導致實驗的失敗，所以如何濾波如何能夠取得最乾淨的腦波訊號也是目前熱門的研究議題，因此BCI並不如所想的那樣直覺，但在Krepki et al. (2004)的研究中他讓BCI有了不同於以往的運用。

由表3-3可知此系統優點可利用分散是系統同時分析多個電極的訊號，並在特定的狀況下給予適當的判斷，且它一次可收集128個頻道的訊號，因此在大腦的每一個區塊內所測得的電極較多，並可同時做很多種類的訊號分析，因此腦波讀數會比一般來的精準。此種分析方法也很適合作為多種狀態的評估、觀察，例如，觀察受測者在一段時間內運動區域、眼動區、與睡眠區之訊號為何，與睡眠區之訊號為何以及將不同區域的訊號拿來做分析比對。表3-3 分散式系腦訊號控制介面優缺點優點缺點 1. 頻道多準確性較高 1. 電極多且設置複雜 2. 可測得較多區域(例：眼動區、運動區、睡眠區、語言區等等) 2. 分散是系統需有多台pc同時處理 3. 訊號多分析方法困難度較高 3. 可一次做多種分類、評估 4. 只能做電腦內的應用 4. 應用在遊戲介面中 5. 操作前還是需要訓練(training) 以腦波為基礎的虛擬實境導覽系統 在Leeb et al. (2004)的研究中，他描繪出人可以藉由腦波的動態想像在虛擬空間

(40)

(VR)中自由的走動，但這個以EEG為基礎的腦訊號控制介面是需要結合腦波與虛擬實境的技術，且這個BCI系統能夠轉譯生理物電流的腦波訊，並將心理所想像的畫面 (例如：想像腳或手的移動…等)轉化為控制的訊號。這個系統必須是人腦與電腦的溝通橋樑，他將心理的活動、感覺。而移動的想像與在實體環境中執行真實動作的腦神經網路是類似的 (Neuper et al, 2001)，所以在BCI的應用當中動態想像也變得是一種很重要的策略控制 (Pfurtscheller et al., 2001)，而這種腦訊號控制介面的溝通方式是一不需要做任何外部的動作即可達成的，因此他可以幫助一些肢體殘障的病患藉由此系統達成和環境溝通的方式，例如虛擬鍵盤…等。在這篇研究中提到，大部分的BCI研究多提出一個有回饋的互動方式的情境，他讓使用者移畫面中的捲軸、球做向上向下的動作，但多半都僅只於一些簡單的人與電腦的互動方式，這種回饋給使用者的表現方式並不足夠(Leeb et al., 2004)。

因此Leeb et al. (2004)開始研究另一種可能性，他將BCI應用在虛擬實境中，創造出一個可以隨心所欲控制的3D虛擬環境，使用者可在立體的場景中操控3D的物件。他結合以EEG為基礎的BCI系統在虛擬環境中，此系統包含利用頭戴型立體顯示器 (head mounted display, HMD)、及頭部慣性的追蹤器去瀏覽虛擬的場景，受測者將BCI所轉換的控制訊號去導覽整個場景，他可以藉由腦中想像右手移動或想像腳的移動在虛擬城市中前進、後退或停止不動 (如圖2-19)。此系統架構可分為七個步驟：(1) 受測者帶著電極帽 (brain-cap)及頭戴型顯示器；(2) 藉由電極帽上的128 channels 的電極取得EEG腦波訊號；(3) 取得的EEG訊號經由訊號放大器放大 (因腦波為一種微弱的電波)；(4) 將測得的訊號做訊號處理並儲存在電腦中；(5) 將訊號轉化成控制訊號；(6) 將控制訊號傳送至受測者的頭帶顯示器；(7) 受測者可在虛擬場景中隨心所欲的控制。

過去的BCI系統的發展 (如圖3-4所示)多著重醫療的研究上，在Leeb et al. (2004)研究中，提出了BCI在電腦螢幕2D平面外的應用，也驗證BCI系統架構下，每一個人在訓練後皆可以想像在虛擬場景中隨心所欲的自由瀏覽。他也為BCI的研究開拓了新的視野，也為虛擬實境的研究提出了一種新的導覽方式，它拋開傳統滑鼠、鍵盤等複雜介面的束縛，讓使者以較自然且直覺的方式在空間中瀏覽。但目前的技術尚未能清楚且廣泛的辨識每一個人的腦波，且一定得做一連串的訓練並紀錄

(41)

下某些腦波代表的特定的控制訊號，因此這也是目前所面臨最大的瓶頸同時由表3-4 可見，VR-BCI的系統架構其複雜度又更高，它必須考慮到VR環境中的操作方式及畫面中的立體感呈現，但它也讓BCI在空間中應用的可行性，也邁向實體空間的一大步。表3-4 系統模型的發展比較表 原始系統模型 分散式系統模型 VR-BCI系統模型 應用多應用在認知心理學的實驗中，用來觀察腦波的變化，並轉譯其代表的意義藉由想像手或腳的移動去控制遊戲，並藉由遊戲的過程中觀察其腦波變化將腦波藉由想像左右手在虛擬空間自由導覽優點將BCI應用在空間中且開拓了新的VR的導覽方式只需探究腦波的意義，設備較簡單頻道較多，腦波讀數準確性較高缺點沒有應用系統複雜、分析困難系統複雜度更高系統複雜度觀察訊號 + 腦波的應用 + 遊戲介面僅只於腦波訊號觀察、統計階段腦波應用 + 虛擬空間導覽

3.3 本研究的腦訊號控制介面架構

因此在本研究中評估了各種腦訊號控制介面的架構，發現Krepki et al. (2004)所提出的BCI系統架構他著重在訊號的取得及訊號的分析，他運用的分散式的運算方式可加快其轉譯腦波訊號，且因為他著重在腦波訊號的分析及遊戲上得應用，他利用訊號分析的結果在進行電腦上的遊戲，使用者在操作之前必須先做訓練 (trainng)，使其紀錄下腦波的個人化特徵才可藉由腦中的想像來操縱遊戲的畫面。而Leeb et al. (2004)的研究中他也利用了幾乎和Krepki et al. (2004)相同的方法去得腦波訊號，他也藉由想像手和腳的移動來做互動，但他用此種方式做虛擬環境導覽的應用，也讓 BCI有不同以往的應用，他超脫了傳統的2D平面的應用，並嘗試讓使用者藉由BCI 在立體的3D虛擬場景中瀏覽。在表3-4的BCI系統模型的發展表中可知，我們可以發現在過去的研究中，我們

(42)

只能對腦波做觀察及紀錄統計，找尋其可識別腦波分類的方法，但隨著研究的發展與科技的進步，從腦波的訊號發現到分析到應用，我們是可以對少部分的訊號做分析和判斷，雖然現礙於現有儀器和設備的限制，我們沒辦法完全的探究腦波所代表的所有意義，但由此可證明腦波是可以被解讀的，但人腦與電腦畢竟還是有一層隔閡的，我們必須告訴電腦每一個訊號所代表的意義為何才可將其做應用，但隨著BCI 應用面的提昇，其系統的複雜度也就提高了。因此由表3-5可知，過去的BCI控制介面都需要在操作前做訓練，因為人類的腦波太過複雜，且具有個人化特質，所以本研究所提出的系統架構在操作前不需做訓練，利用人在放鬆狀態時的自然發生的Alpha波來做互動，而人是以被動的方式與空間溝通 (如表3-5所示)。表3-5 BCI系統介面操作方式比較表 Krepki et al. (2004) 提出的BCI系統 Leeb et al. (2004) 提出的BCI系統 本研究提出的BCI系統

腦波種類 EEG EEG EEG

訓練 (training) 是是否應用環境電腦遊戲介面 VR 實體空間人在放鬆時或感到勞累或疲倦時，Alpha波會出現，藉由Alpha波控制想像右手移動、想像腳移動想像右手移動、想像腳移動如何操作主要對象一般人、殘障一般人一般人互動方式主動主動被動電極點位置 All C1、C4 C4 特色用大腦意志玩遊戲如：走迷宮、電腦賽車遊戲等藉由腦中動態的想像去操控虛擬空間 (向前走、向右走) 空間會主動感知人的狀態，並自動調節環境給予人適當的回饋因此，為了實現BCI在實體建築空間中的可能性，本研究運用了Leeb et al. (2004)所提出的BCI系統架構，並將此系統做些微的調整應用至實體的空間環境中。圖2-10 Leeb et al. (2004)所提的系統模型中，我們將 VR系統的部分修正為本研究所提的實體環境控制，在將BCI介面與實體環境結合以達到可以藉由腦波與空

腦波介面在智慧型空間的應用：以提出一個感知人的智慧型空間為例