iCare:社群化智慧型居家照護─子計畫三：多代理人式行為追蹤與主動控制系統研究(1/3)

行政院國家科學委員會專題研究計畫 期中進度報告

子計畫三：多代理人式行為追蹤與主動控制系統研究(1/3)

計畫類別： 整合型計畫 計畫編號： NSC93-2218-E-002-148- 執行期間： 93 年 10 月 01 日至 94 年 09 月 30 日 執行單位： 國立臺灣大學資訊工程學系暨研究所 計畫主持人： 許永真 共同主持人： 洪一平 報告類型： 精簡報告 處理方式： 本計畫可公開查詢

中 華 民 國 94 年 9 月 26 日

行政院國家科學委員會補助專題研究計畫 成果報告

多代理人式行為追蹤與主動控制系統研究

計畫類別：

個別型計畫

計畫編號：

NSC-93-2218-E-002-148

執行期間：93 年 9 月 1 日至 94 年 7 月 31 日

計畫主持人：許永真

共同主持人： 洪一平

計畫參與人員：紀婉容、楊智淵、郭玄昇、黃鼎翔、林琦耀、柯

嘉南、李榮哲、鄭紹佑、林友宣、盧柏均

成果報告類型(依經費核定清單規定繳交)：精簡報告

本成果報告包括以下應繳交之附件：

□ 赴國外出差或研習心得報告一份

□ 赴大陸地區出差或研習心得報告一份

□ 出席國際學術會議心得報告及發表之論文各一份

□ 國際合作研究計畫國外研究報告書一份

處理方式：本計畫可公開查詢

執行單位：國立臺灣大學資訊工程學系暨研究所

中 華 民 國 94 年 7 月 31 日

行政院國家科學委員會補助專題研究計畫成果報告

多代理人式行為追蹤與主動控制系統研究

iCare Multi-agent Activity Tracking and Proactive Control

計畫編號：

NSC-93-2218-E-002-148

執行期間：93 年 9 月 1 日至 94 年 7 月 31 日

計畫主持人：許永真 國立臺灣大學資訊工程學系暨研究所 共同主持人：洪一平 國立臺灣大學網路與多媒體研究所 計畫參與人員：紀婉容、楊智淵、郭玄昇、黃鼎翔、林琦耀、柯嘉南、李榮哲、 鄭紹佑、林友宣、盧柏均 一、中英文摘要 中文摘要 隨著科技的進步，人類的生活和健康受到逐漸增加的照顧與保障。平均壽命 的提高，使得人口老化成為一個世界各國均不可避免的的未來趨勢。年齡層老化 的比例會逐漸增加，家庭照顧和住院醫療也將消耗大量的人力及資源。如何發展 人性化的技術以協助老人的日常生活與確保其居家安全，即是個重要研究課題。 本計畫結合可穿戴式的無線射頻感應器和無線網路定位系統，來觀察追蹤個 人於智慧型空間中的活動。我們藉由持續紀錄老人日常生活中的位置以及他所接 觸到的日常物品兩樣環境因子，以建立老人日常生活的行為模型。然後，我們採 用智慧型資料分析與自動推理規劃技術，有效的計算推論出老人的行為，並追蹤 辨識重要或特殊事件。利用個人接觸物品之間的互動關係所建立的行為模型，可 以幫助人們減少記憶瑣碎事物的需求。例如，張老先生在廚房煮完東西後，瓦斯 爐有沒有關起來？又如，李老太太將衣服送入洗衣機後，是否記得轉放入烘乾 機？送出去乾洗的衣物是否記得取回？爺爺今天的降血壓藥吃過了沒？這許多 日常生活的瑣事，都需要依賴人腦的記憶，所以常常被忽略而產生錯誤的結果。 我們所設計的智慧型多代理人系統採無線網路追蹤老人的室內位置，同時採 可穿戴式無線射頻感應器來辨識老人所接觸的物件，可以彌補老人記憶的不足， 提供適時的提醒，發現不尋常的行為，或是警告環境的不安全性。利用行為模型 來幫助監督和提醒，可以輔助老人居家看護，以節省社會的資源成本。本計畫第 一年的成果包括行為模型的建立，感測器的資料處理與辨識，以及初步的行為辨 識方法。未來將開發更完整的行為模型與辨識程序，提高動作辨識的準確度。 關鍵字：動作識別，物件追蹤，位置追蹤

Abstract

With the advances in modern medicine and technology, human life expectancy has increased significantly during the last century. Issues associated with the aging population, e.g. high medical costs and lack of companionship, have become critical in nearly every country around the world. Exploring advances in information, sensor, and control technology to create solutions for “successful aging in place” has attracted much attention. This integrated project aims to provide community-supported intelligent home care in a non-intrusive, open, but sensor-rich environment. In particular, this sub-project aims to design the mechanism for tracking significant activities and taking appropriate actions to ensure the comfort and safety of the elderly under our care.

By monitoring the person-object interactions and tracking people’s indoor locations, we can recognize the elder’s activities of daily living and infer high-level safety-related activity context. For example, Aaron turns on a stove in the kitchen (touching the stove knob and a pot) and then walks away for a long time (he may forget to turn off the stove); Barbara opens a window in the morning and later leaves home for an afternoon tea with a friend (she may be in a risk of burglary); Grandpa has a hard time trying to recall if he had taken the medication for controlling his blood pressure. Many seemingly insignificant yet important details in our lives depend heavily on a healthy memory. A simple oversight may result in disastrous consequences.

The proposed intelligent reminder system deploys wearable RFID readers (embedded in a glove or a watch) to identify tagged objects that have come in contact with an elder. Meanwhile, a PDA equipped with wireless LAN can track his/her indoor location. We model each elder’s activities of daily living (ADLs) based on the context information gleaned from collected sensor data. By utilizing intelligent data analysis and automated reasoning techniques, the system is able to identify unusual and potentially dangerous situations.

In this project, we have designed a multi-agent system framework to support activity tracking and proactive control, defined an event-based activity model, and experimented with RFID sensors as well as Wi-Fi location system. Initial results have demonstrated the feasibility of the proposed approach. In a small-scale experiment, the system succeeded in recognizing a small number of activities with 60~100% accuracy. In addition to improve sensing accuracy, we plan to enhance the proposed activity model and probabilistic reasoning methods in order to increase the efficiency and effectiveness of activity tracking.

二、前言 現代的醫學不斷進步，使得人類的壽命不斷增加，所以未來人口老化將是不 可避免的的趨勢。由於獨居老人比例逐漸增加，所以花費在家庭照顧和住院的費 用也日益增長，因此利用目前的高科技資訊、感測器、與控制技術來整合適合於 銀髮族的照護平台，讓這個平台可以提供居家的生活輔助以及促進心理的健康。 此智慧平台主要是能夠發覺老人的需求進而主動提供及時適當的身心輔助。我們 可以藉由老人與日常物品之間的互動，採用智慧型資料分析與自動推鋰規劃技 術，以有效的計算方法推論出老人的行為，以追蹤日常生活的行為並辨識重要特 殊事件。 其中我們所感興趣的是，如何利用人和物件之間的互動，利用我們從這個人 的日常生活習慣所學習出來的動作，像是煮飯，泡茶，刷牙，燒開水，洗衣服， 講電話，看電視等等日常動作。藉著學習而產生出來的模型，可以用來預知這個 人的動作行為，幫助輔助人的記憶，提醒是否有遺漏某樣事件的發生。這樣的智 慧型系統對現今資訊爆炸的時代而言，有其存在性的必要性。人的大腦已經不足 夠容納一天之中所接收的所有資訊，如何可以幫助減少人腦中記憶量的負擔，就 是以智慧型的裝置，適時的提醒使用者什麼時候應該做什麼事情，什麼事情因為 外務中斷而沒有完成，什麼事情是未來要做的。智慧型的裝置應該可以得知過 去、現在、未來的時間內，有哪些事情已經發生過，哪些事情正在發生，和那些 事情未來會發生。所以，我們所感興趣的是，如何藉由學習人在平日所從事的行 為，推論出這個人從事了哪些動作，這是相當有趣的題目。 目前，已經有許多人開始從事這方面的研究，有一方面的研究是著重於幫助 人類記憶的輔助系統。像是提醒你出門要帶哪些東西，例如，上班出門時，要帶 哪些東西，外出吃午餐時又要記得帶哪些東西。總之出門時，絕對不能忘了一定 要帶鑰匙等一些重要的物品。另外一類的研究方向，則是偏重於動作辨識的領 域。這一方面的研究，有的是使用影像處理的方式，利用影像捕捉人正在從事的 動作，抓取人的骨架，判斷現在正在從事的活動，但是這種方式，只能判別比較 淺的活動意義，像是這個人是坐著還是站著，是在跑步還是在走路，還是需要配 合其他的感應裝置來輔助才可能知道比較深入的活動意義。另外一種是利用語音 的方式來辨別人的行為，像是可以辨認出現在是誰在講話，當時的環境是安靜的 還是吵鬧的，我們的使用者現在的情緒是穩定的還是焦慮不安的，但是這種方式 如果一旦環境失去了聲音，便沒有資料可以判斷，因為我們大部分從事活動時， 並不是總會發出聲音。 觀察了許多類似的領域研究方法，我們覺得人跟日常物品的接觸的行為，是 最實際，也是最具有意義的一種資料型態。因為人和物件本身，人會和此物件接 觸，代表著他想跟這個物品有所互動，會想要有所互動，當然就是想要從事某項 行為。這樣的動機，是非常合理的。除此之外，有一項我們仍然要考慮的因素是， 一個行為，並不能由單一接觸的物品就能決定，像是你拿起身旁的杯子，並不代

表你就是想喝水，在你還沒有碰到飲水機之前，你可能只是要將你桌上的杯子歸 回到廚房而已。所以我們將物件的集合加入成為考慮的範圍，除此之外，物件的 接觸順序，物件的碰觸次數，物件的所在地點，都是我們考慮的條件。如何推論 出人所正在從事的行為，是我們在這一篇論文中所要探討的主要問題。 接下來，我們會介紹目前我們的智慧型裝置所發展的型態，使用了哪些裝 置，以及為什麼使用這樣的裝置的原因。而在研究方法的部分我會介紹我們系統 的運作方式，有哪些元件，而這些元件存在的原因以及它們所負責的工作。接著 在結果與討論的部分則是我們的實驗結果，我們會針對實驗的結果分析並探討產 生的原因以及所面臨到的問題。文獻探討是我們整理目前同樣是動作辨識這個領 域的一些相關研究，最後會提到我們對計劃成果的自評。 三、研究目的 我們可以由人和這些日常物品之間的互動，推論出人的行為。我們利用這些 日常生活所接觸到的物品，將一個人的日常生活習慣學習起來，建立成模型。這 些模型可以幫助人們減少記憶瑣碎的事情。例如，當你在家煮完東西，瓦斯爐有 沒有關起來，或是，你是不是把衣服丟在洗衣機，卻忘了去拿回來，而拿去烘乾 之後，是不是又忘了拿回來。這些日常生活的瑣事，都需要人的大腦去記憶，但 是卻又常常被丟在一旁。這樣的模型，可以輔助人的記憶，甚至可以提醒一些訊 息，幫助記憶力不好的老人。除此之外，人的一些不正常的行為或是人和物品互 動後所造成環境的不安全性，都可以藉由這樣的模型來幫助人監督和提醒。 四、文獻探討 由於現代的生活步調緊湊，人們的工作內容與負擔日益增加，每天所要處理 的事物至少可能十幾種，多可能至百種以上。聰明的我們早已經學會利用輔助工 具來管理每天不同的例行公事與工作排程，例如：辦公室工作者每天都會用到的 3M 便利貼，或者是在記事本上詳細寫下每件待辦事項，利用這些工具，可以幫 助我們記憶下一件該做的事、該帶的東西。當所要處理的事情愈來愈多，也愈來 愈複雜後，利用電腦科技的幫助，來輔助記憶和幫助管理雜事的例子也就愈來愈 多，例如：PDA 上的個人化資訊管理（personal information manager）、行事曆軟 體（e.g. Outlook）。 近來，我們將進入普及運算（pervasive computing）的世代，其中的一大改 變將是，我們可以善用環境中所能擷取的情境因子（context），讓所謂的環境感 知系統（context-aware system）擁有更多的功能與智慧，能對使用者提供適時適 地的資訊與協助。CybreMinder[2]提供了此類型記憶輔助系統的一個雛形，利用 環境中的context 讓提示訊息可以在合適的時間、地點、情況下被送到指定的使 用者端，而訊息傳遞的途徑有很多種，可以透過語音、電子郵件、顯示螢幕…等。 對系統來說，context 可以是人、地點、時間、活動、裝置…等，CybreMinder 將

依據使用者情況決定那個是最適合的方式來傳達提示訊息。類似的主意，另一個 計畫Gate Reminder[12]也是希望藉由未來的智慧屋（smart home）中不同介面和 不同的方式來提醒家中成員該帶的東西，如同計畫的名稱，在家中玄關的位置會 擺放一個大型的RFID 讀取器，人和物品都貼上被動式的 RFID Tag。Gate Reminder 則會即時地讀取進出的人和物品，比對是那個家裡成員要出去？他今 天的行程是什麼？他該攜帶的物品有哪些？哪些還沒帶的？系統會依據適合的 context 來給予提示訊息，在這個計畫中，研究者有訂出幾個設計的原則和做一 些使用研究（user study）。 另一種記憶輔助系統的應用是作為認知工具，用來幫助老年人或失憶症的病 患，Autominder [8]就是這樣的一個系統，提醒病患他的下一個行動，幫助他們 維持日常生活的活動機能，像吃飯、刷牙、吃藥和上廁所這類的行為，Autominder 靠建立病患的動作模型（activity model）來提供行為規劃（planning）的依據， 也可以很有彈性地任意加入或修改規劃中的動作，以滿足現實的狀況發生，這樣 的軟體系統已經嘗試在看護機器人（nurse robot）上實做並測試效果。 普及運算的興起另一方面也代表了硬體科技的進步，例如：穿戴式電腦（wearable computer）和感知器（sensor），近年來這方面的硬體技術可以做到夠小又具有足 夠的運算能力，足以讓我們輕易地佈建於系統中，對於環境中各式資料的收集已 不再是個難題，其中一個很有發展潛力的議題是做人的行為（human activity）辨 識與推論，但要收集什麼資料來辨識行為呢？一種可能的作法是利用物品跟人的 互動（person-object interaction）關係來達成，利用一個穿戴式的裝置來收集此類 型的資料。近來，越來越多的研究者發現可以利用RFID 科技達成對人或物件的 辨識，更進一步，就可以對辨認出的物件做追蹤。此種概念主要是來自於利用資 訊系統去捕捉人跟真實世界之間的互動[11]。而學者 Schmidt[3]則提出利用穿戴 式RFID 讀取器來捕捉物件資訊，因為這是很明顯可見的一種互動方式，對於人 機介面（human-computer interface）的研究來說是很重要的資訊來源。而另一位 學者Pederson[13]則設計了一個戴在手指上的類似裝置，也是利用 RFID 技術。 他利用此裝置來追蹤一般辦公室工作者的動作，實驗環境則是建置在辦公室中， 和前面系統的不同之處是，Pederson 也考慮了地點資訊（location context），但是 能感應到的距離只侷限在辦公室中。

Intel 的 Guide 計畫則設計了叫做 iGlove[9][10]的 RFID 讀取手套，同時具備 無線傳輸的能力，他們成功利用這樣的手套在一連串的物件觸摸序列下辨識出不 同類別的動作，然而，他們的系統還未使用地點的資訊來加強動作辨識的準確 度。在應用的層級上，和本計畫最相近的一個研究成果是由學者Borriello 等人 在2004 年提出的[5]，他們也打算利用系統來提醒使用者忘記攜帶的物品，藉由 裝在門口的長距離RFID 讀取器，使用者端則配置一台個人伺服器（personal server），提示系統就裝在這台個人伺服器上，當使用者走過門口，它可以接收讀 取到的物件清單，並和個人資料做比對。系統藉由個人行事曆和使用者攜帶的物 件來預測使用者的目的地，提示訊息的發出是由規則推論產生的。他們在最後也

強調，利用Wi-Fi 訊號來輔助定位是他們下一步要實驗的，為了得到確切且實際 的使用者地點資訊。 五、研究方法 在這個章節中，我們會介紹如何應用RFID 技術來完成物件的追蹤，並且利 用無線網路定位系統技術來追蹤使用者的位置。 在我們的物件追蹤裝置系統中，我們在家庭中每天會接觸到的物品，像是牙 刷，牙膏，梳子，杯子，手機，手錶，錢包等等物品，在最常被人所接觸到的部 位貼上RFID 標籤。而我們將 RFID 感應器安裝在可戴式的手套上。利用人手上 的感應器，接觸到貼有標籤的物品，便可以將人在日常生活中所碰觸到的物品紀 錄下來。相較於其他的感應器，如加速度計，或移動感應器，被動式RFID 具有 快速讀取以及低價位的優勢，可以讓我們在環境中佈上許多標籤，而不用擔心花 費太高。這是我們使用被動式RFID 的主要因素，未來 RFID 的快速成長，將各 種物品裝設特定的ID，將會提升我們達成效率化的管理，新型態的應用軟體也 會逐漸誕生。圖1 是我們目前的實驗裝置以及實驗狀況。 圖 1 實驗裝置與環境 無線網路訊號定位系統我們採用Ekahau 公司的無線網路定位系統。這套系 統的方便處在於使用者身上並不需要攜帶繁雜或是過重的定位裝置，而只要在身 上有一個安裝Ekahau 客戶端軟體的 PDA。這樣，Ekahau 服務端就會透過環境中 的網路橋接器，經由橋接器所接收到使用者身上PDA 裝置的無線訊號，就可以 計算出目前使用者所在的位置，並將位置資訊傳回給使用者。除了攜帶方便之 外，Ekahau 管理程式僅花費小小的處理器能力以及一點點的頻寬，並不會對系 統造成阻塞的影響。無線網路的定位系統可以應用在輔助追蹤居家看護，工業製 造以及其他生產企業等等方面。當然無線網路定位方式也有很多缺點，像是容易 受到週遭人事物的影響，造成訊號的不穩定等等。我們將Ekahau 當成基本的輸 入裝置，並經由更精密的計算方式取得正確的位置資訊。 我們對外使用了兩種類型的追蹤方法來捕捉人所接觸的物品和人當時所在 的位置。一個是RFID 標籤和感應器，用來追蹤物品。另一個則是透過無線網路

環境取得無線訊號來追蹤人的位置。我們結合物件和地點的資訊，將這些資訊交 給代理人來處理整合，以便取得更正確的資訊來幫助使用者。我們的系統從圖2 可以知道，是以多重代理人為基準的架構，並且配備可穿戴式RFID 感應器以及 安裝有無線網路程式的個人化裝置系統。圖2 中可看見物件追蹤代理人(Object Tracker Agent)，位置追蹤代理人(Location Tracker Agent)和服務提供代理人 (Service Agent)。另外我們制定了這三個代理人之間通信與資料傳送所需遵守的 規則。下面會介紹這些代理人所執行的工作。 圖 2 系統架構 其中在物件追蹤代理人追蹤物件這個部分，我們會從人手上所穿戴的RFID 感應器讀取到人所接觸的物品。而物品本身貼有RFID 的標籤。感應器會讀取到 標籤的識別碼，但是識別碼對人來說是毫無意義的，人所要知道的是，他們接觸 過的是什麼東西。我們的系統會透過一個物件追蹤代理人來執行。它的功能主要 是將標籤上的識別碼對應到它自己的知識庫中。在它的知識庫中，物件追蹤代理 人可以理解這個標籤所代表的意義，除了這個名詞之外，還可以了解這個物品有 什麼功能，可以用來做什麼事情。舉個例子來說，一個貼有RFID 標籤的電話， 當RFID 感應器讀取到物件上的標籤，並將標籤上的識別碼傳給物件追蹤代理人 時，它會從它的知識庫中找到這樣物品就是電話，而電話是屬於電子儀器裝置， 並且具有溝通資訊的功能。 在動作識別這個部分，動作追蹤代理人除了可以辨識出物品之外，它還有一 個”行為識別庫”。這個行為識別庫裡面包含許多行為的模型。而這些行為的模型 (activity model)，是從使用者過去所做的動作，其中包含使用者所接觸過的物品， 以及當時的地點，等等資訊學習而來的。原理很簡單，舉例來說，通常一個人在 做某種事情時，手接觸到物品的順序經常有一定的規則性。比如，當你泡茶時， 如果你使用的是熱水瓶，以一個人的習慣來說，你會先確定熱水瓶中是否有熱 水。之後便先將熱水倒進茶壺中，接著再將茶葉放入到茶壺之中，過一段時間， 你會將茶壺內的茶倒到茶杯去。當然以不同人的習慣，會有不一樣的碰觸順序，

像是先將茶葉放進茶壺，再倒入熱水。抑或當家中沒有熱水瓶，第一個步驟就必 須是煮開水，所以會碰觸到瓦斯爐。我們的個人化行為模型，關鍵就在家中可利 用的物品種類以及個人行為習慣來決定。

我們將個人從事某樣行為所接觸到物品的順序性建成樹狀模型結構，參考了 LeZi-Update[1]，以及 Active LeZi[7]的方式建立。利用這個模型結構，我們可以 推論目前環境中的人，正在從事什麼行為，而這個行為目前已經進行到哪邊，或 是這些行為有沒有完成，若沒有完成會造成什麼樣的危險。舉例來說，當媽媽正 在煮飯時，若此時朋友打電話過來，而媽媽接到電話之後，聊的很起勁，忘記了 正在煮飯，而瓦斯爐一直開著，這樣很可能稍有不慎，就會釀成火災。同理，燙 衣服時，若使用熨斗不小心或未完成關電源的動作，這些物品都有可能造成危險。 整體而言，我們的物件追蹤代理人除了可以辨認出物品本身的意義之外，它 還會依照這些物品所被接觸的順序，進而推論出目前使用者所從事的行為。而行 為這項資訊，會在個人化服務被要求時，主動提供給我們的服務提供代理人，當 成環境因子的一部分。 在位置追蹤代理人位置追蹤這個部分，我們透過位置追縱代理人，可以用來 尋找某個裝置在特定時間的位置。位置追縱代理人主要由Ekahau Positioning Engine 2.1 (EPE) 和 Particle Filter 所構成，在此我們會先描述 EPE，之後再第四 章的實驗部分，我們會說明Particle Filter 這項技術來改進我們所接到位置的精準 度。

Ekahau Positioning Engine – EPE 是一套以無線網路技術為應用的室內定位 系統。由於目前無線網路越來越普及，在一般的辦公大樓、學校、公共場所幾乎 都已經佈上無線網路的存取點，EPE 就是利用各個裝置上的無線網路卡所接受到 的各個無線網路存取點的訊號強度來定位。一開始我們必需先蒐集環境上某些位 置無線網路卡所能取得各個無線網路存取點的訊號強度，以此建立起一個虛擬的 訊號強度地圖(見圖 3)。我們以台灣大學資訊工程的系館三樓做實驗。另外，每 個想要被追縱的裝置 (個人數位助理、筆記型電腦)，必須 要裝上 EPE 的客戶端 軟體。EPE 的客戶端軟體是用來把被追縱裝置所取得的訊號強度回傳給 EPE 的 伺服器端做處理。EPE 的伺服器端會依據先前建立的訊號強度地圖去計算回傳資 料的裝置目前的位置是在地圖上的哪個地方。EPE 的系統是以 Java 語言寫成的， 我們利用EPE 提供的一組 API 去求得被追縱裝置的位置。在此，EPE 回傳的是 地圖上的座標。 所以，位置追縱代理人在啟動後會自主性的記錄裝置所在的位置。位置追縱 代理人會先將座標轉成我們需要的區域，所謂的區域是指房間、樓梯、實驗室、 走廊等地方。代理人會依據自己所擁有的資訊將被追縱的裝置所在的座標轉換成 所在的區域，並且在裝置離開原先的區域，進入另一個區域時將此資訊記錄起 來。若有其他的服務代理人來尋問位置追縱代理人某個被追縱的裝置在某個特定 時間是處於哪個區域，位置追縱代理人就可以很快的答覆裝置的位置資訊。而這 項資訊也會在個人化服務被啟動時，當成一個環境因子，由服務提供代理人向位

置追蹤代理人詢問。 圖 3 定位實驗環境地圖 服務提供代理人可以提供使用者所需要的服務。我們的服務著重在日常生活 上比較實際的問題上面，首先，我們透過服務提供代理人，並且結合物件追蹤代 理人和位置追蹤代理人的資料，經過服務提供代理人的推理和判斷，根據當時的 環境因子，做出能夠輔助或幫忙使用者的一些服務。 首先，我們將服務分為三種類型，第一種是比較簡單的物件和位置的對應， 也就是物件定位服務(Object Locate Service)。簡單來說，在現今忙碌的生活，我 們往往會將手邊的東西隨便一擺，就去做另一件事情，但是當我們回頭要找這樣 東西的時候，卻會忘記放在哪裡，通常都是翻箱倒櫃，甚至花了很多的時間去一 間房間一間房間的找，這是很令人厭煩的事情，但卻總是在我們的日常生活中不 斷發生。第一類的服務很簡單，原理也容易理解。首先，我們知道我們曾經碰過 這個物品，如果我們能夠找到我們最後碰觸這個物品的時間和地點，相對的，那 個物品在那個地點出現的機會也會相當的大。所以第一類的服務，我們的服務提 供代理人會將使用者所想要找的物品向物件追蹤代理人詢問，物件追蹤代理人會 知道這個物品最後出現在它資料庫最後的時間，接著將這個時間傳遞給位置追蹤 代理人，接著位置追蹤代理人會從它的資料庫找出那個時間點，使用者當時的位 置在哪，最後將這個位置傳給服務提供代理人，回覆給使用者。透過這樣的機制 (見圖 4)，使用者可以很快的找回當初亂放的物品位置，也不必再浪費過多的時 間在找尋物品上。

圖 4 物件定位服務 第二類的服務類型是記憶輔助式的。所謂的輔助類型，就是當使用者在進行 某種行為的時候，系統可以自動的告知使用者接下來應該要從事的步驟或行為。 舉例來說，隨著人口的老年化[4]，家中有越來越多的老人，而老人最容易有的 毛病就是老人痴呆的症狀。有健忘症的老人通常都不容易獨立完成一些日常生活 中的活動。像是去洗手間洗手時，要先抹肥皂再沖水。或是穿鞋子之前要先穿襪 子。因為他們不能夠將這些動作的順序記好，所以我們的服務機制會在物件追蹤 代理人推測出使用者的行為之後，提供相對應的提示訊息，來協助使用者記憶。 這類型的服務，我們稱作記憶輔助服務(Memory Assist Service)，系統機制可見圖 5。當物件追蹤代理人從使用者所接觸到的物品順序，推論出使用者可能在從事 某項動作之後，再呼叫服務提供代理人，針對系統所推論出來的動作，找出相對 應的服務。例如在出門前，系統會偵測到外出這個動作，進而提醒使用者不要忘 了帶鑰匙。而出門這個動作對應到帶鑰匙這個服務，可以視為一個簡單的記憶輔 助服務範例，這對記憶力不好的老年人會有相當大的幫助。

圖 5 記憶輔助服務 第三類服務是屬於未來行程的規劃與提醒。針對時間點而言，這項服務是針 對未來會發生的事件，在適當的時間會提出相關的訊息來幫助使用者[12]。舉例 來說，有一天，阿明在家中和小美講電話，他們相約後天要一起去吃晚餐，而小 美想順便向阿明借一部電影DVD，希望阿明可以後天吃晚餐的時候帶過去。講 完電話之後，阿明還記的這個事件，於是便在服務提供代理人所提供的第三類服 務上，填入後天的日期，和要帶的DVD，因為阿明可不想讓小美有不好的印象。 後天到了，阿明忽然想到今天晚上有跟小美的聚餐，於是趕緊整裝打扮之後，照 著鏡子，只想讓自己有完美的型態出現在小美面前。當然，要帶的DVD 已經完 全拋在腦後了。而我們所提供的服務，便是針對這樣的狀況。我們會在阿明要出 門前(碰觸門把)，提醒阿明記得要帶 DVD 去赴約。完全忘記這回事的阿明一收 到通知，便匆匆忙忙的跑回到房間找出DVD，阿明對這個服務非常的滿意。系 統的運作機制很簡單，我們多加了一個時間的環境因子，阿明將日期和物件輸入 給服務提供代理人後，它便會幫你留意監督時間的到來，一旦時間接近後，物件 追蹤代理人判斷出你即將離開屋子，便會通知服務提供代理人，再告知你出門前 所需要帶走的物品以及物品目前所在的位置，以免浪費尋找的時間而錯過約會的 時間。 六、結果與討論 在實驗部分，首先我們蒐集使用者在日常生活中所接觸到的物件順序以及當 時位置發生的地點，將這些資料建立成有結構的模型，利用這個模型基礎，可以 當成日後我們判斷使用者所從事的行為依據。 在動作判別的實驗中，我們會依照使用者的習慣建立出四個動作模型，表1 為我們所要偵測的目標動作。建立出模型之後，我們從使用者在實驗環境中所得

到的一連串物件順序，讓物件追蹤代理人判斷出使用者所從事的行為。 表 1 定義目標動作 動作 相關地點 茶 奶精、糖、杯子 廚房 洗碗 碗精、抹布、 廚房 泡咖啡 咖啡壺、水龍頭、咖啡機、咖啡罐 客廳 泡茶 房間 我們讓使用者將表1 上面所描述的這四種動作，各做十次。將這十次的資料 輸入成為我們的資料庫學習內容。利用資料庫內的資料，在系統上建立這四種動 作的模型，將之 成一組動作識 讓使用者從事 串未知的動作， 到相關的物件 點，利用這兩個因素，去判別 使用者的行為，表2 是我們的實驗數據。 8 66% 洗碗 10 8 80% 泡咖 茶2 10 10 100% 由上表可以看出我們動作判別準確度的高低。其中比較值得注意的是泡茶這 個動作。泡茶1 是必須先燒開水再泡 而泡茶2 是利用熱水瓶後就可以直接泡 茶，因為兩個泡茶動作所接觸到的物件大部分相同，且動作順序也差不多 所以 泡茶1 的部分稍微不準，因為有時候會判別為泡茶 2，這是很正常的現象，表 2 是不含位置的資訊 ，那從表1 可以知道， 知 道在進行泡茶時， 置是在廚房的話，那判別為泡茶1 的機率會提高，若是在房 間的話，則判別為泡茶2 的機率會比較高。另外一個影響判別準確度的是機率門 檻的設定，每個行為的判別門檻都不太一樣。設置機率門檻的意義，主要是用來 推測目前這個使用者所從事的動作，會是動作識別庫中所定義的動作，這項可能 性會有多大。機率越高，代表會是這項動作的機會越大， 我們設置門檻的 因， 相關物件 水壺、爐子、水龍頭、茶壺、、茶包、 洗 海綿、洗碗機 熱水瓶、茶壺、茶包、奶精、糖、杯子 歸內 而得 別庫。模型建立之後，我們 順序以及相關地 一連 表 2 動作辨識實驗數據(不加位置資訊) 動作 實際次 數 辨識次 數 準確度 泡茶1 27 1 啡 10 8 80% 泡 茶， ， 我們 ，但是如果我們加上位置的資訊 位 而 原

就是希望只要機率到達某個門檻時， 以提早辨識出 樣的動作，這樣可以提 早協助使用者從事相關行為所需要的幫助。如果不要求的話，其實這個部分也可 以都調整成一樣的數據，只是辨識出的準確度會有點下降。 我們從實驗中知道，若直接由無線網路卡接收到無線網路存取點的訊號強度 來判斷裝置的位置是有風險的。由於我們所在的環境是時時刻刻在變動的 在同 一個地方無線網路訊號的強度有可能會因為週遭環境的改變，如人群、氣候等因 素，使得訊號強度産生不穩定的狀態，此時所得到的裝置位置就會飄動、不準確。 為了解決訊號不穩定的問題，我們加上了一個移動模組，Particle Filter，使移動 的位 eoretic approach to track

nce in the force: Long-range detection of interactions with RFID-tagged objects,” Proc. of Sixth

nference on Ubiquitous Computing (UbiComp 2004), 2004, pp 268–282. 就可 這 ， 置更加合理。我們的作法是(1)一開始在我們的二維地圖上隨機撒上特定個 數的粒子。然後(2)根據 EPE 的 API 所得到的資訊以高斯分佈去計算地圖上撒上 去的粒子的機率是多少，對這些粒子的機率做常態化。(3)取出機率大於門檻的 粒子，以這些粒子的重心位置當作被追縱裝置的位置。(4) 以這些機率大於門檻 的粒子當作産生新粒子的基礎，産生出特定數目的新粒子。在此我們假設一般的 移動不會移動太遠，會小於某個距離內，再依照各個機率大於門檻粒子的機率為 比例，在這些粒子位置的某個範圍內産生特定個數的新粒子。之後每次都重複(2) 到(4)這三個步驟以取得我們所要的裝置座標。加上了這個移動模組的限制後， 可以避免在訊號強度不穩定時所計算出的裝置座標誤差太大。 七、參考文獻

[1] A. Bhattacharya and S.K. Das, “LeZi-update: an information-th

mobile users in PCS networks,” Proc. of the 5th annual ACM/IEEE international conference on Mobile computing and networking, 1999, pp. 1-12.

[2] A.K. Dey and G.D. Abowd, “Cybreminder: A context-aware system for supporting reminders,” Proc. of the 2nd international symposium on Handheld and Ubiquitous Computing (HUC ’00), London, UK, Springer-Verlag , 2000, pp 172–186.

[3] A. Schmidt, H.W. Gellersen and C. Merz, “Enabling implicit human computer interaction – a wearable rfid-tag reader,” Proc. of International Symposium on Wearable Computers (ISWC2000), 2000, pp 193–194.

[4] E.D. Mynatt, I. Essa and W. Rogers, “Increasing the opportunities for aging in place,” Proc. of the 2000 conference on Universal Usability, 2000, pp. 65-71.

[5] G.. Borriello, W. Brunette, M. Hall, C. Hartung and C. Tangney, “Reminding about tagged objects using passive rfids,” Proc. of the 6th Ubiquitous Computing

International Conference, Springer, 2004, pp 36–53.

[6] K. Fishkin, B. Jiang, M. Philipose, and S. Roy,“ I sense a disturba

International Co

Algorithm for Sequential Prediction," International Journal of Artificial Intelligence Tools, Vol. 14, 2004, pp 1-2.

[8] M.E. Pollack, L. Brown, D. Colbry, C.E. McCarthy, C. Orosz, B. Peintner, S.Ramakrishnan and I. Tsamardinos, “Autominder: An intelligent cognitive orthotic system for people with memory impairment,” Robotics and Autonomous Systems, Vol.

z, ification and statistical

in 77. im, M.C. Kim, S.H. Park, Y.K. Jin and W.S. Choi, “Gate reminder: A

ctive

: A simple object location tracking system enabling the

Received Signal Strength Indication,” PerCom 2005, 2005, 44, 2003, pp 273–282.

[9] M. Philipose, K.P. Fishkin, D. Fox, H. Kautz, D. Patterson and M. Perkowit “Guide: Towards understanding daily life via auto-ident

analysis, ”Proc. of the 2nd International Workshop on Ubiquitous Computing for Pervasive Healthcare Applications, 2003.

[10] M. Philipose, K.P. Fishkin, M. Perkowitz, D.J. Patterson, D. Fox, H. Kautz and D. Hhnel, “Inferring activities from interactions with objects,” IEEE Pervasive

Computing, Vol. 3, 2004, pp 50–57.

[11] R. Want, K.P. Fishkin, A. Gujar and B.L. Harrison, “Bridging physical and virtual worlds with electronic tags,” Proc. of the SIGCHI conference on Human factors computing systems (CHI ’99), ACM Press, New York, NY, USA, 1999, pp 370–3 [12] S.W. K

design case of a smart reminder,” Proc. of the conference on Designing intera systems (DIS ’04), New York, NY, USA, ACM Press, 2004, pp 81–90. [13] T. Pederson, “Magic touch

development of physical-virtual artefacts in office environments,” Personal and Ubiquitous Computing, Vol. 5, 2001, pp 54–57.

[14] V. Seshadri, “A Bayesian Sampling Approach to In-Door Localization of Wireless Devices Using

八、計劃成果自評 目前，我們的系統是結合可穿戴式的無線射頻感應器和無線定位系統，針對 所接觸的物件和使用者所在的位置，將這兩樣環境因子結合在一起，產生相輔相 成的功能，來提高動作辨識的準確度。未來我們會在RFID 感應器的外部加上額 外的天線，提供距離比較大的感應範圍，這樣就不會造成感應失敗的問題。除了 著重在提升感應器的感應能力之外，並會將感應器的外型變的更適合使用者穿 戴，而不會有突兀的外觀感覺。 而在動作識別這個部分，因為必須要使用者先定義出一些日常生活中有意義 的動作，這個部分也許會困擾到使用者，但是未來我們會將這些動作配合上個人 化服務，以讓使用者可以很自然的從個人服務想到對應的動作。像是外出前，在 穿鞋子時，會提醒你要記得帶鑰匙，或是當你使用電腦超過太長的時間，它會提 醒你該起來做做運動，或是在你牙膏快沒了的時候，提醒你記得提早去買一條， 以免隔天早上沒牙膏刷牙。未來可以再加上時間間隔的因素，針對某一項動作所 必須花費的平均時間，將之附加在動作辨識庫裡面，以讓動作的辨識率更加提高。 另外一方面，就是無線定位裝置的準確度，因為無線技術定位最大的缺點就 是容易受到環境裡，人、事、物的影響，而造成位置的精準度不準，至於位置的 精確度，我們希望可以定義出使用者在環境中確切的位置，像是在研討室340 裡第二排桌子的第三個位置，而不是指單單定義出在研討室340。目前我們除了 應用一些演算法來輔助我們的定位系統之外，往後還會加上其他輔助的定位裝 置，以讓系統能夠產生更精準的位置點。未來針對個人化服務的這個部分，我們 希望可以從更多使用者身上得到更多的回饋，以針對這個系統的優缺點加以改 進。

可供推廣之研發成果資料表

□ 可申請專利

國科會補助計畫

學門領域：資訊學門 ; 可技術移轉 日期：94 年 7 月 31 日 計畫名稱：多代理人式行為追蹤與主動控制系統研究 計畫主持人：許永真 計畫編號：NSC-93-2218-E-002-148

技術/創作名稱

多代理人式行為追蹤與主動控制系統研究

發明人/創作人

許永真 中文： 我們採用智慧型資料分析與自動推鋰規劃技術，以有效的計算方法 推論出老人的行為，以追蹤日常生活的行為並辨識重要特殊事件 利用戴在身上的 RFID reader，以及裝在日常生活中的物品上便宜 。 記 外， 又便利的 RFID tag，來進行比較符合人性化的追蹤，並將一個人 的日常生活習慣學習起來，建立成模型。這些模型可以輔助人的 憶，甚至可以提醒一些訊息，幫助記憶力不好的老人。除此之 人的一些不正常的行為或是人和物品互動後所造成環境的不安全 性，都可以藉由這樣的模型來幫助人監督和提醒。

技術

英文：

By attaching cheap, readily available, passive RFID tags

說明

on everyday objects and embedding tiny, mobile RFID readers on a person’s wearable such as a finger-ring or a wrist-watch, the smart environment can unobtrusively monitor human interactions with these RFID-tagged objects in the physical space. By monitoring these person-object interactions and tracking people’s indoor locations, we can infer high-level safety-related activity context, such as a person who turns on a stove in the kitchen (touching the stove knob) and then walks away for a long time (he/she may forget to turn off the stove), a person who opens a window and then leaves home (he/she may be in a risk of burglary), a left-along toddler who holds small items (such as coins, buttons, marbles, beads) and is in high risk of choking on them, etc.

可利用之產業

及

可開發之產品

技術特點

提升居家安全 藉由行為追蹤與主動控制系統有效輔助人的記憶及

推廣及運用的價值

可輔助人的記憶，或是藉由此系統來監督和提醒人和物品互動後所 造成環境的不安全性。 ※ 1.每項研發成果請填寫一式二份，一份隨成果報告送繳本會，一份送 推廣單位（如技術移轉中心）。 ※ 2.本項研發成果若尚未申請專利，請勿揭露可申請專利之主要內容。 ※ 3.本表若 貴單位研發成果 不敷使用，請自行影印使用。