行政院國家科學委員會專題研究計畫 期中進度報告
子計畫四：智慧型看護機器人之監測、規劃與控制(1/3)
計畫類別： 整合型計畫 計畫編號： NSC93-2218-E-009-063- 執行期間： 93 年 10 月 01 日至 94 年 09 月 30 日 執行單位： 國立交通大學電機與控制工程學系(所) 計畫主持人： 宋開泰 計畫參與人員： 蔡奇謚、林鎮源、許晉懷、葉宗憲、鍾鎮謙 報告類型： 精簡報告 處理方式： 本計畫可公開查詢中 華 民 國 94 年 7 月 26 日
行政院國家科學委員會補助專題研究計畫 □ 成 果 報 告
■期中進度報告
數位化居家照護系統研究─子計畫四：
智慧型看護機器人之監測、規劃與控制(1/3)
Monitoring, Planning and Control Techniques
for an Intelligent Homecare Robot (1/3)
計畫類別：□ 個別型計畫 ■ 整合型計畫
計畫編號：NSC－93－2218－E－009－063-
執行期間： 93 年 10 月 1 日至94 年 09 月 30 日
計畫主持人：
宋開泰教授
共同主持人：
計畫參與人員：
蔡奇謚、林鎮源、許晉懷、葉宗憲、鍾鎮謙
成果報告類型(依經費核定清單規定繳交)：■精簡報告 □完整報告
本成果報告包括以下應繳交之附件：
□赴國外出差或研習心得報告一份
□赴大陸地區出差或研習心得報告一份
□出席國際學術會議心得報告及發表之論文各一份
□國際合作研究計畫國外研究報告書一份
處理方式：除產學合作研究計畫、提升產業技術及人才培育研究計畫、列
管計畫及下列情形者外，得立即公開查詢
□涉及專利或其他智慧財產權，□一年□二年後可公開查詢
執行單位：國立交通大學
中 華 民 國 94 年 07 月 25 日
1
行政院國家科學委員會專題研究計畫成果報告
數位化居家照護系統研究─子計畫四：智慧型看護機器人之監測、規劃與控制 Monitoring, Planning and Control Techniques for an Intelligent Homecare Robot
計畫編號：NSC-93-2218-E-009-063- 執行期限：93年10月01日至94年09月30日 主持人：宋開泰教授 國立交通大學電機與控制工程學系 一、中文摘要(關鍵字：遠端遙控、影像追蹤、 視訊處理、智慧型機器人、機器視覺、機器 人人機互動） 本計劃之目的在研究與設計一套具有監 測、看護與輔助等功能之居家看護機器人系 統。運用一移動式智慧型機器人平台，能在 使用者指定的環境下持續並自動執行指令， 且能在不需使用者干預的情況下針對環境的 改變做出適當的動作及回應。看護機器人將 是整個居家看護系統中最接近老人的裝置， 亦具備較為彈性的觀察角度。因此對於老人 的姿態及行為有較準確的資訊，除了行為的 觀察及紀錄外，亦將作為老人行動輔助與導 引之參考。看護機器人之感知與判斷能力將 由聽覺、視覺等各種智慧型裝置協力達成， 本計畫之重點一方面朝向開發一套居家看護 機器人平台，另一方面將發展機器人看護行 為必備之控制、監測、與規劃等關鍵技術， 逐步達成先進、實用之居家看護功能。本計 劃第一年已完成了人體狀態估測系統之姿態 辨識功能、人機介面系統之人臉追蹤功能及 反應與互動控制系統之視覺追蹤功能。所開 發出的技術，經整合後不但可讓機器人隨時 知道被看護者的姿態狀況，也可以使用者進 行視覺人機互動行為。
英 文 摘 要 (Keywords ： Posture estimation, image tracking, video processing, intelligent robots, machine vision, human-robot interaction）
This project aims to develop a human-centered homecare robotic system. The objective is to study advanced motion control and manipulation techniques for autonomous monitoring, interaction and task execution for taking care of elder people in a digital home environment. The robot will have autonomous
navigation capacity and linked to the home server via wireless LAN and share the information with various sensing and communication devices in the environment. This study includes three subsystems: Human-State Estimate System (HSES), Human-Robot Interface System (HRIS), and React-and-Interact System (RAIS). In the first year, we have developed the posture monitoring function of HSES, the human face tracking function of HRIS, and the visual tracking function of RAIS. These developed functions can be integrated not only for monitoring the posture of human, but also for the visual human-robot interaction behaviors. 二.計畫緣由與目的 近幾年來機器人的發展十分蓬勃，爾後 機器人可以輔助人類做各種實用的工作且將 會被引入到家庭中。因此未來機器人被用來 當作家庭看護，解決老年化的問題是指日可 待的事。在日本，目前正在發展擁有智慧型 行為的家用機器人來取代人類做看護，用以 解決老年人看護的問題。舉例來說日本三菱 的機器人牛若丸，就具有看護的功能。它每 天主動叫老人起床，提醒老人吃藥，老人無 聊時就陪老人猜謎語。老人外出，可以借助 牛若丸的無線網路功能方便地查到電車時刻 表和最佳出行路線。超過預定時間若老人沒 有回家，牛若丸就會打電話報警。日本松下 電器產業開發獨居老人護理機器貓 Tama，不 但能夠跟主人談天，還能夠利用電話跟健康 中心聯絡，將醫療資訊傳達給醫生。Wada 及 Shilbata 等人也設計出寵物機器人[1]，這些 機器人對老年人而言就像真實的動物一樣， 所以藉由這個機器人和老年人一起互動，可 增加老年人身心的健康。同時，美國的卡內 基美隆大學、匹茲堡大學及密西根大學也研
2 發出 Pearl 看護機器人，其具備了智慧型記憶 提醒(如吃藥提醒等)、遠距醫療、資料蒐集 及監控、移動式夾取手臂等功能，讓老人獨 居時能得到最好的照顧。另外還有義大利製 的三輪式 Urban 行動看護幫助系統、歐盟 TIDE (Technology Initiative for Disabled and Elderly) 所支持的 Moved 分散式移動與活動 輔助系統以及日本 TOYOTA 公司的 Partner Robots 等都是為了輔助行動不便的老人所設 計出來的科技產品。綜合以上國際知名的計 畫與產品，我們可確認一個具有行動能力的 看護機器人對老年人之居家照護是十分必要 的。 本計畫主要目的在於設計ㄧ具有行動能 力的看護機器人系統。本計畫將與數位居家 照護系統整合，以無線網路連上家庭伺服 器，運用機器人之移動特性，具備遠距影像 監控，讓使用者可以在遠端觀察與陪伴老年 人，觀察他們的生活起居、並與醫療儀器結 合，提供更完善專業的醫療照護。 最重要的 是提供行動上的看護以及自主性的照顧，希 望機器人能夠帶給老年人更即時且實際的看 護與照顧。在本年度的計畫執行，主要目標 再發展人體狀態估測技術以及視覺人機互動 技術。利用人體狀態估測技術，看護機器人 可以隨時知道被看護者的姿態資訊，可以在 看護者有可能發生危險時進行看護支援。在 視覺人機互動技術方面，為了克服環境光源 變化的影響，我們提出一個新的人臉追蹤架 構可以在光源變化情況下，穩定尋找出畫面 中的人臉。同時，為了讓看護機器人與被看 護者產生互動行為，我們也發展出一套視覺 追蹤控制技術，讓機器人能夠利用影像資訊 進行特定目標物的追蹤控制。 三.研究方法與成果 此看護機器人系統主要由下列三個子系 統所構成: (1)人體狀態估測系統； (2)人機介 面系統； (3)反應與互動控制系統。各子系統 的發展目的及主要功能描述分別如下： (1)人體狀態估測系統 此系統除了讓使用者遠端監看之外，更 提供了主動警示的功能，避免因為使用者沒 注意到而造成遺憾。本系統將透過機器人上 的 RF 接收器收集在老年人身上的生醫儀器 訊號，判斷老年人的狀態是否有危險，再透 過網路及簡訊警示使用者。例如透過加速度 計(Accelerometer)得到老年人的運動狀態，並 以小波轉換後分析其模組樣式(Pattern)，判斷 其行動是否為正常如坐、站、走路、上下樓 梯。又或是整合子計畫五之影像系統，在獲 得受照護的老人影像後，運用連續人類移動 辨 識 (Continuous Human Movement Recognition)系 統 先 追 蹤 受 照 護 的 老 人 位 置，並進一步地再將老人與背景畫面分離， 估算出老人與畫面的角度，後利用連續畫面 的特性去辨識老人的行為是否為正常，如此 一來，將使得估測結果更具強健性。 (2)人機介面系統 由於被看護者主要是以生病或老年人為 主，因此必須設計一套介面系統使得看護者 及被看護者能夠輕易地操作看護機器人。換 句話說，我們希望此看護機器人系統像家電 用品般讓一般人能夠簡單操作。為了達到此 目的，此系統對看護者而言，必須有資料傳 輸及遠端監控等功能，讓看護者能隨時隨地 觀察被看護者的狀況。對被看護者而言，必 須有語音辨識及人臉追蹤等功能，讓被看護 者能輕易的與看護機器人系統進行互動。 (3)反應與互動控制系統 此系統重點在於發展機器人為因應所需 具備之看護及互動行為功能之規劃與控制， 進而達到人性化之互動式看護功能。為了達 到此目的，看護機器人除了必須能知道自己 的所在位置，並安全自由的在家中各處移動 外，協助抓取物體並送交行動不便的人，如 此的行動能力才得以提供被看護者更多的照 顧，如導盲或者攙扶。自動化的巡邏看護也 讓家庭成員可以較輕鬆。 3.1人體狀態估測系統 由於機器人技術已日漸成熟，我們希望 可以有一個類似管家的機器人，平常不僅能 幫助家裡處理瑣碎的事物，也能扮演家庭保 全、看護老年人的功能。因此，本計劃第一 年已發展出一套人體姿態的辨識系統，希望 藉由此系統與機器人結合，讓在家裡服務的
3 圖 1 人體姿態估測系統示意圖 機器人能夠同時監控家中老年人的生活，扮 演看護角色。本系統主要概念如圖 1 所示， 系統組成包括一個訊號量測感測器和 RF 無 線傳輸模組，組成一個可攜式的人體運動感 測模組。透過 RF 無線傳輸模組，看護機器人 接收感測器的訊號用以得知被看護者目前的 姿態，並透過無線網路讓遠端的看護者由 PDA或筆記型電腦即時監控老年人在家中的 安全。 訊號量測感測器能根據家中安裝的感測 器或不同的輸入裝置有多種感測功能。在此 我們以一個加速度計[2]及 8-bit 微控器組成 一個可攜式的人體運動感測模組。此感測模 組安置在人的大腿上用以量測身體水平與垂 直訊號。接著，經由無線 RF 傳輸技術[3]將 量測訊號傳送到接收模組，此接收模組包含 一個 RF 接收模組和 8-bit 微控器。接收模組 接收到資料後再透過 RS232 將資料傳送到機 器人或一般電腦上。 在訊號處理部分我們設定每次接收 1000 筆的資料，將這 1000 筆的資料經由小波轉換 分解的方法，找出包含二軸低頻頻帶小波係 數的分佈，在本研究針對每一軸找出 6 個頻 帶，因此二軸共可找出 12 個頻帶的小波係 數，從我們所得到的小波係數裡萃取特徵。 在 資 料 庫 樣 本 的 建 立 方 法 ， 我 們 使 用 K-Nearest Neighbor 演算法[4]訓練出五種動 作姿態參考樣本供實際測試做比對。若是相 似者則歸屬到那一類。人體姿態估測系統之 硬體部分主要由人體姿態訊號擷取傳送模組 及人體姿態訊號擷取接收模組構成。此傳送 與接收 模組 中的加速度計是採用 Analog Devices公司的 ADXL202JE 電容式雙軸加速 度計，微控器採用 89C51，RF 是 Awin(艾威) 公司編號 AM2400BS-RA 的傳送接收模組。 為了驗證所設計的人體姿態估測系統功 能，我們藉由六位不同測試者，每個測試者 分別在一段時間內任意走五種姿態，統計整 體所得到的辨識結果。再實驗中，每一位測 試者之感測資訊先經由 K-Nearest Neighbor 訓練，取得其辨識樣本。實際測試時，再將 所得到的資料送進系統中，測試系統之辨識 能力。受測者在大腿上放置所研製的訊號量 測系統，量測訊號的方向為後方水平訊號和 垂直向下訊號。號量測系統的外觀和內部分 別如圖 2 及圖 3。實驗場所附近放置 RF 接收 模組與並且與電腦連接。在進行測試前，每 位測試者對每種姿態先訓練出 10 個樣本，由 這 10 個樣本取平均數，因此我們會找出 sit
F 、Fstand、Fupstair、Fdownstair和Fwalk五種姿
態的參考樣本，每一種參考樣本為 12 元素的 特徵向量當作此種姿態比對時的參考樣本。 在實驗中，由六位測試者做連續不同姿態的 測試。每位測試者做一次相同連續動作的測 試，測試的動作為：坐上樓站下樓 走路，每個姿態各辨識 2 次，因此每個姿態 總共做了 12 次。最後我們統計辨識出來正確 的次數。由實驗結果顯示在坐、站和走路的 姿態，我們得到很高的辨識率，分別為 100%、 91%、及 89%，上樓和下樓的辨識率為 84%和 70%。 4.2人機介面系統 人機介面系統的設計主要目的是希望建
4 圖 2 量測模組外觀 圖 3 量測模組內部電路 立一個即使不是專家也能輕易操作的介面系 統，提供給看護者及被看護者操作看護機器 人系統。在所需要的介面功能中，人臉搜尋 及追蹤是重要的功能之一，其主要目的是為 了讓機器人能自動將攝影機對準被看護者， 使得擷取到的影像能夠持續鎖定在被看護者 身上。因此，本計劃第一年已發展出一套機 器人人臉搜尋追蹤系統，此系統是基於目前 實驗室所發現的人臉辨識追蹤系統，加強其 辨識之強健性與辨識率。人臉辨識追蹤系統 是利用橢圓模型偵測做輪廓判別加上膚色分 割找出人臉在影像中可能之位置，再利用形 態學的 Open 及 Close 運算的特性保留下可能 為眼睛或鼻孔的區塊，找出正確的人眼位 置，對擷取到的人臉作縮放及旋轉。在辨識 部分，我們先利用利用 PCA 的方法作維度的 化減，再利用 RBF Neural Network 作辨識， 因為它為兩層的類神經且有快速學習的好 處，適合用於即時系統。當系統在判斷錯誤 時，還可由使用者下命令要求重新學習。若 辨識結果為老年人，機器人即開始進行跟隨 的動作，如此可使機器人保持在老年人的附 近，方便監控以及狀態估測。基於人臉辨識 技術基礎，本年度研發之主要重點在於克服 光線之影響及提昇人臉追蹤時之反應速度， 使 得 機 器 人能 滿 足 看護 之 實 用 性 考 驗 。 我們首先將人臉追蹤分成動態偵測、臉 部模型法、外形搜尋法及色彩搜尋法等。在 我們的設計中，我們提出利用色彩空間模型 YCrCb的三維色彩分佈做為人臉追蹤時的資 訊，此色彩空間模型可利用一嵌入式影像平 台來實現人臉追蹤，而其輸出的影像格式分 為 RGB 及 YCrCb，不僅不需要其他運算量 做色彩轉換而且色度分佈也比較收斂，對於 將來色度閥值的還定也較為容易；在移動方 面藉由預測下一次人臉出現的位置及大小， 不但可以縮小處理的畫面以免不必要的搜 尋，也就是減少運算量，而且對於追蹤的穩 定性也會有所助益；另外，最重要的一點就 是色彩分佈模型是隨時間一直在改變的，因 為環境中光源對臉部的色彩分佈是一直在變 動的，但是其物理現象為一連續的變化，可 以藉由前一時刻所保留下來的資訊，做為這 一刻測量及選擇人臉追蹤所需資訊的依據， 並且再經由統計的方法將這一刻的色彩分佈 再傳遞下一張影像，做為其色彩分佈的依 據，所以色彩分佈模型將在不同時刻下改變 且利用最佳的色彩分佈做為人臉追蹤的資訊 來源。 圖 5 為驗證所提出的人臉追蹤系統及機 器人之頭部追蹤系統之效能的實驗結果。由 實驗的結果看來，即使人臉位於影像平面邊 緣地方依然有被框選起來，並不會因為膚色 變暗而追蹤失數，此實驗結果證明了利用所 提出的適應性膚色搜尋法進行人臉追蹤的確 可以克服光源的影響，達到穩定地追蹤人臉。 4.3 反應與互動控制系統 看護機器人的即時反應與互動控制系統 之主要目的是要讓機器人除了自主導航之外 更能夠由半自動邁向全自動的自主服務、看 護，已達到人性化之互動式看護功能。本計 劃第一年已發展出一視覺追蹤控制方法，我 們考慮機器人及目標物均為圓形模型化之運 動模型，引用 IBVS(Image-Based Visual Servoing)技術[5]，將機器人之參考座標系上
5 圖 4 利用適應性膚色搜尋法進行人臉追蹤之結果 的運動速度透過線性轉換至影像座標系上的 特徵速度，反推求得機器人本身所需之運動 速度。一般在設計追蹤控制時，我們都會把 狀態變數轉換至一個誤差函數中，這也是所 謂的任務函數方法。當所定義的誤差函數趨 近 0 的時候，也代表狀態變數已經在所預期 的狀態上了。 為了驗證提出之視覺追蹤控制器的效 能，我們使用電腦模擬來驗證控制器的追蹤 控制效能。在模擬中，我們設定目標物依照 圓形軌跡移動，而裝有相機之機器人則套用 提出之視覺追蹤控制器進行視覺追蹤控制。 圖 5 為模擬結果記錄圖。圖 5(a)為追蹤機器 人與目標物在世界座標中之移動軌跡圖。觀 察此圖可清楚看見追蹤機器人最後也是沿著 一個圓形軌跡持續追蹤目標物。圖 5(b)為目 標物在影像中的位置變化圖。圖中可清楚看 見最後目標物在影像中的位置已收斂至影像 的中心位置。圖 5(c)為系統誤差狀態的收斂 特性。此圖可明顯顯示出所提出的控制器可 使得系統達到漸近收斂的效果。圖 5(d)為追 蹤機器人的速度控制命令。由紀錄的模擬結 果可發現追蹤機器人一直追隨著目標物機器 人進行圓形軌跡的移動。因此模擬結果驗證 了提出的視覺追蹤控制器成功地達到預期之 效果。 四. 結論與未來工作 本計畫第一年的執行期間我們完成了看 護機器人系統之人體狀態估測系統、人機介 面系統及反應與互動控制系統的部份功能設 計與製作。在人體狀態估測系統方面，我們 設計了一套姿態辨識系統，此系統模組可裝 配在被看護者身上，用以達到人體狀態估測 之功能。在人機介面系統方面，我們以之前 所開發出的人臉辨識系統為基礎，設計了一 套人臉追蹤系統，用以克服環境中光源變化 的影響以及達到人臉搜尋之功能。最後，在 反應與互動控制系統方面，我們提出了一視 覺追蹤控制器，用以追蹤動態目標物並達到 視覺追蹤控制之目的。所開發出的技術，經 整合後不但可讓機器人隨時知道被看護者的 姿態狀況，也可以使用者進行視覺人機互動 行為。 本計畫第一年完成了看護機器人系統中 各子系統的部份功能。未來第二年將預計陸 續完成看護機器人系統中各子系統其餘之功 能。在人體狀態估測系統方面，預計將完成 主動警示功能。在人機介面系統方面，資料 傳送及遠端監控之功能可利用實驗室先前開 發的 PDA 監控系統為基礎來設計功能更完整 的監控系統。同時，語音辨識功能也是發展 重點之一。在反應與互動控制系統方面，預 計將完成定位導航及機器手臂抓取控制功 能。本年度計畫之執行，我們不但提出機器
6 (a) (b) (c) (d) 圖 5 視覺追蹤控制器之模擬結果記錄圖。 (a)為追蹤機器人與目標物在世界座標中之移動軌 跡圖。 (b)為目標物在影像中的位置變化圖。 (c)為系統誤差狀態的收斂特性。 (d)為追蹤機 器人的速度控制命令。 人控制方面的新架構與理論，也將研發出具 體之機器人與外界互動之資訊處理法則及硬 體設備，對機器人學術界產生具體的貢獻。 本計畫之研究內容所發展之人體姿態估測方 法、人臉搜尋設計及機器人視覺追蹤控制設 計等研究成果具有學術價值與實用性，較完 整的論文近期內將投稿於學術期刊及研討 會。 五.參考文獻
[1] Kazuyoshi Wada, Takanori Shibata, Tomoko Saito, and Kazuo Tanie, “Robot Assisted Activity for Elderly People and Nurses at a Day Service Center,” Proceedings of 2002 IEEE International Conference on Robots & Automation , pp.1416 – 1421, May 2002.
[2] N, Low-Cost ± 2g Dual-Axis
Accelerometer with Duty Cycle Output Data Sheet, Analog Devices, 2000.
[3] N, nRF2401 Single chip 2.4GHz Transceiver Data Sheet, Nordic VLSI ASA, 2003.
[4] A. Sundaresan and A. RoyChowdhury,“ A Hidden Markov Model Based Framework for Recognition of Humans From Gait Sequences, ” in Proc. of IEEE Int. conf. Image Processing, Vol.2, Sep. 14-17, pp. II-93-6, 2003.
[5] S. Hutchinson, G. D. Hager and P. I. Corke, “A tutorial on visual servo control,” IEEE Transactions on Robotics and Automation, Vol. 12, No. 5, pp.651-670, October 1996. [6] 王耀慶, “應用雙軸加速度計之人體姿 態辨識系統,” 交通大學電機與控制工 程學系碩士論文, 2004.
