數位化居家照護系統研究-總計畫：數位化居家照護系統研究(II)

行政院國家科學委員會專題研究計畫 期中進度報告

總計畫：數位化居家照護系統研究(2/3)

計畫類別： 整合型計畫 計畫編號： NSC94-2218-E-009-004- 執行期間： 94 年 10 月 01 日至 95 年 09 月 30 日 執行單位： 國立交通大學電機與控制工程學系(所) 計畫主持人： 胡竹生 共同主持人： 楊谷洋，黃育綸，宋開泰，王逸如 報告類型： 精簡報告 處理方式： 本計畫可公開查詢

中 華 民 國 95 年 8 月 1 日

行政院國家科學委員會專題研究計畫成果報告

數位化居家照護系統研究-總計畫：數位化居家照護系統研究

（2/3）

計畫編號：NSC 94－2218－E－009－004

執行期限：94 年 10 月 01 日 至 95 年 09 月 30 日

主持人：胡竹生

一、研究計畫中英文摘要：

（一） 計畫中文摘要。 關鍵詞：居家照護系統，數位家庭，遠距 診療，老人照護 在網際網路及數位家庭(digital home)的推 波助瀾下，許多與居家相關的生活資訊及 生活機能，正逐漸的產生變化。而其中一 項重要的應用，就是如何使老人居家生活 及照護有更高的品質，並降低醫護人員或 家人之負擔。例如遠距診療（telemedicine） 就是使用視訊會議的技術，使一般性的例 診或家庭醫師之諮詢，無須親臨醫院，對 行動不便者的醫療品質提升，有莫大助 益。其次，電子資訊技術的發達，使得計 算（computing）與資訊儲存(information storage)的成本日益下降。而數位家庭的推 廣，將進一步促使低成本的計算與儲存媒 體，以各種型式進入家庭，這其中並包含 與這些計算單元所結合的感測及驅動界 面。因此，未來如何運用這些可見的資 源，強化老人居家照護之功能，是十分前 瞻卻又實際的研究課題。其次，在運用這 些科技於老人照護時最重要的是是否可 有效照護到其需求，或是可為其接受。舉 例而言，複雜的的人機界面或操作環境， 將導致老人使用上的障礙。或者面對生理 機能有障礙者（如弱視），照護之裝置就 必須採用其所能接受之界面來溝通。例如 近來十分受到歡迎的服藥提醒裝置（pill reminder），需提供語音界面使弱視者瞭解 其該服的藥種等。本計畫整合生理訊號、 機器人、語音訊號及影像處理，與網路的 專家學者探討數位化居家照護系統之諸 項創新之應用及整合技術，使老人居家照 護藉由適當的科技運用與科技市場發展 的協助得以更加落實。 （二） 計畫英文摘要。

Keywords: Homecare System, Digital Home, Telemedicine, Elderly Care

The advent of internet and digital home has gradually changed our daily activities. One of the important applications using these technologies is quality enhancement of elderly homecare and reducing the burden of caregivers. For example, telemedicine using video conference technology is able to avoid the transportation problems for routine hospital visit or home physician consultation. It greatly improves the quality of care for disabled elderly. Further, the technology progress of electronics and information push down the cost of computing and information storage rapidly. Through the effort of digital home promotion, low-cost computing and storage media will enter home in different shapes and forms. Therefore, how to utilize the foreseeable resources at home to enhance the quality of homecare is a very practical research topic. Secondly, sophisticated user interface or operating environment usually creates carriers for elderly people. Friendlier user interface should be designed for those who are disabled (e.g., amblyopia). For example, the popular pill reminder needs to have voice interface for those who have weak vision to remind her/him about the pills to take. This proposal invites experts from fields of bio-signal, robotics, speech and image processing, and networking to jointly explore innovative applications and integration techniques involved in digital homecare system. It is expected that elderly care can benefit from appropriate adoption of technology and the high-tech market development.

二、計畫背景、目的及重要性：

當歐美日等先進國家正快速的利用資 訊、網路、控制與醫療科技等研究與實現居 家照護系統，以降低老人居家照護之社會成 本以及提升照護品質時，根據工研院 2003 年 12 月的報告[1]，我國目前仍停留於偏重 於勞力提供照護的模式，與歐、美、日相較 落後甚多。而早在 1999 年美國能源部(US DOE)委託美國 Sandia 國家實驗室對科技如 何協助居家照護系統研究中，Warren 等人即 已 指 出 Smart Devices and Collective Intelligence 對未來居家照護的重要性[2]。以 下為 Warren 等人對這個字眼的詮釋：

The word “smart” implies the ability to process information within context. Intelligence can exist on a stand-alone device given that the knowledge set required to make decisions is maintained in the memory of the device. However, more flexible implementations of intelligent devices should accommodate a modular design that allows access to geographically distributed knowledge (information) and the software capable of processing those data.

由以上的說明，我們可以了解數位化及網路 化的技術與研究，對於未來的居家照護勢必 造成重要的影響，同時，如何將各種居家裝 置數位化的資訊作適當的處理，使該裝置具 備智慧性，以及如何將各個智慧型裝置資訊 透過網路整合協調，來達成各種居家照護的 功能需求，將是研究的重點。 本計畫提出一個整合數位家庭網路，生 理訊號，語音辨識與合成，照護機器人，以 及影像聲音處理技術的研究，其目的就是希 望透過學界的研究，對數位化及網路化的科 技如何協助居家照護系統的發展，提出先導 性的成果。本計畫的重要性可由下列幾方面 來說明。就產業及學術發展而言，近年來由 於寬頻及無線網路的普及，已驅動了許多應 用面的產業發展及學術研究，例如數位家庭 （Digital Home）的推廣等。目前大部分的目 光均著重於娛樂（如網路化多媒體、數位電 視等）、通訊系統整合與個人化方面的應用， 這些應用有大部分屬於取代性（如視訊之無 線化）。若著眼於創新性（即非取代性）的應 用，則需從人類的基本需求來探討，其中一 項是如何切入人類安全與安心的需求，而老 人居家照護藉由網路與數位化技術而增加照 護品質及減輕照護人員的負擔，勢必成為網 路基本建設蓬勃發展後的一項重要的應用。 就整個社會資源的運用而言，在高齡化 的社會下，老人相對於工作人口的比例逐漸 升高，如果不運用科技來減輕照護者的負 擔，勢必對整體的產生力造成影響。其次， 囿於有限的醫療資源，家庭已慢慢成為醫護 中心，醫院針對慢性病患者（尤其老人），均 建議及早退院居家療養。如果沒有良好的配 套措施，將造成各家庭沈重的負擔。 而本計畫基於家庭網路的架構，探討數 位化居家照護的內容及核心技術，除了符合 上述的產業發展以及社會資源的有效運用 外，也與國際間對未來家庭（Future Home） 的發展趨勢接軌，如 MIT 的 House-n，GIT 的 Aware Home，歐盟的 VOICE project，德 國 IPA 的 Care-O-Bot，以及日本多項與老人 照護有關的產業與研究發展。本計畫所邀請 的學者均為各方面優秀的研究專家，經由本 計畫之整合將可以對數位化與網路化運用於 老人居家照護這個重要的課題，提出建設性 的研究成果。

三、整合型實驗環境：

本計畫之目的在發展數位化居家照護系 統研究。第一年五個子計畫皆進展順利，已 有了初步的研究成果。自計畫開始執行以 來，每個月定期在交大電控系舉辦一次計畫 討 論 會 ： Digital Homecare System Group Meeting，具有讓參與計畫人員展示成果與交 流的功能。另外並委由計畫研究助理建立 Digital Homecare System 網站，將各子計畫 之研究主題與內容可以透過網路加以分享。 目前與台灣聯合大學系統合作於交大電 資大樓 807 室已經完成 Digital Homecare System 照護實驗環境規劃（如圖一、二、三 所示），作為各子計畫研究成果之整合平台； 已完成之具體成果如圖四、五所示，且預計

購置之設備如表 1，現階段已採購部分設備 並進行安裝、架設中。 圖一、電資大樓 807 室室內平面配置圖 圖二、電資大樓 807 室天花板配置圖 圖三、電資大樓 807 室地板配置圖 圖四、電資大樓 807 室完成架構圖（大廳） 圖五、電資大樓 807 室完成架構圖（衛浴）

四、各子計畫研究方法及進度摘要：

子計畫一： 1. 架設分散式家庭網路 本計畫研究人員在此子項目中，架設了適用 於家庭環境的異質性無線網路。透過家庭伺 服器，對內可接收來自各終端裝置傳來的生 理訊號或其他要求訊息；對外，則可連接照 護中心與醫院。目前已經完成的無線網路系 統，除802.11b/g 之外，尚有家用電力線及 藍芽。Zigbee 網路則尚在建置中。下面說明 本計畫所完成之家用電力線網路及藍芽網 路： (1) 802.11 a/b/g 無線網路

利用 DLink DI-784 802.11 a/b/g 存取點 （AP）架設無線網路。使終端裝置能將所收 集到資訊，透過無線傳輸方式，傳送到家庭 伺服器。 (2) 家庭電力線網路 利 用 Netgear XE102 架 設 家 庭 電 力 線 (Homeplug)網路，利用家用電力佈線取代傳 統網路線，將終端裝置所收集到資訊傳送到 家庭伺服器。 (3) 藍芽網路 (Bluetooth) 在本計畫第一年度執行期間，為支援居家照 護網路系統中各種不同終端裝置的通訊需 求 ， 研 究 人 員 亦 建 置 了 藍 芽 網 路 。 利 用 Bluetak BT700X 藍芽網卡所建置的藍芽網 路。 2. 建置家庭伺服器之資料庫系統

本計畫研究人員在此子項目中，架設了適用 於 家 庭 環 境 的 資 料 庫 系 統 ， MySQL forWindows。 3. 建置家庭網路內部橋接器模組 在本計畫第一年度執行期間，為支援居家照 護網路系統中各種不同終端裝置的通訊需 求，研究人員建置了一套可用於橋接乙太網 路與藍芽協定的模組。讓所有支援藍芽協定 的終端手持裝置可以透過此模組，以藍芽、 乙太網路等通訊協定，與家庭伺服器互傳訊 息。本研究計畫所提出的藍芽橋接模組設計 概念，當主機A 想要透過藍芽協定傳送資料 至主機 B 時，TCP/IP 封包資料會先透過

L2CAP 協 定 (Logical Link Control and Adaptation Protocol) (L2CAP)封裝，然後透 過藍芽傳輸訊號，傳送至橋接器模組。收到 封包後，藍芽橋接器會解開此封包，將其轉 換回TCP/IP 封包，並轉傳至主機 B。 在本研究計畫所架設的實驗環境中，第一年 度計畫執行期間，以灌有Linux 作業系統的 主機作為藍芽橋接器，扮演橋接器，此主機 上必須同時裝有一般的網路介面（乙太網路 或 無 線 網 路 ） 及 藍 芽 網 卡 (Bluetooth Dongle)。同時，並以架設視窗作業系統與藍 芽網卡的筆記型電腦作為藍芽終端裝置，扮 演主機A 的角色。這台終端裝置並無乙太網 路或無線網路連線功能。至於主機B 則可為 透過橋接器可存取到的任一機器。在第二年 度計畫執行期間，考慮到整個家庭網路的實 際 應 用 面 ， 我 們 將 實 驗 平 台 整 個 置 換 為 Windows XP，並在 XP 上實作前一年度所完 成之藍芽、乙太網路橋接模組。 4. 修改家庭伺服器軟體系統架構 參考圖一之網路系統架構，在家庭伺服器的 軟體系統架構方面，為了更密切配合其他子 計畫的整合，我們作了部分修改與調整。研 究人員利用「內部網路橋接模組」提供主控 模組一個統一存取各種不同的無線通訊協定 的介面，以利終端裝置的資料收送。家庭伺 服器的主控模組則負責接收來自聲音模組的 驅動訊號、來自終端裝置的感測資料、處理 這些訊號與資料，並分派工作給其他子模組 處理。例如，當主控模組收到聲音模組的VAD 訊號驅動時，會啟動語音辨識模組，判斷是 否為語音命令(voice command)，並接著將 所取得之語音命令（如看電視）分派給相關 的模組、啟動該處理程式（如開啟電視畫 面）。 子計畫二： 隨著生理感測技術及資訊科技的發展，生理 感測器越來越輕便也更便宜，這使得居家生 理訊號監控及居家照護成為即將實現的目 標。然而為達此目標，除了生理感測器及生 理訊號量測外，迫切需要且不可或缺的是建 構一套智慧型生理訊號監控系統可以自動處 理、分析所量測的生理訊號，擷取具代表性 的特徵訊號。 以往多通道腦波量測記錄儀存在著面積龐 大、使用不便以及攜帶不易等問題，且這些 系統大多只做到記錄部分，再藉由電腦進行 後續離線處理。本報告結合腦波訊號放大 器、無線傳輸及嵌入式系統等技術，開發一 套可攜式即時嵌入式無線腦波訊號感測與處 理系統以實際應用於日常生活當中。 本系統之開發流程分為三個階段，分別為「腦 電位訊號量測與藍芽無線傳輸」、「OMAP 嵌 入式系統平台建構」、「腦波訊號處理之實現 與應用」。首先是以藍芽協定做為傳輸介面， 並整合生理量測放大器電路，將所量測的腦 電位訊號進行無線傳輸。其次，以 OMAP 為 發展平台，並於上開發一套適合用於雙核心 架構處理器- OMAP 的即時嵌入式作業系統 來無線接收腦電位訊號。最後，本研究在此 嵌入式系統中利用 DSP Gateway 機制將腦波 分析演算法交由 ARM 和 DSP 分工處理，建 構一駕駛員精神認知狀態系統，以驗證其即 時進行駕駛員精神認知狀態估測之能力。 子計畫三： 1. 口語對話系統之設計與製作 在計畫中，第二年為配合其他子計畫， 所以在本計畫中首先製作一個語音對話系統 (Speech Dialogue System) 系 統 。 對 人 們 來 說，最便利的溝通管道便是透過聲音，架設 對話系統的目的就是建立一個透過語音操作 的人機介面。要想達到此目標就得使電腦能

直接透過語音理解使用者的語言和語義，並 且能準確地完成使用者交代的工作。 圖 1、 對話系統的系統圖。 整個語音對話系統的核心就是對話管 理員（Dialog Manager），它整合了由即時語 音辨認器辨認出來的結果，透過會話分析 （Discourse Analysis）來分析語義，再由得 到 的 語 義 和 系 統 目 前 的 狀 態 從 對 話 策 略 （Dialog Strategy）裡尋得系統下一步該做的 動 作 ， 並 且 可 藉 由 搜 尋 外 部 的 資 料 庫 （Database）來完成任務，再將需要告知使 用 者 的 訊 息 藉 由 語 音 合 成 的 技 術 （Text-To-Speech）用語音通知使用者。 在 計 畫 中 我 使 使 用 強 化 學 習 （Reinforcement Learning）學習法則讓對話 系統和外在環境互動，藉由 trial-and-error 的 方式學習最佳的行為模式。下圖就是一個以 對話系統為例子的強化學習標準模型： 圖 2、 標準的強化學習模型。 將使用者的回應和系統目前所處的狀態 視為外在環境，利用強化學習來學習最佳的 對話策略（在哪種狀態要採取哪種行動）。其 主要的想法就是以 MDP（馬可夫決策程序、

Markov decision process）模型，運用學習的 方法使得到的結果漸漸趨近於此目標，所以 如上圖所示，需要得知『目前系統所處的狀

態』以及採取的『行動』，再加上『之後系統

所處的狀態』和獲得的『獎勵』。

在依口語對話系統中，我們將之視為一個 Slot filling system，系統會依照目前表單中已 填入之資訊(slot)來決定系統所處狀態(state) 並決定下一個問話內容(action)。 2. 台語語音辨認系統之製作 在台灣高齡人口群中，使用台語的人口 數目十分多。所以在本計畫中，我們也製作 了台語語音辨認器。 在台語語音中共有 877 個基本音節，18 個聲母(包含空聲母)及 84 韻母，韻母中有 28 個是入聲音調(entering tone)。台語中有入聲 音調音節這也是與國語最大不同之處。而且 台語之音節數也是國語的兩倍多，所以音節 辨認就變成較為困難。計畫中首先我們整理 並擴充我們已有之台語語料庫。以下台語語 音辨認系統之製作我們所使用之台語語料庫 是由 197 個語者；91 男性及 106 女性語者 所錄製。我們將整個語料庫分成兩部分；(1) 訓練語料：包含語料庫中 9/10 語者共 105,687 個音節，(2) 測試語料：共包含 19 個男女語 者，12,211 個音節。 我們所製作的台語語音辨認器與國語語 音辨認器相同是使用次音節 HMM 節模型。 我們所使用的是 101 個右相關聲母模型及 84 個韻母模型； 其中右相關聲母模型狀態 數為 3 而韻母模型狀態數為 5。 經錯誤分析，入聲韻母之辨認率較平均 辨認率為低。在台語中之變調規則較國語複 雜，事實上幾乎所有音節都會變調。尤其 *h 韻尾之入聲音，不但會變調，而且韻尾會消 失。如此不但聲調會改變，連基本音節都會 改變。在台語 87 個韻母(28 個入聲音調韻母) 中共有 17 個是*h 韻尾的入聲音，所以我們 將考慮 *h 韻尾變調規則後之語料作重新訓 練及辨認後，辨認結果如表 2 所示，可將台 語 877 基本音節辨認率提高 3.5%。 接 著 我 們 再 加 入 syllable unigram 和 syllable bigram 的 language model(LM)，並檢

視 辨 識 率 提 升 的 情 形 。 再 求 取 syllable unigram 和 syllable bigram 時我們所採用的 訓練資料除原語音訓練資料外另加入了一些 訓練文字檔，如表 3 所示。再加入 syllable unigram 和 syllable bigram 後之台語 877 基

本音節之辨識率則如表 4 及 5 所示。 計 畫中所製作的台語 877 基本音節辨認器在一 個特定用途（有限詞彙）的台語辨認器中， 應可以達到不錯的結果。 子計畫四： 此看護機器人系統主要由下列三個子系統所 構成: (1)人體狀態估測系統； (2)人機介面系 統； (3)反應與互動控制系統。各子系統的 發展目的及主要功能描述分別如下： (1)人體狀態估測系統 此系統除了讓使用者遠端監看之外，更 提供了主動警示的功能，避免因為使用者沒 注意到而造成遺憾。本系統將透過機器人上 的 RF 接收器收集在老年人身上的生醫儀器 訊號，判斷老年人的狀態是否有危險，再透 過網路及簡訊警示使用者。 (2)人機介面系統 由於被看護者主要是以生病或老年人為主， 因此必須設計一套介面系統使得看護者及被 看護者能夠輕易地操作看護機器人。為了達 到此目的，此系統對看護者而言，必須有資 料傳輸及遠端監控等功能，讓看護者能隨時 隨地觀察被看護者的狀況。對被看護者而 言，必須有語音辨識及人臉追蹤等功能。 (3)反應與互動控制系統 此系統重點在於發展機器人為因應所需具備 之看護及互動行為功能之規劃與控制，進而 達到人性化之互動式看護功能。 為了驗證提出之視覺追蹤控制器的效能，我 們使用電腦模擬來驗證控制器的追蹤控制效 能。圖九為模擬結果記錄圖。 (a) (b) (c) (d) 圖九、視覺追蹤控制器之模擬結果記錄圖。 (a)為追蹤機器人與目標物在世界座標中之 移動軌跡圖。 (b)為目標物在影像中的位置 變化圖。 (c)為系統誤差狀態的收斂特性。 (d) 為追蹤機器人的速度控制命令。 子計畫五： 本計畫 94 年度期中報告中完成三項結果。 1. 居家環境影像監控平台之建立；2. 居家環境 之三維物體辨識機制；3. 結合語音活動偵測 與語音純化系統之設計，其內容簡述如下： 1. 居家環境影像監控平台之建立： 架設在室內屋頂的全向式攝影機雖然可以 360 度全方向的監控室內活動，但全向式攝 影機的解析度不高，且由於取像角度的關 係，無法取得前景物體的詳細資訊以作為進 一步的判斷依據，因此，我們在屋內的角落 架設了一台 PTZ(Pan-Tilt-Zoom)攝影機，並 利用三角定位法推導 PTZ 攝影機與全向式攝 影機之座標轉換關係，以建構出一套結合 PTZ 攝影機以及全向式攝影機的居家環境影 像監控平台，並且可以在未來因應需求而加 入更多 PTZ 攝影機。 2. 居家環境之三維物體辨識機制： 在三維物體辨識機制部分，本子計畫由擷取到辨 識出此物體做了一個完整的實現，首先，利用前 景 偵 測 結 合 肯 尼 邊 緣 偵 測 法 （ Canny edge detection）和加速的梯度向量流動態輪廓偵測法 （GVF snake），來得到物體輪廓，接著利用此輪 廓找尋出物體的特徵，然後配合計算相似度的方 法，代入新提出的外觀結合演算法去建資料庫， 並利用待測影像與資料庫影像之間的相似度來作 為比對的依據，以找出與待測影像最相符之資料 庫影像。 3. 結合語音活動偵測與語音純化系統之設 計： 本子計畫提出了結合語音活動偵測（Voice Activity Detection ,VAD）與適應性陣列訊號 處理架構， VAD 只用於 Lower Beamformer 後，因此麥克風陣列訊號皆會先經過 Lower

Beamformer，再通過 VAD 判定，若判定為 語音訊號，則語音訊號會直接輸出，若為非 語音訊號，系統會將非語音訊號的原始訊號 （未通過 Lower Beamformer），傳遞給 Upper Beamformer 做適應性訊號調整，調整完畢後 再將濾波器係數傳遞給 Lower Beamformer， 更新 Lower Beamformer 濾波係數。做 NLMS 演算法時，必須先針對雜訊作出零平均的假 設，若雜訊本身並非零平均，則 NLMS 處理 效果會有限，但現實生活中並非所有接收到 的雜訊皆為零平均，而 H∞並不用針對雜訊 做出零平均的假設，但其運算量會較 NLMS 大。在基本原理上，NLMS 的原理是將估測 誤差能量最小化，而 H∞是在基於量測誤 差、模組誤差、初使誤差這三種誤差影響估 測誤差最嚴重的情況下，去調整係數使誤差 最小化。在此模擬中，本子計劃模擬聲源訊 號經過二十階的通道效應，並由六顆麥克風 接收。而每顆麥克風的有限脈衝響應（FIR） 階數皆為十階來模型目標訊號。圖七與圖八 展示了利用 NLMS 與 H∞所求得的誤差比較 圖。誤差為目標訊號與模型訊號的差，即為 模型誤差（modeling error），從圖中可看出 H 理對於模型誤差較 NLMS 為穩健。 圖七 以 NLMS 為基礎的模型誤差能量 圖八 以 H為基礎的模型誤差能量 本實驗環境為將本子計畫所開發出的麥克風 陣列平台放置於室內環境，而語音訊號從麥 克風陣列正前方₀_{位置發出，白雜訊（white} noise）由左方45位置發出。圖十為摻有雜訊 之語音訊號，圖十一為純化後的語音訊號。 語音純化系統會將 VAD 判定為非語音部分 輸出為零。 圖十 摻有雜訊之語音訊號 圖十一 純化後語音訊號

五、結論：

本計畫整合生理訊號、機器人、語音訊號及 影像處理，與網路的專家學者探討數位化居 家照護系統之諸項創新之應用及整合技術， 使老人居家照護藉由適當的科技運用與科技 市場發展的協助得以更加落實。