多模式使用者介面系統之開發：以急診檢傷為例
沈鈺翔 陳櫻鐙 朱原嘉 張博論
國立陽明大學衛生資訊與決策研究所
normansheng1211@yahoo.com.tw genego@mail2000.com.tw yuanchia@ebtnet.net polun@ym.edu.tw
論文摘要
本研究目的整合語音與觸控技術以急診檢傷為例，
透過語音與觸控技術結合，提供一套適用於急診檢 傷之系統，協助護理人員更精確辨識病人病情，與 所需要的照顧。所開發之系統包含大而清楚的觸控介 面、可免用手及眼的語音輸入，並使用簡單的規則，
透過使用者輸入的一些檢傷資料來提供檢傷分級、分 類、分區的建議值，可作為護理同仁分類的參考依據，
進而達到減少人工作業、增加病患醫療資訊的正確性 及即時性。更重要的是藉此機會建立語音與觸控技術 應用於急診檢傷的雛形架構。並請三十名急診護理同 仁協助測試，藉此為多模式使用者介面導入護理資 訊系統提供先導測試的經驗。本研究開發環境為微軟 Visual Basic 6.0、Speech SDK 5.1、無線耳機麥克風 Logitech cordless freedom headset 以及大尺寸觸控螢 幕SONY PCV LX900，所開發之系統包含大而清楚的 觸控介面、可免用手及眼的語音輸入，並使用簡單的 規則，透過使用者輸入的一些檢傷資料來提供檢傷 分級、分類、分區的建議值，可作為護理同仁分類的 參考依據。此系統共有26 個畫面，語音詞彙 338 個。
評估結果顯示若是採用語音觸控混用之多模式介面 可比單純語音介面有更高之容錯性。比較語音與觸控，
雖然觸控正確率高，但語音平均速度快。比較多模式、
單模式以及舊系統接受度，護理同仁最喜愛多模式 介面開發一多模式互動急診檢傷輔助系統，而本研 究所建置之系統平均每106 秒可以完成一次檢傷作 業，於63 分貝之噪音環境下可達 94%的語音辨識率。
關鍵字
多模式使用者介面 (Multi-Modal Interaction)、急診檢 傷(Emergency Triage)
背景介紹
為了改善醫療品質和效用近年來觸控、語音辨識技術 的研究相當的普遍，許多於大學的實驗室不斷的發 展更好用更有效率的語音識別技術：如麻省理工學 院 的 電 腦 科 學 實 驗 室 的 對 話 語 言 系 統(Spoken Language System)[1]小組開發了一系列的語音系統，
使用者可以透過電話用說的跟電腦對話來獲得資訊 ； 而同於麻省理工學院的媒體實驗室（Media Lab）[2]
則致力於研發滲透式計算（pervasive computing）環 境，語音為其重要的人機介面之一。史丹福大學的 Media X 實驗室則開發對話控制系統(Dialog Control System)[3]，希望開發流暢(seamless)自然(transparent) 的會話介面；柏克萊大學的使用者介面研究小組 (Group of User Interface Research，GUIR)[4]開發了一 個名為SUEDU 的軟體主要是希望能夠提供一個開發 語音應用程式的環境，透過這個整合式的開發環境 ， 開發者可以很輕鬆的開發語音應用程式。還有許多國 內外的研究單位也都持續不斷的研究語音科技相關
的議題。
圖一
Logitech©Cordless Freedom Headset Model No. 8701
圖二
SONY PCV LX900
一、開發原則
為了讓系統能相似於先前護士們所操作的舊系統，
達到可用性中的「跟原來工作相像」及「容易學習」之 原則[5]，本研究先對護士們所使用的舊 3270 終端機 檢傷系統進行分析，以護士們熟習之系統架構為基 礎，重新其使用者介面。而於圖形化使用者介面之設 計，參考其新版PDA 系統之設計[6]，盡量採取原先 使用者熟習之互動模式，但調整為適合大型觸控螢 幕之設計。語音介面的分析則請護士協助分別於白天 班、大夜班、小夜班對檢傷的實際情況進行錄音，以 分析實際為病患進行檢傷時語音互動的情形，找尋 最佳的語音介面模式。系統開發時則採用雛形開發法
（prototyping），持續的與護理同仁進行修改與討論。
二、開發工具
本 系 統 所 使 用 的 程 式 開 發 工 具 為 微 軟 公 司 之 Microsoft Visual Basic 6.0，搭配其語音辨識開發工具 Microsoft Speech SDK 5.1 及簡體中文語言包[7]。無線 耳 機 麥 克 風 則 採 用 羅 技 公 司 的Logitech Cordless Freedom Headset，如圖一所示，觸控螢幕桌上型電 腦為SONY PCV LX900 其搭載 Intel Pentium III 1GHz
、128 RAM 、以及十七吋觸控螢幕[8]，如圖二所示。
三、多模式互動設計
本觸控螢幕的設計依照使用者的需求，設計出大螢 幕，大按鈕，大字形的視覺介面。螢幕中所有的方框 都是可以觸控的按鍵，左上角第一塊桃紅色的部份 為基本資料區，是由急診掛號區所傳送過來的資料 ， 下方藍色方塊為檢傷輸入的按鈕，尚未輸入沒有值 的方塊呈現為較深的藍色，輸入後有值方塊顯示為 淺藍色，若是觸控後該方框會閃爍三秒鐘，正在作 用的方框呈現為黃色，非做用中的方框以預設的顏 色呈現，橘色的部份為電腦輔助決策的資訊，分別 為檢傷分級、檢傷分類、分區等等。語音控制方塊若是 綠色則正在進行語音輸入，若是按一下會成橘紅色 則是語音暫停的情況，再按一下會恢復語音輸入的 狀況。語音控制方況下方為音量條，會隨著說話音量 大小聲而改變長短，最好的收音效果是處於綠色的 範圍中，黃色為太小聲，紅色為太大聲。
圖三 觸控螢幕介面設計，分為基本資料區（左上紅 區）、檢傷資料區（中央藍區）以及電腦輔助區（右 邊橘區）三區。
圖四 使用者介面設計語音互動流程圖。使用者說出輸 入之詞彙，電腦辨識後，復頌給電腦使用者聽以確 認，若未結束則等待使用者說下一個詞彙，若結束 則停止辨識。
狀態列
狀態列動態 按鈕
語音控制方 塊 基本資料由掛號系統傳入 自動分級
使用者說話
語音辨識
復誦
繼 續？
結束
四、系統架構設計
圖五 系統架構圖正方為模組、圓方為資料源、虛方為 外部系統
本系統使用物件導向程式設計的方法與原則架構而 成，核心物件為檢傷病患物件，這個物件儲存目前 所照顧之急診病患的一切資訊，並且會根據所儲存 的資訊作簡單的判斷，進而觸發事件，如舒張壓高 於100 則發出血壓過高之警告事件。
檢傷代理人則為一智慧型模組，透過監控檢傷病患 物件的屬性與事件，決定出建議的分級與處置，並 且可以執行一些內建的動作，如傳送資訊其他相關 工作流程，或是緊急通知相關的醫生或護士等。由於 本系統採用多模式使用者介面，因此以使用者互動 協調模組負責將所有要呈現給使用者的資訊作協調 分配，以最佳的方式呈現給使用者。協調與同步語音，
觸控螢幕，以及未來與PDA 結合時，PDA 上所呈現 給使用者的資訊。
五、效率調校
效率是可用性的幾個指標（容易學習、容易使用、容 易記得、使用者滿意、有效率、容錯、跟原來工作相像 能力）中較具挑戰的一項。在本系統中，語音辨識率、
系統處理速度、噪音抵抗對於系統的整體效率影響最 大。於測試前本研究針對這幾個議題找尋可行的改善 方法調整至可接受的狀態才進入測試階段，測試後 根據測試結果提出調校的建議。
六、評估設計
本研究之評估分為兩階段，第一階段為開發前期評
估，第二階段為開發完成後之評估。在開發初期，為 了想及早得到使用者的反應並且搜集開發系統所須 要的知識，且提前讓使用者參與到設計的過程中 [1]，本研究於開發初期根據有限資訊快速開發出一 雛形系統，並將此系統交由護理同仁測試並且提供 建議。
當系統經由雛形開發法逐漸穩定並符合需求後，則 進入第二階段評估。第二階段評估將於執行前先對目 標受測者進行正式的展示說明與教育訓練，經過訓 練後受測者將對本研究之系統會有一定程度的認識。
正式評估時每人約執行30 分鐘的測試，該測試分為 兩階段：第一階段為訓練電腦建立語音檔,費時約十 分鐘,第二階段為系統測試。測試時記錄完成時間，環 境噪音，錯誤的情況，並且以錯誤項目數計算出辨 識率，比較辨識率與完成時間的相關性來評估其容 錯能力。測試完成後請測試者填寫類似科技接受模式
（TAM）的問卷並且對測試提出建議，並於測試時 記錄下從旁觀察到的情況。
結果
一、系統功能與特色
為了達到系統可用性，本系統結合無線耳機麥克風、
大尺寸觸控螢幕等設備，為護理同人提供一個友善 直覺的人機互動模式，其中包含大而清楚的觸控介面 可免用手及眼的語音輸入、可以利用語音命令來操控 電腦，如[刪除]、[列印]等。本系統並使用簡單的規則，
透過使用者輸入的一些檢傷資料來提供檢傷分級、分 類、分區的建議值，可作為護理同仁分類的參考依據。
二、檢傷病患物件結構
檢傷病患物件為本系統核心的邏輯層架構，共23 個 子 物 件 （ objects ） 、 其 中 6 個 為 群 組 物 件
（collections）。總計整個物件架構共有 60 個屬性
（properties）、47 個方法（methods）、18 個事件
（events）。所有檢傷所產生的及時資料都會暫時儲 存於此物件中，此物件並且有智慧的功能，本身即 包含檢傷分類的邏輯，當物件內的值符合適當的條 件時，將會觸發事件。系統中的檢傷代理人將可透過 監控此物件所主動產生的事件來決定要如何反應。也 可以被動的定期監控物件中特定的屬性，一旦符合 特定條件則可反應做出適當的行為。
辨識模組 文轉音模組
語音模組 觸控模組
使用者互動協調模組
無線PDA
通訊模組 檢傷PDA
檢傷 病患
物件 檢傷
代理人 檢傷相關
流程與 系統 語彙庫
檢傷 資料庫
三、效能調校結果
測試的過程中我們發現影響語音辨識效率的因素有 很多，其中可以控制因素的主要為環境噪音、語音辨 識引擎、詞庫的大小。挑選好的麥克風可以盡量的排 除環境噪音，選擇適合的語音辨識引擎則可以提升 引擎的效能，除此之外，還可以透過縮減詞庫的大 小的方法提升辨識的效能。
原先的設計為所有的辨識詞彙皆放於同一個詞庫，
此方法的優點是輸入時將沒有階層的限制，使用者 可以隨時輸入想輸入的詞彙，不需要進入類別後才 輸入該類別的詞彙，這樣可以減少記憶與回想，如 可以直接輸入「盤尼西林」「心臟病」「頭痛」，而不需 輸入「過敏」「盤尼西林」「病史」「心臟病」「主訴」「頭 痛」，十分的方便。
然而隨者詞庫的增長，測試時經常會出現辨識錯誤 的反應，例如要輸入過敏項目時卻反應出主訴項目。
因此本系統只有採用其次的方法，將大詞庫依照類 別切分為數個小詞庫，並且控制於兩層內（大分類- 值） ，雖 然主 訴仍 有249 個詞彙， 佔總 詞彙 數的 61%，但是為了要避免讓使用者需要去記憶主訴的子 分類項，達到可用性中的「容易記憶」，還是不分子 分類。
經過分類，並且進一步調校，將於有些狀況時不可 能使用到的詞彙去除後，辨識的成功率由前測之 70%明顯的提升至 95%。
而此麥克風的防噪效果算是十分的不錯，既使在分 貝數高達77dB 的環境下，仍然可以讓測試不受干擾 的進行，可以改善的地方是連接電腦的部分若能改 為數位接頭，如USB，則可防止電腦內的噪音，使 的防噪效果更好。
除此之外，使用情境上還有一個必須要克服的困難 ， 原先的構想是希望能夠讓護士們用說的方式來取代 用手用眼睛的輸入方式，但是其實護士們也是不時 的要說話的，在現場，護士需要不斷的與工作伙伴 溝通，也要詢問病人狀況，或是和家屬溝通，或者 是要接電話。因此，並不能假設本系統可以「獨佔」使 用者說話的介面，必須要有一個良好的插斷機制。目 前的設計是使用軟體的插斷方式搭配硬體設備的按 即說（push to talk）按鈕。當手在忙得時候的時候就
適合使用軟體插斷的方式，當手不忙得時候使用「按 即說」的效果就會比較好。
四、評估結果
本研究受測者多為30 歲左右(60%)之女性(90%)，其 多為急診資歷超過十年（43%）之護士(60%)，學歷 多為大學（53%）與專科(43%)。平均每月皆參與檢傷 工作1~5 次(80%)。大多數的使用者至少每週會使用 電腦一次(76%)，其中有三分之一的受測者為高用量 使 用 者 ， 每 天 使 用 數 次 電 腦 （33% ） ， 有 七 成
（73%）以上的受測者在測試之前就曾經接觸過語音 辨識相關的訊息。測試後受測者對於本系統多持正面 看法，目前使用起來雖自認不熟練（90%），但是認 為只要稍加準備即可勝任(87%)，有六成左右(63%) 的使用者對目前的系統效率已經認為滿意，而絕大 多數（87%）的使用者認為本系統（多模式使用者介 面）比PDA 來的好。
討論
一、多模式介面檢傷輔助系統可用性探討
探討本系統之可用性，在測試後問卷中顯示87％的 使用者測試完後認為自己可以輕鬆的學會使用本系 統，其中80％認為只需稍加準備即可，6.7%的使用 者於測試完之後及認為自己非常能勝任。顯示本系統 於「易用性」以及「易學性」上已經獲得多數使用者的 認可。
比較本系統與PDA 檢傷系統，將近 87％的使用者認 為本系統比PDA 系統好，若請受測者比較純語音模 式，混和語音觸控模式以及舊3270 終端機系統並且 給分，排名第一評為三分、排名第二評為兩分、排名 第三評為一分。則混合觸控模式平均得分為2.93 分，
純語音為1.6 分，舊系統 3270 為 1.46 分，顯示多模 式輸入的「使用者接受度」明顯高於單純使用語音及 原本的舊系統。
護士們認為如果平均能於30 秒鐘內替一個病患完成 檢傷，則本系統將會十分有用。目前本系統平均為病 人執行一次完整檢傷的時間為106 秒，最快完成時間 為45 秒，最慢完成時間為 268 秒，比起美國檢傷相 關專業協會的統計七分鐘[20]要快上許多。
理論上，辨識率應該是會影響整體處理的速度，因 為每辨識錯誤一個項目，就必須重新輸入一次，也
就必須多花一次輸入的時間。以本研究的測試結果，
平均每輸入一個項目必須要花3.52 秒，因此每辨識 錯誤一次平均就必須要多花3.52 以上的時間來彌補 錯誤。假設一次檢傷平均需輸入30 個項目，則平均 辨識率每提升1 個百分點則可以節省 1.17 秒。將實際 測試的結果拿來統計，採用於純語音模式以及於語 音視覺模式輸入的資料，若執行時辨識率達到97.5%
以上，則平均完成時間需要86 秒鐘，如果辨識率在 80%左右的話平均完成時間則需 178 秒，從統計上來 看確實辨識率會影響完成工作的速度。
圖六 辨識率與平均完成時間關係圖 N=60
而結果顯示在「容錯性」上，使用者測試本系統時採 用語音與觸控螢幕的搭配模式的容錯性最佳。使用語 音搭配螢幕顯示，一但出錯，使用者可以很容易的 觀察到目前的情況，並且除了使用語音之外，還可 以使用觸控加以排除錯誤。如果單純使用純語音的輸 入模式，一但出現錯誤則使用者容易混淆，若不是 非常熟悉本系統則很難立即排除障礙。
整體而言，本系統於「易用性」、「易學性」以及「使用 者滿意」上得到較多正面的評價，而「效率」以及「容 錯」則仍是改善的重點。
然對於受測者所提出之三十秒完成時間之限制，也 有可以討論之處。若是能提升系統的其他功能，如決 策輔助，對於使用者來說有其他方面的幫助，是否 使用者會對於較長的完成時間有更大的接受空間。而 及使達到三十秒完成的目標，是否可以連帶的對病 患帶來利益，是否能提升病患的滿意度，也都是值 得思考的。
二、多模式介面開發技術討論
由於使用者的行為是無法預測的，在系統開發上為 了要能夠盡量因應所有使用者所可能對系統做出的 動作，在開發上程式碼多半會比較散亂複雜。如果從
分層的角度上來看，越接近資料層，則程式碼越容 易結構化，越靠近介面層也就越靠近使用者，例外 狀況也會越來越多，所撰寫的程式碼也就會越難掌 握結構而容易出錯。多模式的使用者介面給予使用者 更大的彈性，另一方面也代表為了要提供如此大的 彈性，在開發上必須要用更佳的方式來設計與管理 程式碼。
在開發時，本研究先將使用者介面以及檢傷病患資 料結構與檢傷判斷邏輯的部分盡量的拆解開來，將 病患資料結構與檢傷判斷邏輯設計為元件，而使用 者介面內就不會再有任何有關資料結構與判斷邏輯 的程式碼，可以達到一部份簡化的功能。由於使用者 介面的部分不夠結構化，要設計為元件有其困難，
因此先設法將其模組化。以目前的設計，多模式介面 中每個介面模式都設計為模組，如語音模組與觸控 模組，這些模組都透過互動協調模組來與底層的元 件溝通，除此之外，透過互動協調模組同步所有介 面模式的行為，如當以語音輸入一個項目時，同時 也產生出觸控輸入該項目應有的回饋。將協調同步的 功能獨立拆解出來將可簡化程式碼進而讓程式碼易 於管理並且減少出錯。如果能夠更清楚互動模式，則 可嘗試改設計為元件，將使用者互動模組設計為一 基礎元件，而所有的互動模式，如語音、觸控等則以 繼承的方式來承接所有基礎元件之內容來修改之，
如此將可以享受到更容易維護的優點。
然以此架構雖然可以應付大部分的狀況，但是仍然 會有許多可能的例外狀況出現，不同的使用者使用 不同的操作模式更有可能產生意想不到的結果，因 此如果要必須請多個使用者測試來發現問題並逐一 改善。
結論
本研究以急診檢傷為例開發一結合語音與觸控之多 模式互動護理資訊系統，藉以探討多模式人機介面 於護理資訊可用性之議題。結果顯示使用多模式人機 介面將可提升系統的容錯性，使用者並可透過搭配 不同互動模式來因應不同使用情境與狀況，截長補 短以達到工作效率最佳化。整體而言使用者對多模式 使用者介面的接受度高於單模式（純語音）。而於急 診檢傷的建議模式為以語音作為主要輸入工具，搭 配觸控螢幕之輔助。本研究所開發之系統整體效率與
容錯性則仍須加強。
本系統以護理人員所設計之模擬情境作為評估測試 時之情境，由於受測者所面對的是紙本的情境，因 此測試的結果應會與於真實情境所測試的結果有差距 除此之外，目前本系統的設計只能一次處理一個個 案，但與護理人員討論後，由於他們在進行檢傷時 ， 經常會同時處理多個個案，因此本系統未來也需有 此功能才能滿足需求。
未來本研究所開發之系統將可有兩個延續性的議題 ， 一為前端使用者介面可用性研究之延伸，一為後端 智慧型決策輔助元件設計之研究。前端之可用性研究，
除了可以依照測試後使用者所提供之意見持續改善 系統外，也可以繼續嘗試將不同的人機互動模式加 入多模式之組合，例如受測者曾經於測試時所提及 的手寫辨識以及指紋辨識等技術，以延伸探討多模 式人機介面之可用性。後端之檢傷病患元件的延伸性 亦是相當大，除可將元件之規格持續制訂的更完善 更適用外，目前本研究僅加入簡單之檢傷規則，未 來則可嘗試整合標準化之規則庫（如Arden Syntax）
讓系統更有彈性，能提供更有品質之決策輔助。
參考文獻
1. Spoken Language System. MIT Laboratory of Computer Science 2004 [cited 20040 Jun 30];2004Available from: URL:
http://www.sls.csail.mit.edu
2. Media Lab. MIT 2004 [cited 20040 Jun 30];2004Available from: URL:
http://www.media.mit.edu/
3. Media X. Stanford 2004 [cited 20040 Jun 30];2004Available from: URL:
http://mediax.stanford.edu
4. Group of User Interface Research. 2004 [cited 1906 30];2004Available from: URL:
http://guir.berkeley.edu/
5. Staggers N. Usability Concepts and Clinical Computing. In: Marion J.Ball KJH, editor. Nursing Informatics-Where Caring and Technology Meet.
Springer; 2000. p. 95-109.
6. Chang P, Tzeng YM, Sang YY. The Development
of Wireless PDA Support Systems for Comprehensive and Intelligent Triage in Emergency Nursing. Journal of Nursing(in chinese) 2003 Aug;50(4):29-39.
7. Speech SDK 5.1 for Windows applications.
Speech SDK 5 1 for Windows applications 2002 June 24 [cited 20040 Jul 1];Available from: URL:
http://www.microsoft.com/speech/download/sdk51 8. SONY PCV LX900. SONY 2004 [cited 2004 Jun
30];2004Available from: URL:
http://www.sony.com
圖4.1 基本起始畫面 圖4.2 輸入「來源」項目畫 面
圖4.3 輸入「到院」項目畫 面
圖4.4 輸入「護送」項目畫 面
圖4.5「主訴-症狀」項目 畫面
圖4.6「主訴-泌尿生殖」項 目畫面
圖4.7「主訴-五官」項目 畫面
圖4.8「主訴-神經」項目畫 面
圖4.9「主訴-皮膚」項目 畫面
圖4.10「主訴-精神」項目 畫面
