I
國立臺北護理健康大學資訊管理研究所碩士論文 National Taipei University of Nursing and Health Sciences
Graduate Institute of Information Management
指導教授:李烱三 博士 Advisor:Chiung-San Lee Ph.D.
以臉部視訊即時連續監測心率、心率變異、血壓之研究與實作
The study and implementation of a real-time monitoring heart rate, heart rate variability and blood pressure system by using face video
研究生:張治中 撰 Name: Chih-Chung Chang
中華民國一○三年七月十四日
July 14, 2014
I
II
誌 謝
在研究所這求學的兩年中,我終於完成碩士論文,感謝在這兩年出現在我生 命中的重要貴人,有你們的幫忙,讓我所面對到的難題都能迎刃而解。
首先,感謝我的指導老師李烱三教授的細心指導與教誨,讓學生能夠在醫療 領域上的專業更加卓越,感謝黃衍文教授、蘇崇彥教授、謝尚琳教授給予學生在 口試時的意見與肯定,讓學生的論文能更臻完善。
我要感謝研究所的學長丁安、建羽、明睿給了我很多論文的意見,感謝研究 所的同學曉婷、上良、姿涵、家賢及相漢在求學過程中的課業幫忙,感謝研究室 的學弟弘河及長均在我口試最忙的時候幫我處理很多事情,有你們的出現,讓我 這兩年的人生增添的許多美好回憶。
最後,感謝我的家人在我最忙碌與難過的時候,給我很大的支持與鼓勵,讓 我能在這求學的過程中堅持下去,也讓我回想起爸爸跟我講的一句話:『用勇氣 改變可以改變的事情,用胸懷改變不能改變的事情,用智慧分辨兩者的不同。』, 是這句話讓我無論如何要完成學業的決心,謝謝您。
張治中 謹誌於 2013年7月 國立臺北護理健康大學 資訊管理研究所
III
國立臺北護理健康大學資訊管理所碩士論文
研究所組別:資訊管理研究所
論文名稱:以臉部視訊即時連續監測心跳、心律變異、血壓之研究與實作 指導教授:李烱三 教授
研究生:張治中
時間:民國103 年6月
論文摘要
近年來,各個已開發國家均面臨高齡化與少子化的挑戰,因此各國也積極推 動醫療保健政策,自主健康管理也逐漸受到重視,目前市面上許多監測生理訊號 儀器皆以侵入式或接觸式為主,設備龐大,並且需要專業的技術人員操作,價格 也相對較高,故本研究希望透過非接觸式且較低成本的量測方式監測生理訊號。
本研究首先會使用 WebCam 進行人體臉部光譜提取,WebCam 所擷取到 RGB 三原 色,並且分離成三個通道,再計算出每張畫面下 G(綠光)的平均值,所累積的序 列訊號,再進行濾波、調整準位的演算法,從臉部區域的血液脈衝提取出心跳速 率加以計算出心率變異與連續血壓訊號並且監測情況。如心率有異常值出現時,
系統將會發出通報警訊。本研究以 WebCam 所量測出之心率、心率變異與血壓,
也與美國食品藥品管理局認證機器做誤差驗證,實作了量測距離從 50 公分拉長 為 150 公分誤差 4 下。
關鍵字: 攝相機、血液脈衝、心率、遠距照護、非接觸量測
IV
Abstract
In recent years, many developed countries have occurred the phenomenon of aging population and declining birthrate. It will form a new trend of self-health-management by using various instruments to get vital sign. Consequently, the market is flooded with invasive or contact instruments for monitoring physiological signals. However, these instruments require specialized technical personal to operate and they are expensive and difficult to carry. Therefore, many researchers propose various webcam-based measuring methods with non-contact and low-cost features to monitor the vital sign. In this paper, we capture the RGB light signals from the face image using webcam; then the G channel signal is band-pass filtered between 0.4 Hz to 5 Hz. And then, we can compute the peak-peak interval to get the heart rate and its variability. Finally, With the U.S. Food and Drug Administration machines do certification validation error. we measure the heart-rate from 18 volunteers and find that capturing whole-face image can get less error than capturing the video from the forehead in the 150 cm long away.
Keyword:webcam、 blood volume pulse、 heart rate、 telecare case、 non-contactmeasurement
V
目 錄
誌 謝 ... II 論文摘要 ... III Abstract ... IV 目 錄 ... V 圖目錄 ... VI 表目錄 ... VIII 縮寫對照表 ... IX
第一章 緒論 ... 1
第一節 研究背景 ... 1
第二節 研究動機 ... 2
第三節 研究目的 ... 3
第二章 文獻探討 ... 4
第一節 人臉眼睛偵測 ... 4
壹 膚色分割法 ... 4
貳 眼睛訊號處理 ... 6
第二節 PPG訊號介紹 ... 9
壹 PPG的原理介紹... 9
貳 目前經由臉部擷取PPG訊號量測心率現況... 12
第三節 心率、心率變異量測原理 ... 14
壹 心率介紹 ... 14
貳 心率變異介紹 ... 16
第四節 血壓量測分類與工作原理 ... 18
壹 侵入式血壓量測 ... 20
貳 非侵入式血壓量測 ... 20
參 非侵入式連續血壓量測 ... 22
第三章 研究方法 ... 26
第一節 研究步驟 ... 26
壹 研究流程 ... 26
貳 量測流程 ... 28
第二節 系統需求分析與架構設計 ... 30
壹 需求分析與設計 ... 30
貳 系統架構設計 ... 38
參 量測過程的正確性分析 ... 46
第三節 相關技術及開發工具 ... 57
第四章 研究結果與討論 ... 58
第一節 研究成果 ... 58
VI
第二節 研究限制 ... 65
第三節 討論 ... 66
第五章 結論與建議 ... 68
參考文獻 ... 70
圖目錄 圖 1膚色統計範圍圖[20] ... 5
圖 2原始圖片 ... 6
圖 3擷取膚色 ... 6
圖 4眼睛樣板搜尋圖[21] ... 7
圖 5連通元件作法示意圖[21] ... 8
圖 6篩選法示意圖[21] ... 9
圖 7 心臟收縮時PPG訊號波形圖[23]... 10
圖 8 心臟舒張時PPG訊號波形圖[23] ... 11
圖 9完整周期的PPG訊號波形圖[23] ... 11
圖 10 綜合學者發表擷取PPG訊號量測出心率流程圖 ... 13
圖 11不同膚色量測RGB三原色的訊號圖[2, 11] ... 14
圖 12量測示意圖[27]... 15
圖 13心率變異各頻帶定義圖[18]... 17
圖 14聽診法[40]... 21
圖 15加壓對壓脈帶充氣示意圖[41]... 21
圖 16洩氣對壓脈帶充氣示意圖[41]... 21
圖 17自動控制洩壓閥洩氣示意圖[41]... 22
圖 18 PTT示意圖[47] ... 23
圖 19振盪法做脈波傳遞時間與振盪法間歇性校正[48]... 24
圖 20 研究流程架構圖 ... 27
圖 21量測授權書 ... 29
圖 22擷取PPG訊號系統架構圖 ... 31
圖 23影像選取不同的位置(左邊為全臉,右邊為額頭) ... 32
圖 24全臉框位置之時域訊號 ... 32
圖 25全臉框位置之頻譜 ... 32
圖 26額頭框位置之時域訊號 ... 33
圖 27額頭框位置之頻譜 ... 33
圖 28擷取生理訊號演算法流程圖 ... 34
圖 29調整準位波形圖 ... 36
圖 30原始波形圖 ... 37
VII
圖 31sign函數處理波形圖 ... 37
圖 32一次微分處理波形圖 ... 38
圖 33系統架構圖 ... 38
圖 34量測心率系統流程圖 ... 39
圖 35擷取波峰波谷波形圖 ... 39
圖 36量測心率變異系統流程圖 ... 41
圖 37量測連續血壓系統流程圖 ... 43
圖 38 PPG訊號收縮壓與舒張壓時間示意圖[55] ... 43
圖 39 Sys血壓PTT線性回歸圖 ... 44
圖 40 Dia血壓PTT線性回歸圖... 45
圖 41量測假人的時域與頻域 ... 47
圖 42閥值調整圖 ... 48
圖 43 150公分閥值11量測額頭心率量測之相關性 ... 50
圖 44 150公分閥值12量測額頭心率量測之相關性 ... 50
圖 45 150公分閥值13量測額頭心率量測之相關性 ... 50
圖 46 150公分閥值14量測額頭心率量測之相關性 ... 51
圖 47 150公分閥值15量測額頭心率量測之相關性 ... 51
圖 48 150公分閥值11量測全臉心率量測之相關性 ... 53
圖 49 150公分閥值12量測全臉心率量測之相關性 ... 53
圖 50 150公分閥值13量測全臉心率量測之相關性 ... 53
圖 51 150公分閥值14量測全臉心率量測之相關性 ... 54
圖 52 150公分閥值15量測全臉心率量測之相關性 ... 54
圖 53校正擷取人臉圖 ... 59
圖 54擷取出感興趣區域 ... 59
圖 55去除眼睛部分 ... 60
圖 56取出綠光資料 ... 60
圖 57訊號分析波形圖 ... 61
圖 58量測出波峰波谷波形圖 ... 62
VIII
表目錄
表 1 綜合各學者的基本設定 ... 12
表 2不同年齡層的目標心臟速率與最大心率表[28] ... 16
表 3心律變異度頻域分析測量指標、定義及臨床意義[30] ... 18
表 4綜合不同血壓的量測方法的優缺點比較表[31] ... 19
表 5擷取生理訊號演算法流程比較表 ... 35
表 6量測心率統計表 ... 40
表 7量測HRV心率變異統計表 ... 42
表 8量測Sys血壓統計表 ... 44
表 9量測Dia血壓統計表 ... 45
表 10 150公分量測額頭心率統計表... 49
表 11 150公分量測全臉心率統計表 ... 52
表 12實測運動前後心率統計表 ... 54
表 13 實測10人150公分擷取全臉量測Sys統計表 ... 55
表 14 實測10人150公分擷取全臉量測Dia統計表 ... 56
表 15 150公分量測全臉心率與心率變異成果... 63
表 16心率誤差比較表 ... 64
表 17 血壓誤差比較表 ... 64
表 18 各種血壓量測優點比較 ... 67
表 19 各種血壓量測缺點比較 ... 68
IX
縮寫對照表
英文縮寫 原文 中文名稱
HR Heart Rate 心率
HRV Heart Rate Variability 心率變異
BP Blood Pressure 血壓
FDA Food and Drug Administration 美國食品藥局管理局
LD Laser Doppler 激光多普樂效應
MDR Microwave Doppler Radar 維波多普勒雷達
TI Thermal Imaging 熱影像
MIT Massachusetts Institute of Technology 美國麻省理工學院
PPG PhotoPlethysmography 光體積描繪訊號
BVP Blood Volume Pulse 血液量脈衝
CS Cuff Sphygmomanometer 袖帶血壓計
PP Palpatory 觸診
OM Oscillometric Method 壓力示波法
WHO World Health Organization 世界衛生組織
DAA Declaration of Alma-Ata 阿瑪阿塔宣言
CCD Charge-Coupled Device 電荷耦合元件
AHA American Heart Association 美國心臟協會
1
第一章 緒論
第一節 研究背景
隨著全球人口數量逐漸攀升,以及醫療資訊的改良與突破,非接觸式的量
測開始受到重視,以非接觸的方式量測也可以大幅降低病人之間的交互感染風 險與方便性,進一步能夠廣泛的推廣到每個人的家中做使用,目前非接觸式的 量測心率(Heart Rate, HR)方法已經多次被探討[1-7],目前的非接觸式來監測病 人的生理訊號有,激光多普勒效應(Laser Doppler)[8]、維波多普勒雷達
(Microwave Doppler Radar)[9]、熱影像(Thermal Imaging)[9]。以上的非接觸式測 量心率和心率變異的方法共同缺點在於系統非常昂貴,需要特別的硬體與專業 人員進行操作。
本論文提出了一個低成本和非接觸式的方法,利用WebCam來擷取人臉部影 像,用來測出心率並且自動的監控、心率變異、血壓,利用光體積描繪圖訊號 (PhotoPlethysmoGraphy, PPG)[10, 11],通常PPG採用專用的光源(如,綠色和紅外 線的波長),由檢測心腦血管的血液量脈衝(Blood Volume Pulse, BVP),透過透射 或是反射光產生的變化,擷取出BVP,容器中的含氧血紅蛋白吸收綠色光(波長:
400 – 550nm)超過其他顏色的亮光,結果也證明了透過綠色光波人臉可以量測
出心跳速率(Heart Rate, HR)的訊號[2, 12]。
目前以非侵入式測量血壓方法已經多次被探討[13-15],而目前非侵入式測 量血壓方式有,袖帶血壓計(Cuff Sphygmomanometer)、觸診(Palpatory)、壓力示
2
波法(Oscillometric Method),以上的非侵入式測量血壓方法共同的缺點在於不能 即時連續量測血壓情況,必須要以加壓的方式量測非常不方便。
第二節 研究動機
全球人口正快速的老化,已經成為各國重視的議題,因為高齡化與少子率的
趨勢,以及生活水準的提升,各種文明疾病的產生,人們開始對於健康更加重視,
讓 健 康 自 主 管 理 的 意 識 逐 年 更 受 到 關 注 。 世 界 衛 生 組 織(World Health Organization, WHO) 也在阿瑪阿塔宣言(Declaration of Alma-Ata)[16]中提倡健康 社區概念,強調「落實基層的醫療保健來促進民眾之健康,以達成全民健康的目 的」。根據WHO 的調查心血管疾病是全球十大死因之一,死於心血管疾病的問 題主要是因為心臟病與中風…等原因[17],然而目前醫學測量儀器中都會有接觸 和侵入性的設備,例如探頭、導管與電纜等。為了可以減少直接接觸與侵入的風 險,降低電器和化學物品的間接傷害,因此如何減少裝載在病人上的裝置,特別 是與病人的皮膚直接接觸的機會,是一個值得探討的問題。
心率、心率變異、血壓都是人體健康情況重要的指標,能夠即時連續監控心
率、心率變異、血壓的變化,便可更加了解目前身體心臟的負荷量,而達到監控 的功能,透過心率的波峰到波峰之間的時間差的變化能進一步得知心率變異,心 率變異分析能夠作為交感神經與副交感神經作用的指標[18]。
Leslie Cromwell等人也表示,非接觸式且即時量測連續的心率、心率變異以 及血壓對於醫療保健的應用包含了電子衛教、電子病歷、醫政電子化、遠距醫
3
療,遠距醫療的應用是最為彰顯效益的[19],希望以這樣的方式能彌補在偏遠 地區的醫療資源分配的缺乏。
第三節 研究目的
本研究目的在於設計一套易操作且方便的量測生理訊號方法,透過WebCam 擷取人臉訊號,取出綠色波長的樣本訊號並加以進行演算,就能即時連續量測出 該使用者的心率、心率變異與血壓的生理參數,進一步對使用者目前生理情況提 出警示對於醫療保健服務、長期照護、遠距健康照護,將會受到一定的衝擊,個 人化的健康管理發展也受到重視,以低成本與增加儀器方便性,更加能廣泛推廣 到每個人的家庭中,以大幅提升遠距照護的品質,也能節省醫院資源的浪費,並 且合理的得到分配與運用。本研究之具體目標如下列所述:
1. 非接觸式的量測:經由非接觸式的量測避免電器與化學藥劑接觸皮膚,在公 共衛生與疾病交叉感染上,都可以大幅地降低傷害風險。
2. 即時連續的監測:可以即時且連續的監控生理參數,包含心率(Heart Rate,HR)、 心率變異(Heart Rate Variability,HRV)、血壓(Blood Pressure,BP)的生理參數。
3. 低成本且易操作:利用 WebCam 低成本的電荷耦合元件(Charge-Coupled Device,CCD)鏡頭,自動擷取人臉訊號並量測出生理參數,也不需要透過專業人 員進行操作。
4
第二章 文獻探討
本章節主要探討:抓取感興趣區域的偵測公式、PPG 訊號的介紹與目前所 使用的演算處理流程、心率與心率變異的量測方法及工作原理、最後是介紹目前 侵入式與非侵入式的血壓量測以及利用單一 PPG 訊號做非接觸式即時連續量測 血壓工作原理。
第一節 人臉眼睛偵測
透過 WebCam 拍攝人臉並擷取感興趣區域的訊號方法,人臉影像偵測與人
臉眼動訊號的處理,為了減少雜訊與外來訊號的干擾,我們需要經由WebCam 做 人臉影像偵測與人臉眼動訊號的處理來界定感興趣的區域,避免擷取出我們不 需要的訊號,藉以增加準確度。
壹 膚色分割法
人臉辨識經常使用膚色分割法透過特徵擷取出人臉膚色[20],所擷取到的圖 片經過正規化轉為RGB的方式,再由RGB的色彩空間轉換成NCC彩色空間,
RGB的色彩模型對於光線強弱有很高的靈敏度,將RGB轉換到NCC彩色空間如 式(1)與(2):
r = 𝑅+𝐺+𝐵𝑅 (1)
g = 𝑅+𝐺+𝐵𝐺 (2)
式(1)是用於紅色的像素正規化,並可以降低紅色系數對於亮度的依賴程 度,同理可證,式(2)是用於綠色的像素正規化,並可以降低綠色係數對於亮度
5
的依賴程度。
如圖 1所示,對於在膚色統計範圍中,若X軸代表r,Y軸代表g,可以觀察 到膚色的範圍分佈將會集中,X軸的範圍大約集中在0.25到0.625之間,Y軸的 範圍大約集中在0.2到0.4之間。
圖 1膚色統計範圍圖[20]
所以可以導出兩個方程式定義出膚色的上界𝐹1(𝑟)與下界𝐹2(𝑟),如圖 1所示兩 條黃色的曲線為式(3)與(4)
F1(𝑟) = −0.1376𝑟2 + 1.0743r + 0.1452 (1)
F2(𝑟) = −0.776𝑟2 + 0.5601r + 0.1766 (2)
由於白色(r=0.33且g=0.33)也會在定義的範圍中,所以要加條件是做排除,如公 式(5):
W = (𝑟 − 0.33)2+ (𝑔 − 0.33)2 (3)
結合以上的條件式,可以定義出膚色的範圍
S = {1, 𝑖𝑓((𝑔 < 𝐹1(𝑟) &𝑔 > 𝐹2(𝑟))&( 𝑤 > 0.0004))
0, 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒 (4)
6
圖 2原始圖片
圖 3擷取膚色
如圖 2 所示為原始圖片,圖 3 所示左邊為 Webcam 所擷取到的原始圖片,
右邊是經由式(6)定義出膚色範圍處理後的情況,將擷取出人臉膚色的特徵。
貳 眼睛訊號處理
為了可以擷取出我們所感興趣的區域(Region of Interest, ROI),因為眼動的 訊號有很大的干擾,將透過眼睛辨識將不感興趣的部分去除,所以在畫面中要搜 尋出眼睛的特徵需要經由四個步驟將眼睛的區域擷取出來並且減去,眼睛辨識 演算法四個步驟如下[21]:
影像前處理:避免雜訊的干擾(Signal Noise),前處理的過程非常重要,
用簡單的低通濾波器(Low-Pass Filter)做處理,來消除畫面中的雜訊濾波
7
器如式(7):
O(i, j) = ∑𝑚𝐾=1∑𝑛𝑙=1𝐼(𝑖 + 𝐾 − 1, 𝑗 + 𝑙 − 1)𝐾(𝐾, 𝑙) (5)
如式(7)所示,O(i,j)為輸出的影像,座標(i,j)表示灰階度;I 表示為輸入的影 像;K表示影像遮罩(Mask)。透過以上的前處理,可以除去因為眼鏡所產生的反 光或是高頻的雜訊,可以減少後續的誤判的發生
眼睛樣板搜尋:為了擷取出眼睛的位置,我們必須先分析出瞳孔在影像 的特徵,瞳孔的特徵如下:
1. 瞳孔在灰階影像中的灰階度,幾乎等於零。
2. 瞳孔的中心位置,較周圍暗:而且式呈現一個圓形。
圖 4眼睛樣板搜尋圖[21]
如圖 4所示,需要找出眼睛的樣板,設定了一個固定樣板的辨識遮罩,
利用這樣的遮罩模板對影像逐一的掃描,同時計算與中心點周圍四個不 同區域的灰階程度:當周圍都比中心亮時,而且中心點的灰階程度接近 255時,就會自動判別該區為可能為眼睛的區域。透過這樣的樣版可以 擷取出瞳孔的位置。但這樣的樣版可能會造成誤判,例如:將鼻孔誤判 為眼睛的問題。
篩選/過濾眼睛區域:為了要克服上一個流程的誤判情況,利用連通元件
8
(Connected Component Labeling)的方法,來篩選出最終的眼睛區域,在 連通元件中將採用八相鄰(8-Connectivity)來定義出像素跟像素是否有連 接性。如圖 5所示,i 為掃描的區塊中心點位置;j為中心點 i的上下、
左右隨意鄰居點;如果鄰居點j與中心點i的灰階度相等,j就與 i相連 接。
圖 5連通元件作法示意圖[21]
為了要加速連通元件的計算處理速度,會加上區域的編碼(Region ID)與 像素資訊(Pixel Info.)的對應表。利用以下的方法進行掃描,連通元件的演算 法如下:
1.掃描整張圖片由上到下,由左而右。
2.掃描到的像素(x,y)為背景時,標記為 0。
3.如果掃描為前景時,利用對應表查詢四個相鄰的像素點查看是否有相 對應的區域編碼;如果有相對應的區域編碼,則將該點以連接長度最長 的區域編號進行標記;如果沒有,則以新的區域編碼進行編號。
4.掃描結束後,可以由對應表中得到連通元件。
完成連通元件後,再利用各區域之間的集合關係進行篩選,例如:在標 示區域1的中心點位置,取一個適當的半徑,檢視在半徑中是否有其他的區 域存在(區域 2、區域 3),如果有存在,就剔除該區域(區域 1)所搜尋到的區
9
域(區域2、區域3)。這樣的篩選法,如圖 6所示。
圖 6篩選法示意圖[21]
擷取要去除的區塊:透過篩選/過濾眼睛區域的方法,可以抓出兩隻眼睛 的中心點,將兩隻眼睛的中心點連線,經由這條線設定出一個 Y軸上下 2、X軸左右8的長方形,設定為將要減去的眼睛區域的長方形區域。
第二節 PPG 訊號介紹
本章節將探討透過 WebCame 擷取光源反射所得到的光體積描繪圖訊號
PPG(PhotoPlethysmoGraphy) 訊號,擷取出PPG訊號後加以計算與演算便可以得
出我們想量測出的生理訊號,一般所擷取 PPG 訊號的方法都為非侵入式紅外線 的量測法,而本章節將會探討利用 WebCam做非接觸式的量測出 PPG訊號。
壹 PPG的原理介紹
PPG(PhotoPlethysmoGraphy) 訊號可經由Webcam來取得。PPG訊號是透過 皮膚依照光感測元件吸收光線反射能量的原理,會擷取到光線反射的變化而量 測出訊號。光在細胞組織裡會被生物細胞吸收進而產生週期變化,如骨骼、皮膚、
10
動脈血管都會造成在細胞組織裡光速度都有所不同。當心臟的運動跳動週期,造 成血管內單位面積的血流量改變成週期性的變化,當血液體積產生改變時,光感 測元件也會隨著血管體積的變化而擷取相對感應電壓變化,再經由類比轉數位 原件(Analog-to-Digital Converter,ADC)取樣出 PPG訊號,吸收最多光反射的時候 為心臟收縮時期,光被血管內血紅素所吸收,所以 PPG 訊號的振幅會隨著血管 內血液輸出輸入的變化成正比的改變[22] [23]。
PPG 訊號是由兩個時期部分合成的,由靜脈血液、動脈血液運動所產生的 脈動成分,造成吸收光成分的差異度;當心臟收縮時,血液會傳輸到全身,造成 血管內壓力、血液體積產生連續週期的變化,此時手部末梢所量測到的 PPG 波 形就會如圖 7所示[23]。
圖 7 心臟收縮時PPG訊號波形圖[23]
在血液傳輸到心臟時,壓力會升高,當血液從心臟傳輸到全身時會造成血液 裡的壓力下降,此時因為血液的傳輸經過人體循環回到心臟,撞擊到心臟的瓣膜 造成血液反射現象再,經由手指末梢量測到的PPG訊號波形會如圖 8 中較短粉
11
紅色的曲線所示[23]。
圖 8 心臟舒張時PPG訊號波形圖[23]
綜合以上一個完整的 PPG 訊號波形是由心臟收縮及心臟舒張,這兩種生理 變化所綜合而成的結果,如圖 9藍色的虛線所示[23]。
圖 9完整周期的PPG訊號波形圖[23]
如圖 9中的PPG訊號是由心臟的收縮與舒張對血管壁衝擊所受到壓力作用 的綜合效應;同時,PPG 訊號和血壓同時也收到自主神經系統與血管本身的情 況(如:血管順應性、血液的濃稠度)影響,不過對於 PPG和血壓之間仍然有很高 的相對關係性,所以我們可以直接透過 PPG 單一訊號和血壓的數據來分析它們 之間的相對關係。
12
根據前一段的敘述,血管中血液的流動會隨著心臟的收縮舒張,而產生週期
的變化。進而形成血壓也有周期性變化,而透過有彈性的血管會造成連續性的壓 力變化,血管的擷面管徑也會跟著改變血管的直徑大小;這樣的變化會造成血壓 呈現連續性的情況。在量測連續性的變化物質,大多採用光的特性,主要透過光 學中光折射的特性,光會在血管內發生偏折,再由偏折的角度,計算出血管內連 續性的變化產生的波形[24]。
貳 目前經由臉部擷取 PPG訊號量測心率現況
透過WebCam偵測臉部感興趣區域擷取出PPG訊號後需要再做數位訊號處
理,去除不必要的雜訊讓生理訊號更為明顯,偵測判別出心率訊號,加以計算出 心率。根據 Ming-Zher Poh、Lorenzo Scalise、Lluís Capdevila[12, 25, 26] 分別在
2011、2012發表對於處理 PPG訊號得到心率的演算流程,首先探討每位學者硬
體的設定與量測距離如表 1所示。
表 1 綜合各學者的基本設定
年份 作者 距離 解析度
Webcam讀取的 資料型態
FPS (Frames
Per Second) 2011 Poh Ming-Zher 50 公分 640×480 24-bit RGB三個通道×8bits 15FPS 2012 Lorenzo Scalise 20公分 320×240 24-bit RGB三個通道×8bits 15FPS 2012 Llu2S Capdevila 未敘述 640×480 24-bit RGB三個通道×8bits 15FPS
13
根據上述綜合的表格來看,距離約可以在鏡頭前 20 公分~50 公分,並且讓
受測者自主呼吸靜止不動,FPS 皆設定為15FPS,分辨率為 320×240~640×480,
都是透過24bit 三原色(RGB)三通個通道×8bit的資料型態,因為後續的演算流程
都是將三原色(RGB)的綠色(G)的通道分離出來計算,如圖 10所示。
圖 10 綜合學者發表擷取PPG訊號量測出心率流程圖
如上圖 10 所示,皆透過人臉辨識取出感興趣的區域(Region of Interest, ROI), 分量出 RGB 三個通道,並且擷取綠光(G)的通道,再將每張綠光(G)的像素平均 起來成為一個點,最後經由獨立分量分析法(Independent component Analysis, ICA) 去除移動位影的問題或是透過帶通濾波(Butterwoth)二階濾波器濾出心率的頻帶 寬度。
根據Ming-Zher Poh、John[2, 11] 作者在2007年與 2011年實作評估了不同 膚色的人透過綠色光源的波長,結果證實了綠色光源的波長最能擷取到人的心 臟脈動週期進而計算出心率變異與血壓,如圖 11所示,可以看到與不同膚色的
14
人分別量測出RGB 三個通道的訊號,從綠色訊號中可以看見明顯的心臟脈動訊 號。
圖 11不同膚色量測RGB三原色的訊號圖[2, 11]
第三節 心率、心率變異量測原理
壹 心率介紹
根據美國心臟協會 (American Heart Association)[27] 的表示,心臟速率或是 脈搏是以每分鐘心跳動的次數來計算,心臟速率變化可做為了解心臟是否健康 的重要參數之一。如圖 12 所示,尋找脈搏量測的地方如下:
手腕
胳膊的內側
脖子側邊
腳的頂端
15
圖 12量測示意圖[27]
一般正常人的心率通常介於60~100(次/分)之間,若每分鐘低於60下而沒有 不舒服的狀況,即有可能是服用的藥物影響,會影響心率的因素如下:
空氣溫度:當溫度和濕度突然升高,心臟會輸送比較多的血液,所以脈 搏可能會增加,但一般不會超過一分鐘5~10下。
身體姿勢:處於休息狀態的站與坐姿勢,其脈搏通常是相同的。當站起
15~20 秒,脈搏可能會升高一點,而情緒也會影響脈搏的快慢。
身高體重:若身材較為肥胖,心臟速率會比正常人高一些。
用藥:如β受體阻滯劑,這類的藥物都會影響心臟速率跳動的降低,甲 狀腺藥物或過高的劑量會提高心臟速率跳動。
美國心臟協會(American Heart Association)[28] 指出,不同年齡層目標心率 與平均最大心率的次數,如表 2所示。
16
表 2不同年齡層的目標心臟速率與最大心率表[28]
年齡(歲) 目標心臟速率(次/分) 平均最大心率(次/分)
20 100~170 200
30 95~162 190
35 93~157 185
40 90~153 180
45 88~149 175
50 85~145 170
55 83~140 165
60 80~136 160
65 78~132 155
70 75~128 150
貳 心率變異介紹
根 據 美 國 心 臟 協 會(American Heart Association)[18]量 測 HRV(Heart rate variability)分為時域的方法與頻域的兩個方法分析,解釋如下:
時域方法:時域的評估方法會檢測R峰,每個波形最大的振幅量測出R-R峰 的波峰到波峰之間的時間差,計算與分析其相連心跳間時間序列的關係,得 時間差為HRV的值[29]。
頻域方法:透過離散傅立葉演算(Discrete Fourier Transform,DFT)將心跳間 隔的時間序列轉為頻域,以功率頻譜密度(en:Power spectral density, PSD)或是 頻譜分佈(Spectral distribution)的方式呈現。在 1996 年為心率變異各頻帶定 義出新的標準,如圖 13 所示。
17
圖 13心率變異各頻帶定義圖[18]
如 表 3所示[30],每個頻帶寬度都具有相對應的臨床意義,透過HRV 的頻譜分析可以得知交感神經與副交感神經的作用,高頻通常代表反映副交 感神經的活性指標,低頻通常同時受到交感與副交感神經系統的控制,極低 頻範圍的功率(VLFP)大約小於 0.04Hz,低頻範圍的功率(LFP)大約 0.04Hz到
0.15Hz 代表反映交感與副交感神經的活性,高頻頻範圍的功率(HFP)大約
0.15Hz 到0.4Hz代表副交感神經活性。
18
表 3心律變異度頻域分析測量指標、定義及臨床意義[30]
指標 單位 定義
頻譜 範圍
臨床意義
總功率 total power, TP
ms2
全部正常心跳間 期之變異數高 頻、低頻、極低
頻的總和
≤0.4Hz 整體心律變異 度評估
極低頻範圍功率
very low frequency power, VLFP ms2 極低頻範圍正常 心跳間期之變異
≤0.04H z
生理意義不明
低頻範圍功率
low frequency power, LFP ms2 低頻範圍正常心 跳間期之變異數
0.04- 0.15Hz
代表交感與副 交感神經活性
高頻範圍功率
high frequency power, HFP ms2 高頻範圍正常心 跳間期之變異數
0.15- 0.4Hz
代表副交感神 經活性
標準化低頻功率 normalized LFP, nLFP
標準化單 位,n.u.
LF/(TP-VLF) 交感神經活性 定量指標 標準化高頻功率
normalized HFP,nHFP 標準化單 位,n.u.
HF/(TP-VLF) 副交感神經活 性定量指標 低、高頻功率的比值
LF/HF 無單位
低、高頻功率的 比值
代表自律神經 活性平衡
第四節 血壓量測分類與工作原理
目前量測血壓的方法可以區分為兩種:
侵入式(Invasive) 測量
非侵入式(Noninvasive) 測量
對於侵入式的量測方法,通常會需要專業的醫療人員來進行操作,在使
19
用上也有許多的限制。一般市面上常見的大多為非侵入水銀式血壓計與電 子血壓計,但水銀式血壓計因透過幫浦打氣加壓的方式,只能在一段時間量 出一個血壓值,所以無法清楚詳細的紀錄血壓的變化與曲線波動情形。在連 續性的血壓量測系統上有考量到長時間的連續量測的情形,不透過打氣的 方式做測量,除了減少使用者的負擔,而且能免除透過幫浦打氣的方式造成 的血液不流通之問題。如表 4 所示為綜合不同血壓的量測方法的優缺點比 較表[31]。以下的章節將會說明每個血壓量測的方法與原理。
表 4綜合不同血壓的量測方法的優缺點比較表[31]
量測方法
比 較 項 目
侵 入 式
聽 診 法
震 盪 法
脈波 傳遞 時間
脈波傳遞 時間 間歇性較正
衡壓 低壓
血壓動態 追蹤之 低壓量測
動作雜訊 (Motion Artifact)
O O O O O O
收縮壓 O O O O O O O
舒張壓 O O O O O O
平均壓 O O O O O
動態連續 O O O O
操作方便 O O O O
危險性 O
20
壹 侵入式血壓量測
英國的學者 Stephen Hales 在 1773 年使用長黃銅管直接插入馬匹的頸動脈 中,使血液上升至平衡的高度換算壓力值,銅管內血液高度為約八呎三吋(約為
251.46 公分),經由此侵入式的方法求得馬匹的動脈血壓。將導管(catheter)插入
體 內 來 量 測 的 方 法 我 們 稱 它 為 侵 入 式 血 壓 的 量 測(Invasive Blood Pressure, IBP)[32-35]。
以侵入式來量測血壓的方法可以進行監測連續性的血壓變化,但需要專業 的醫療人員操作,由於將導管插入體內,會讓受測者不舒服可能引發血栓與傳 染病的風險問題。一般都是在加護病房才能進行連續血壓的監測。通常有導管 (Catheter)沿周邊血管插入橈動脈(Radial Artery)或左心室(Left Ventricle)這些侵入 式的量測血壓方法,持續測量心臟的功能,相當高的準確度[36]。
貳 非侵入式血壓量測
非侵入式的量測非常的廣泛,通常都是使用水銀式的血壓計利用聽診法
(Auscultation Method)的方式,或是使用電子式血壓機運用振盪法(Oscillation
Method)。
聽診法(Auscultation Method)
目前聽診法是最普遍的方法,工具包含壓脈袋(Cuff)、加壓球(Hand Bulb)、 聽診器和水銀壓力計,測量時利用壓袋包裹住受測者上臂,並將聽診器 放置在壓脈帶中靠近手肘肱動脈處,如圖 14所示。開始加壓對壓脈帶
21
充氣,當充氣大於人體收縮壓時,動脈血管會受到擠壓達到完全閉塞的 情況,在動脈內的血液將無法流動,如圖 15所示。接著大約每秒3mmHg 的洩氣速度放氣,藉由聽診器可以聽到血液的衝擊聲,此聲音就稱為克 羅特克夫音效(Korotkoff Sounds),當聽到第一次的聲響,水銀血壓計上 的讀值,就為收縮壓:當壓脈帶壓力小於血官的壓力就會不會形成堵塞,
如圖 16 所示,這時候就不會產生聲音,水銀血壓計上的讀值,就為舒 張壓[37-40]。
圖 14聽診法[40]
圖 15加壓對壓脈帶充氣示意圖[41]
圖 16洩氣對壓脈帶充氣示意圖[41]
22
振盪法(Osillation Method)
振盪法是利用壓力感測器來偵測壓脈帶內壓力的變化,藉以來判斷出收 縮壓與舒張壓和心跳數。振盪法的量測過程與聽診法大同小異,對著壓 脈帶充氣,充氣到大於人體收縮壓後,在自動控制洩壓閥洩氣。如圖 17 所示,在圖中的壓力曲線為在閉塞時所產生的震盪,透過壓力曲線可以 找出相對應的第一個壓力訊號變大時的時間點,就為收縮壓,透過壓力 曲線找出振幅突然變小此點就為舒張壓,目前的情況收縮壓和舒張壓訊 號要擷取出振幅突然變大變小的演算法,每家廠商所設計的有所不同,
所以對於量測出的血壓值都會有些微的差距[32, 34, 42]。
圖 17自動控制洩壓閥洩氣示意圖[41]
參 非侵入式連續血壓量測
許多文獻中也提到非侵入式且即時連續的量測血壓是醫療保健應用的首選 [43],這樣的方法適用於手術房或是加護病房,對於不管是心血管疾病或是預 防醫學,即時且連續的血壓量測是一個重要的生理參數[44]。對於連續量測非 侵入式的血壓方法,約有以下幾種方法:
23
脈波傳遞時間(Pulse Wave Transit Time/Pulse Transit Time)
脈波傳遞時間與振盪法間歇性校正
低壓連續量測
恆壓低壓法
具有血壓動態追蹤功能之連續血壓量測
以下將會簡單的敘述一下每個非侵入式連續量測的方法與原理。
(1) 脈波傳遞時間(Pulse Wave Transit Time/Pulse Transit Time)
脈波傳遞時間(PTT)的非侵入式連續量測[45-47],是指 ECG 與 PPG 訊號波 峰到波峰的傳遞時間,脈搏從心臟傳到指尖的傳遞時間,透過這段時間差基於血 液波動能量與重力位能轉換推倒而來,其推導如式(8):
BP = 1
0.7(1
2 𝑝∙𝑑2
𝑃𝑇𝑇2+ 𝑝 ∙ 𝑔 ∙ ℎ) [47] (6)
模型的係數與參數分別為𝑝、𝑔、ℎ、𝑑分別表示為血液濃度、重力常數
(9.8m/s2)、身高與脈波傳遞距離。如圖 18所示,可以看出ECG的R波峰的點到
光體積描繪圖訊號(Photoplethysmograph, PPG),這段時間為PTT的值。
圖 18 PTT示意圖[47]
24
這樣的方法適合於長時間量測血壓不會對受測者造成負擔;但依照公式(8)只能 換算出收縮壓(Systolic Pressure),沒有辦法轉換出舒張壓(Diastolic Pressure),
此方法的模型還要透過擷取ECG的訊號的參數的缺點。
(2) 脈波傳遞時間與振盪法間歇性校正
因為PTT 的方法無法取得舒張壓的缺點,所以利用 PTT搭配以每兩分鐘一 次的頻率,透過振盪法做脈波傳遞時間與振盪法間歇性校正的方法,可以推估出 連續的收縮壓及舒張壓,如圖 19 所示[48],此方法雖然可以推估出連續的收縮 壓與舒張壓,脈波傳遞時間與振盪法間歇性校正可能會對受測者產生不適感,而 且要先取得所有參數透過PTT 的公式,有許多不方便。
圖 19振盪法做脈波傳遞時間與振盪法間歇性校正[48]
(3) 低壓連續量測
在 1973 年有學者 Penaz 發表出一個用血管無負載技術(Vascular Unloading
Technique)量測出連續的血壓訊號,準確度很高[49-52],不過因為需要透過壓力 高的壓脈袋進行量測容易造成受測者不適的缺點。所以後來有學者提出利用低 度壓力量測的方法[33, 34, 53],低壓力量測的原理是在壓脈袋中保持固定低壓力,
25
透過壓力感測器來感測壓脈袋內微小的改變,再透過放大器與濾波的程序擷取 訊號,提供出腕部脈波的即時變化。此種測量法最大的好處在於使用低度壓力,
可以減少受測者的不適感,也適合做長時間的量測。
(4) 恆壓低壓法
恆壓低壓法分兩個部分[33],第一個部分先透過傳統的的振盪法,利用高壓 的方式,找到收縮壓、舒張壓以及平均壓三個參數。第二個部分將會轉換為低壓 模式,把壓脈袋的壓力轉成低壓模式,偵測出振盪的幅度,依照第一個部分的參 數,來轉換成血壓值。
(5) 具有血壓動態追蹤功能之連續血壓量測
本方法是利用恆壓低壓法[33, 34, 53]的觀念,對於轉換公式如式(9)與(10):
(7)
(8)
分別在𝑀0、𝑆0、𝐷0表示為利用振盪法所求得的平均血壓、收縮壓、舒張壓 的參數,單位是毫米汞柱(mmHg)。如式(10)的𝑉𝑎、𝑉𝑏、𝑉𝑐分別表示進入低壓模式 後第一筆資料的波峰、平均以及波谷,單位為伏特(V)。
26
第三章 研究方法
本章節依序說明研究步驟、系統需求分析與設計、相關技術應用及開發環境 與工具。
第一節 研究步驟
本研究主要是設計一個以非接觸式的方法,透過擷取 PPG 訊號、生理訊號 轉換流程演算法、生理參數轉換公式,來量測出心率、心率變異與血壓生理訊號,
並且建置出一套系統,透過此系統還可以提醒使用者異常的心率值,發出警訊。
壹 研究流程
研究流程從研究背景、動機及目的、文獻探討、研究方法、研究結果與討論、
結論與建議,如圖 20所示。研究背景探討了目前所有利用非侵入式的方法來量 測出心率、心率變異、血壓的方法,透過文獻探討,了解量測出來的生理訊號,
並且利用許多學者所提出的方法加以精進與改良出一套新的演算法流程,在研 究方法中定義出擷取PPG訊號、取出生理訊號演算法流程與生理參數換算公式,
最後實作為三個系統,並且設計出三個模組,透過三個模組可以一次取出心率、
心率變異與血壓的生理數值。
27
研究背景
研究動機與目的
文獻探討
研究方法
結論與建議
血壓量測分類與工 作原理
定義實作範圍
系統實作
生理參數換算公式 擷取PPG訊號 取出生理訊號
演算法流程
量測連續血壓系統 量測心率系統 量測心率變異系統 心率、心率變異量
測與工作原理 人臉影像偵測 PPG訊號介紹
研究結果與討論
圖 20 研究流程架構圖
28
貳 量測流程
測試20名樣本,包含男性與女性,年齡範圍介於20~30 歲,所有量測過程 皆經過參與者的同意。於實驗室內進行施測,燈光照明為一般環境的日光燈並在
Webcam旁邊加裝固定光源以穩定量測光源,使用Logitech-HD720p型號的網路
攝影機,測試者坐著並面對WebCam,距離約50公分與150公分,量測感興趣 區域全臉與額頭的部分,在量測的過程中會給受測者配戴 APEX SB100 型號的 血氧儀器,左手配戴 LEVER CHEK TD-3250型號的血壓機。要求測試者在實驗 過程中保持禁止不動的狀態並自主呼吸,每次測試時間為 30 秒。記錄了 24-bit 的RGB 三個通道,每秒30 fps為640×480像素解析度。在系統量測前都會先與 口頭告知授權書內容,再請受測者確認授權書之內容並且簽名與日期,量測授權 書如圖 21 所示。
29
圖 21量測授權書
30
第二節 系統需求分析與架構設計
本章節先進行系統需求分析及系統架構,再依其規劃系統之功能,以建置出 符合研究之系統。
壹 需求分析與設計
本研究在建置一套非接觸式透過 WebCam 擷取人臉訊號,換算出心率、心 率變異、血壓等生理訊號,本章節首先會先探討如何透過 WebCam 來擷取人臉 的系統架構設計,依序探討本研究所提出擷取出生理訊號的演算法流程跟以往 過去學者所提出擷取出生理訊號的演算法流程相關的差異,最後將會敘述與說 明如何將擷取到的訊號透過演算與公式換算成生理參數。
本研究系統包括量測心率系統架構、量測心率變異系統架構、量測血壓系統 架構等三個子系統,將依序分析之。
(1) 擷取PPG訊號
本研究利用 WebCam 低成本且方便的方式來量測出使用者的心律變異訊號,
使用者只要將臉靠近WebCam就可以測出即時的心律變異訊號,並且透過PC來 記錄與監測使用者的生理情況,進而達成長期且持續的健康照護。
31
圖 22擷取PPG訊號系統架構圖
透過WebCam上的電荷耦合元件(Charge-Coupled Device,CCD)圖像感測器,
如圖 22 所示,當光線投射到感測器表面時,將會產生電荷,電荷訊號將會被轉 換為電壓訊號,按照時序將圖像產生並且輸出,再透過類比數位轉換器(Analog-
to-Digital Converter,ADC)轉換將類比電壓訊號轉為數位訊號,經由 USB 串列傳
輸至PC,運用了影像辨識、數位訊號處理等技術,運算大量的資料與分析,得
出使用者的生理訊號。本系統量測時間為 30秒同時會安裝血氧機與幫浦式血壓 機在受測者的兩手,量測的同時也記錄下經由 FDA所認證儀器的生理參數,最 後統計三組儀器所量測到受測人的生理參數,再計算各生理參數的平均誤差。
本研究實測了全臉與額頭的感興趣區域,如圖 23所示,並且分析時域訊號 與頻譜訊號,如圖 24所示為偵測全臉位置的時域訊號可以看出明顯的心率波形,
反之,如圖 26 非常不明顯,如圖 25 所示可以看出心率的頻帶有非常明顯的振
32
幅,反之,如圖 27有許多雜訊干擾,因此分析之位置為全臉感興趣區域,用來 分析心率、心率變異、血壓相關性。
圖 23影像選取不同的位置(左邊為全臉,右邊為額頭)
圖 24全臉框位置之時域訊號
圖 25全臉框位置之頻譜
33
圖 26額頭框位置之時域訊號
圖 27額頭框位置之頻譜
(2) 擷取生理訊號演算法流程
將WebCam所擷取到序列訊號,輸入到MATLAB進行演算法處理,演算流
程如圖 28所示,一開始透過臉部辨識的演算法偵測出感興趣的區域(ROI),取 樣頻率為30fps,將眼睛部分的圖去除掉,可以避免眼動訊號的雜訊干擾,分離 出RGB三通道並且提取綠光(G),將每個提取出的綠光(G) 做平均,累積成一個 序列,經由訊號相減的演算將調整準位,最後做數位濾波,濾出心率的頻帶寬 度,得出心率,為了減少受測人因長時間量測而感到不舒服,所以設定測量時
34
間為30秒,如果每個波峰到波峰之間的時間差的時間差沒有差異很大,將測出 的心跳數字乘以二,否則繼續量測30秒,加以演算計算出每個波峰到波峰之間 的時間差的時間差,得出心率變異的生理參數,再透過公式計算出血壓訊號。
圖 28擷取生理訊號演算法流程圖
本研究在擷取生理訊號演算法流程上改善了許多方法,如表 5擷取生理訊號 演算法流程比較表所示,是本篇擷取生理訊號演算法流程與Ming-Zher Poh學者 [26]和Lluís Capdevila學者[25]的比較流程圖,本研究優化了2個部分:
訊號前處理:本研究提升了3部分技術
1. 雜訊問題一直是訊號處理重要的議題,以往有許多學者提出ICA演算法 來去除雜訊,本研究利用在還沒擷取訊號前,就已經將眼動訊號的雜訊 給排除,大幅的降低雜訊干擾,也分析了影像中不同位置的頻譜,分析 結果選用全臉感興趣區域來分析後續的生理參數,可以大幅降低後續訊 號處理干擾雜訊的演算法的負擔。
2. 因為本篇研究FPS為30張,將原始波形做20個點的移動平均後,將會得 臉部辨識 眼睛圖像
過濾
分離RGB 三通道
計算每張G通 道的平均值
調整準位 數位濾波 取出
生理參數
35
到一個波形震盪的準位,在將原始波形減掉移動平均後的波形,調整準 位讓準位歸零,經由這樣的演算,將可以大幅提升峰值檢測的準確度,
提高心率,心率變異,血壓換算的精準度。
3. 測試了擷取全臉感興趣區域與額頭感興趣區域,證實經由擷取全臉可以 拉長量測距離為150公分,量測準確度心率4下,收縮壓為9毫米汞柱、
舒張壓為5毫米汞柱,與以往量測距離50公分的作者比較的誤差±2。
演算法流程:透過本研究的演算法流程可以同時擷取多個生理訊號,如心 率、心率變異平均誤差為4次,經由回歸預測模型可以透過擷取收縮壓時間 來轉換出收縮壓與舒張壓等血壓生理參數。
表 5擷取生理訊號演算法流程比較表
功能 Ming-Zher Poh
學者提出
Lluís Capdevila學 者提出
本篇研究 取出人臉部分(ROI) 全臉 全臉 全臉
眼睛圖像過濾 無 無 有
分離RGB三個通道 綠光 綠光 綠光
每張圖平均 有 有 有
Smoothness 20點 5點 無 150點
訊號相減調整準位 無 無 有
帶通濾波 0.4 Hz至5Hz 0.7 Hz至4Hz 0.4 Hz至10Hz
小波轉換 無 無 有
波峰到波峰之間的 時間差檢測
無 無 有
取出心率、心率變 異公式
無 無 有
取出連續血壓 無 無 有
36
(3) 生理參數換算公式
量測出來的生理訊號,都是時域的訊號,必須要透過一些公式與演算才能轉
換我們看得懂的數值,首先要探討的是準位的調整,我們要透過準位調整的演算 法將訊號的準位歸零,對於之後從訊號擷取出需要參數有很大幫助,並且提高生 理數值準確度,調整準位的演算法如圖 29所示,將用原始訊號來減掉透過移動 平均(Simple Moving Average, SMA)的訊號,因為 FPS為30張,設定取 20個點 的移動平均訊號,將會取出適合的準位波動訊號,再將原始訊號相減移動平均訊 號得出來的訊號準位已經歸回零了。
圖 29調整準位波形圖
根據美國心臟協會 (American Heart Association)[28],心率的計算為1分鐘 心臟跳動次數,心率變異則是計算波峰到波峰之間的時間差,如圖 30所示,
由波形來檢視就是有幾個波鋒,本研究檢視波峰與波谷的方法,經由上面調整 準位的演算法已經準位歸零,為了要取出波形的波峰與波谷訊號,先將量測出
37
的訊號做MATLAB 的sign 函數處理,sign函數的演算規則為:「如果數值輸入
為正則輸出 1,如果輸入數值為0輸出為0,如果數值輸入為負值則輸出-1,準
位為0」。如圖 31所示會顯示出一個方波的訊號,再將此波形進行一次微分,
微分公式如式(11):
𝑑𝑦
𝑑𝑥 = lim
∆𝑥→0
∆𝑦
∆𝑥 (11) 如圖 32 所示,可以看到每個波峰與波谷都被擷取出來了,經由程式判別 大於0的數值為波峰,小於0的為波谷,紀錄起每個波峰波谷的序列時間點,
再將紀錄的時間點對照回原本的波形,就可以抓出波峰與波谷的定位點,接下 來再經由程式設計一個計數器來計算有幾個波峰與波谷,就可以計算出每個波 峰對波峰的時間間距。
圖 30原始波形圖
圖 31sign函數處理波形圖
38
圖 32一次微分處理波形圖
貳 系統架構設計
User Webcam Physiological
signals
Computer Alert
Feedback
圖 33系統架構圖
由圖 33 可知,本系統主要的功能為利用非接觸式的方式來量測出生理訊號 的參數並且同時監測,當系統偵測到不正常的心率會有警報與警示告知使用者,
接下來本章節將會分別說明心率、心率變異、血壓量測的系統架構,系統分別透 過三個模組能夠同時量測到心率、心率變異、血壓三個生理數據,並且發出警訊。
(1) 量測心率系統架構
本子系統一共分為三個部份的模組,如圖 34左側所示,第一個部分為擷取 PPG 訊號的模組,透過人臉辨識膚色分割法的方法擷取出感興趣的部分(ROI),
並且去除眼睛區域,再將每個擷取的訊號加以計算平均序列,第二的部分如圖 34 中間為去除訊號雜訊的部分,訊號在擷取的部分已經透過感興趣區域將眼睛
39
區域給排除,為了增加後續演算的準確度與訊號判斷,根據原始訊號做移動平均 20 點後的訊號相減,來調整準位,PPG 訊號心率的頻帶寬度大約在 1~2hz,為 了提高準確度,設定0.2~5hz相較其他學者較窄頻寬的數位帶通濾波器與小波轉 換,濾除干擾雜訊,處理後的訊號如圖 35 所示。第三部分如圖 34 右側再透過 峰值檢測器的模組將波峰與波谷取出,目前系統設定為擷取 30秒的訊號,所以 透過計數器算出個數再經由式(12)來得出心率的生理參數值,因為系統設定為擷 取30 秒,所以得出的個數要再乘以二,才能正確換算出心率的數值,此方法量 測距離可拉長為150 公分,如表 6所示,本研究成果平均誤差將在 4下。
圖 34量測心率系統流程圖
圖 35擷取波峰波谷波形圖
心率(HR)= 波峰個數*2 (12)
擷取PPG訊號
•辨識分割人臉膚色 (ROI)
•濾除眼睛圖像
•分離RGB三個通道
•平均每張圖G通道 測量值
去除雜訊
•調整準位
•濾除雜訊
•小波轉換
取出心率訊號
•檢測峰值
•計算每分鐘波峰次 數
40
表 6量測心率統計表
受測人 心率(Exp.)次/分 (閥值:13)
心率(儀器)次/分 誤差
1 68 77 9
2 68 73 5
3 64 67 3
4 66 76 10
5 66 67 1
6 70 73 3
7 70 73 3
8 72 70 2
9 62 67 5
10 68 73 5
11 70 76 6
12 64 58 6
13 72 67 5
14 68 65 3
15 70 71 1
16 72 63 9
17 78 86 8
18 66 61 5
平均 68.6 70.2 4.94
(2) 量測心率變異系統架構
本子系統一樣共分為三個部份的模組如圖 36 所示,分別需要透過如圖 36 所示右側擷取PPG訊號模組、如圖 36所示中間去除雜訊模組、如圖 36 所示右 側取出心率變異訊號模組,PPG訊號模組、去除雜訊模組前面都已經探討過,本
41
章節針對取出心率變異訊號模組做說明,透過波峰到波峰之間的時間差檢測程 式可以抓出波峰到波峰之間的距離,取出距離後程式可針對距離間隔做處理,根 據本研究成果,當波峰到波峰之間的距離訂於15、14、13、12、11閥值的時候,
將過濾掉可能是因為雜訊所造成的誤判,利用過濾後的數據,做平均為 HRV 心 率變異的數據。
圖 36量測心率變異系統流程圖
透過計算出心率(HR) 波峰到波峰之間的時間差的演算,程式 for 迴圈抓出 每個相鄰波峰間的時間計算,經由式(13)ri 為每段波峰與波峰的時間差的個數,
再全部加總之後除以個數n,可以得到心率變異的平均值。
𝑚𝑒𝑎𝑛 = ∑𝑛𝑖=1𝑛 𝑟𝑖 (13) 最後系統自動得出的結果,可以求得心跳期間平均值,如表 7 所示,計算 出心率變異的參數進而可以換算交感神經與副交感神經的作用以及心律不整…
等問題。
擷取PPG訊號
•辨識人臉膚色(ROI)
•濾除眼睛圖像
•分離RGB三個通道
•平均每張圖 G通道測量值
去除雜訊
•調整準位
•濾除雜訊
•小波轉換
取出心率變異 訊號
•檢測峰值
•計算波峰到波峰之 間的時間差
•轉換為HRV心率變 異
42
表 7量測HRV心率變異統計表
受測人 心率(儀器)次/分 HRV /s
1 77 0.719
2 73 0.738
3 67 0.839
4 63 0.838
5 86 0.6683
6 76 0.797
7 67 0.85
8 73 0.777
9 73 0.7588
10 70 0.7764
11 67 0.801
12 73 0.725
13 76 0.751
14 58 0.8919
15 67 0.8182
16 61 0.8611
17 65 0.8577
18 71 0.728
平均 70.16 0.78
(3) 量測連續血壓系統架構
本子系統共分為三個部份的模組如圖 37所示,首先要透過擷取PPG訊號的模組 將訊號轉換為波形,再透過去除雜訊的模組擷取出需要的生理訊號,最後利用 擷取血壓訊號模型將血壓轉換值套上回歸線性預測模型,如圖 38與公式
43
(14)(15)所示,根據2003年學者Teng, X. F.和Z hang, Y. T. [54]提出分析PPG訊 號,跟血液傳輸時間有很大的關係,進而可以換算成為舒張壓與收縮壓,透過 小波轉換,將PPG訊號的波形波峰與波谷的波形還原,這樣可以準確的找出收 縮時間與舒張時間,也發現PTT的血液傳輸時間降低血壓會升高,呈現反比的 關係,進而透過回歸預測模型來計算,如圖 39、圖 40所示。
圖 37量測連續血壓系統流程圖
圖 38 PPG訊號收縮壓與舒張壓時間示意圖[55]
擷取PPG訊號
•辨識人臉膚色(ROI)
•濾除眼睛圖像
•分離RGB三個通道
•平均每張圖 G通道測量值
去除雜訊
•調整準位
•數位濾波
•小波轉換
取出連續血壓 訊號
•峰值檢測器
•計算收縮時間與舒 張時間
•利用回歸公式預測
44
表 8量測Sys血壓統計表
受測人 血壓Sys(儀器)mmHg 血壓Sys Ptt(毫秒)
1 100 263
2 115 373
3 122 410
4 118 262
5 130 259
6 118 253
7 117 253
8 120 275
9 114 327
10 130 307
11 113 246
12 104 272
13 108 252
14 122 254
15 120 273
16 107 253
17 103 240
18 116 243
19 93 261
20 135 296
圖 39 Sys血壓PTT線性回歸圖 y = 0.0135x + 114.36
R² = 0.0077
70 80 90 100 110 120 130 140 150 160
225 275 325 375 425
儀器量測 SY S 血壓
PTT(毫秒)
血壓Sys
血壓Sys 線性(血壓Sys)