2018 年全國金腦獎專題競賽
計畫書
專題競賽題目：尤拉影片放大技術應用於思覺失調 症病
患之前期研究
報名編號： 4
指導教授：李佳燕
就讀系所：電機工程學系
參賽隊員：簡祥秦（隊長）
中
華
民
國
1 0 7
年
4
月
1 1
日
I 摘 要 尤拉影片放大技術是一種用來偵測微小變化的觀測技術，可以利用鏡頭來 觀察肉眼無法察覺之細微變化，思覺失調症為一種精神疾病，該疾病患者經常 出現幻覺、妄想、思維和言語紊亂，少數較嚴重案例甚至出現自殘、攻擊他人…… 等暴力行為，為了控制病情一般使用投藥及隔離處置，為確保投藥後病患未出 現異常生理反應，大多以心律偵測數值為判定標準，但部分思覺失調症患者在 幻覺與妄想之下不易適應穿戴式裝置，故本研究提出利用尤拉影片放大技術也 就是利用一般鏡頭進行心律偵測以便醫生在不接觸患者的情況下進行心律偵測， 實現遠端監測。 本研究將將分為動作放大及利用鏡頭實現及時心率監測兩大部分；動作放 大首先將影片利用拉斯金字塔進行空間基頻上的多尺度分析以降低空間上之信 躁比之後再進行實時間濾波得到該頻段之動作資訊，再對動作做資訊作放大後 加回原影片得到輸出結果；但由於動作放大運算量較大不易達成及時偵測，固 本研究提出將其算法簡化並且優化實現利用鏡頭實現及時心率監測。
II 目錄 摘 要 ... I 目錄 ... II 第一章 簡介 ... 3 1-1 研究動機 ... 3 1-2 文獻回顧及探討 ... 3 第二章 研究方法之原理介紹 ... 4 2-1 動作放大 ... 4 2-2 利用鏡頭實現及時心率偵測 ... 7 第三章 成果與討論 ... 10 3-1 結果 ... 10 3-2 討論 ... 14 第四章 結論與未來發展 ... 14 參考資料 ... 15
3 第一章 簡介 1-1 研究動機 思覺失調症為一種精神疾病，該疾病患者經常出現幻覺、妄想、思維和言 語紊亂，少數較嚴重案例甚至出現自殘、攻擊他人…等暴力行為，醫生控制急 性症狀的方式主要是以藥物治療為主，少數會施以隔離管束；藥物分成傳統的 抗精神藥物還有非典型抗精神藥物。傳統的抗精神藥物為多巴安受體拮抗劑 (dopamine receptor antagonist)[1]，對於妄想、幻聽、思考流程變化、情緒暴躁 有良好效果。不僅在急性期需足量給予，在急性症狀改善後仍須給予適當劑量 維持症狀的穩定，若病患未持續接受治療，急性症狀易復發。傳統抗精神藥物 雖有以上效果，但依患者體質不同，有時會出現一些副作用，若不慎投藥過 量，所產生之副作用也因人而異，嚴重者甚至休克死亡，因患者發病時處於身 心不穩定之狀況，故醫生為監測患者投藥後的生理資訊會使用穿戴式、接觸式 心律偵測裝置監控身理資訊例如 finger BVP sensor、心電圖儀…等等，但由於病 患大多數處於身心不穩定之狀態不願穿戴監測裝置，甚至拔除導致醫生誤判。 故本研究提出利用一般 webcam 進行非接觸式的即時心律監測，也就是遠端監 測，以此減少患者不願穿戴或拔除監測裝置的情況，進而降低醫生誤判之機 率。 1-2 文獻回顧及探討 思覺失調症為一種精神疾病，該疾病患者經常出現幻覺、妄想、思維和言 語紊亂，少數較嚴重案例甚至出現自殘……等暴力行為，而醫生控制急性症狀 的方式主要是以藥物治療為主，少數會施以隔離管束；藥物分成傳統的抗精神 藥物還有非典型抗精神藥物。傳統的抗精神藥物作用為多巴安受體拮抗劑 (dopamine receptor antagonist)[1]，對於妄想、幻聽、思考流程變化、情緒暴躁 有良好效果。不僅在急性期須足量給予，在急性症狀改善後仍須給予適當劑量 維持症狀的穩定，若病患未持續接受治療，急性症狀易復發。雖然傳統抗精神 藥物雖有以上效果，但依患者體質不同，有時會出現一些副作用，若不慎投藥 過量，所產生之副作用也因人而異，嚴重者甚至休克死亡，故醫生為監測患者 投藥後的生理資訊會使用穿戴式、接觸式心律偵測裝置監控身理資訊例如 finger BVP sensor、Electrocardiograph(ECG)、pulse oximeter……等等，但由於病 患大多數處於身心不穩定之狀態不願穿戴監測裝置，甚至拔除導致醫生誤判， 故本研究提出利用一般 webcam 進行非接觸式的即時心律監測，也就是遠端監 測，以此減少患者不願穿戴或拔除監測裝置的情況，進而降低醫生誤判之機
4
率。
由於臉部微血管在體循環收縮、舒張時會造成微血管充氧血及缺氧血分布 變化，間接產生臉部顏色差距[2]，故本研究提出利用一般攝影鏡頭偵測臉部微 小灰階強度變化進而計算心率以達到即時遠端監測；現行偵測微小變化之技術 有由 Balakrishnan 等人及 Poh 等人提出的利用獨立成分分析(ICA)[2,3]、Thomas Brox 等人及 Chaudhry 等人提出的光流法[4,5]、Wu 等人提出的 Eulerian video magnification[6]、C. Takano 等人提出利用縮時攝影(time-lapse image)[7]、John Allen 等人、Humphreys 等人、Zheng 等人、Poh 等人及 Shelley 等人均提出的 Photoplethysmography[8-12]，C. Takano 等人提出的利用縮時攝影取得資料利用 自回歸譜分析偵測脈搏，由於資料為利用數位相機取得無法實現即時偵測， Photoplethysmography(PPG)為利用 LED 量測光體積的變化量進行接觸式的心率 偵測無法實現遠端監測，Thomas Brox 等人及 Chaudhry 等人提出的光流法，為 通過檢測圖像像素點的強度隨時間的變化進而計算，進而得到微小變化但因運 算量過大無法達成即時偵測；故本研究採用 Balakrishnan 等人、Wu 等人提出的 理論，利用 FIR 帶通濾波器進行偵測。此外，由於輸入視頻較易受到外在光線 閃爍、雜訊...等干擾而影響輸出的準確度，為排除大多數的背景干擾因素，故 此算法對視訊序列的每一影像幀進行膚色分割運算，膚色分割演算法主要針對 膚色在 HSV 色彩空間進行閥值計算[13]，繼而分割出相似於膚色的區域但此方 法在光源不足處分割效果較差，為了彌補因光源不足導致的分割困難，本算法 在膚色分割上使用了光度補強，使影像在光源較差的地方能夠有高準確度的膚 色分割，以達到更佳的監測結果。 第二章 研究方法之原理介紹 2-1 動作放大 為了增加動作放大之放大品質及效果本研究利用 YIQ 色彩空間進行處理， 先對影片利用拉斯金字塔作空間基頻上的多尺度解析以降低空間上之信躁比， 接著對不同尺度分別做時間濾波得到該頻段之動作資訊，接著將動作資訊乘以 一放大因子α，越小的尺度可以使用越大的放大因子，再來將放大後的動作資 訊加總回原影片得到放大後之影片，尤拉動作放大架構圖如圖 2-1：
5 圖 2-1 尤拉動作放大架構圖 本研究之理論基於 MIT Hao-Yu Wu 等人的研究[6]，該研究令一影像序列可 近似為式(1)： I(x, t)= f(x + δ(t)) 式(1) I(x, t)表示該序列在位置x和時間t的影像灰階強度，δ(t)位移函數為序列所經 過之時間，假設式(1)可被一階泰勒級數對x展開如式(2)： I(x, t)= f(x) + δ(t)∂f(x) ∂x 式(2) 意即泰勒展開可將影像序列中的背景與動作變化分離， ∂f(x) ∂x 為影像隨時間序列 δ(t)改變之變化量。令 B(x, t)為對 I(x, t)做帶通濾波之訊號也就是動作資訊，如式 (3)所示： B(x, t)= δ(t)∂f(x) ∂x 式(3) 再來將動作資訊乘上一α放大因子並且加總回式(1)可得到放大後 I(x,t)如 式(4)： I(x, t)= I(x, t) + αB(x, t) 式(4) 將式(4)整理後可得式(5)： I(x, t)= f(x + (1 + α)δ(t)) 式(5) 2.1.1 YIQ 色彩模型 YIQ 色彩空間為 NTSC（國家電視標準委員會）制定之系統。Y 為顏色的
6 明視度（Luminance），即亮度（Brightness）。其實 Y 就是圖像 的灰度值（Grey value），而 I 和 Q 則是指色調（Chrominance），即描述圖像色彩和飽和度的屬性， I 分量代表從橙色到青色的顏色變化，而 Q 分量則代表從紫色到黃綠色的顏色變 化。 RGB 轉 YIQ 公式如下： Y=0.299R+0.587G+0.114B 式(6) I=0.596R-0.274G-0.322B 式(7) Q=0.211R-0.523G+0.312B 式(8) 2.1.2 拉斯金字塔 影像金字塔為將每張影像分解為多尺度的金字塔圖像序列，將低分辨率的 圖像在上層，高分辨率的圖像在下層，上層圖像的大小為前一層圖像大小的 1/4。層數為 0,1,2……N。將所有圖像的金字塔在相應層上以一定的規則融合， 就可得到合成金字塔，再將該合成金字塔按照金字塔生成的逆過程進行重構， 得到融合金字塔，拉普拉斯金字塔架構如圖 2-2。 圖 2-2 拉普拉斯金字塔架構圖 2.1.3 時間濾波器 時間濾波器最主要用於提取感興趣頻段之動作資訊，舉例來說若想提取心跳 資訊會採用 1-2HZ 之代通濾波，由於已知人體脈搏大約落在此頻段；本研究採用 FIR 數位率濾波器，詳細濾波器設計在 2.2.2 章節。
7 2-2 利用鏡頭實現及時心率偵測
為減少運算時間並達到即時偵測，本研究將動作放大之算法簡化後並優化 以達到即時偵測。
為減少運算並增加準確度，本研究先利用臉部偵測開出移動的感興趣區域 (region of interest, ROI)，接著利用膚色分割提取濾波目標，並使用帶通濾波器 提取、計算符合一般人體心跳頻率 1~2HZ 的微小灰階變化，以達到心律偵測， 研究流程圖如圖 2-3 所示： 圖 2-3 利用鏡頭實現及時偵測流程圖 2.2.1 膚色分割 膚色分割為利用膚色在 HSV 空間之對應數值當作門檻值而分割出的結果， 再經過形態學濾波去除背景雜訊之運算所得之結果。 HSV 色彩空間為一圓柱型的色彩模型，HSV 色彩空間將可見光分為色相 (Hue，H)、飽和度(Saturation，S)、明度(Value，V)，其中 H(Hue) 為色相，也 就是一般所說的顏色包含紅色、橙色、藍色……等顏色組成一色環，通常
8 H(Hue)以角度表示，S(Saturation)為飽和度指的就是顏色的 鮮豔程度，以百分 比表示，S 的值越大其顏色越鮮豔，越小則越接近白色，V(Value)是指此空間的 明度，其表示法與 S(Saturation)飽和度相同皆以百分比表示，V(Value)的值越大 則越接近該顏色之純色，越小則越接近黑色，HSV 色彩空間示意圖如圖 2-4。 圖 2-4 HSV 色彩空間 其與 RGB 色彩空間的轉換公式如下： H1=cos-1{ 0.5[(R−G)+(R−B)] √(R−G)2+(R−B)(G−B)} 式(9) { H = H1 if B ≤ G H = 360。− H1 if B > G，0 ≤H≤2π 式(10) S=Max(R,G,B)−Min(R,G,B) Max(R,G,B) ，0 ≤S≤1 式(11) V=Max(R,G,B) 255 ，0 ≤V≤1 式(12) 其中上述式子中的 R、G、B 為 RGB 色域的 R(紅，Red)、(綠， Green)、(藍，Blue)，有別於 RGB 色彩空間，HSV 色彩空間對於色彩的數值 描述使其色相判斷較不易受光線影響，為使後續的膚色分割有較高的準確 度，故本研究預先將影像轉換至 HSV 色彩空間。 為使膚色分割結果完整，此處先對影像進行初始膚色分割及二值化，後 對輸出結果使用形態學濾波，使膚色分割結果為一完整且具連通性區域。初 始膚色分割之門檻值，本算法採用表 2-1 之門檻值設定： 表 2-1、膚色在 HSV 之門檻值
H(Hue) S(Saturation) V(Value)
閥值 上限 0.0221 0.25 0.419 閥值 下限 0.075 0.55 0.819 膚色分割門檻值會因為個人膚色差距而導致門檻值得些許不同，故本研究
9
膚色分割因易受光線、陰影干擾導致分割結果不佳，故本研究利用邏輯運 算進行臉部陰影光線補強，以 H、S、V 數值組合設計一邏輯判斷，其真值表如 表 2-2、式(13)：
表 2-2、HSV 輸出真值表
H(Hue) S(Saturation) V(Value) Out
0 0 0 0 0 0 1 0 0 1 0 0 0 1 1 0 1 0 0 0 1 0 1 1 1 1 0 1 1 1 1 1 Out=HV+HS 式(13) 此算法將 H、S、V 數值組合設計一邏輯判斷，其中以 H 為主 S、V 為輔 只要 H、S、V 只要有兩項有在膚色分割門檻值內及輸出，但只要 H 為零不輸 出。 本研究將初始膚色分割結果進行二值化，以便進行形態學濾波，因初始分 割結果已將背景部分濾除，故將二值化閥值設為零，如式(14)所示： {Im = 1 if Im > threshold Im = 0 if Im < threshold 式(14) 式(5)中，Im 為初始膚色分割結果，並令 threshold＝0 為影像二值化閥 值。 背景有時會有與膚色相近色塊，為消除背景與膚色相近雜訊，本研究利用 形態學濾波對初始膚色分割影像進行閉合運算(close)。 為加速運算，本算法將前一步驟結果與原圖結合後計算該幀的膚色處灰階 平均值，並將每一時間點的灰度平均視為個別時間點之代表訊號進行濾波。 2.2.2 FIR 數位濾波器
有限脈衝響應濾波器(Finite Impulse Response,FIR)錯誤! 找不到參照來源。 有穩定、接近理想濾波器、具線性相位變化等特徵，FIR 濾波器在 Z 平面(Z Domain)轉換函數如式(15)：
H(Z) = ∑k bkb−k
k=0 式(15)
10 b(k) =sin [2πfhTs(k−L/2)] π(k−L/2) − sin [2πflTs(k−L/2)] π(k−L/2) 式(16) fh為上截止頻率；fl為下截止頻率，因人體脈搏大約落在 1~2Hz 故本算法使用 fh=2、fl=1；L 表濾波器長度，越大則該濾波器越接近理想濾波器、過渡區間斜 率越大，反之過渡區間斜率越小，濾波器波形如圖 2-2(a)、圖二(b)： (a)濾波結果頻域波形 (b)濾波結果時域波形 圖 2-5、濾波器輸出結果 第三章 成果與討論 3-1 結果 本研究成果會分為動作放大及利用鏡頭實現及時心率偵測兩大項目進行探 討。 3.1.1 動作放大 經由拉普拉斯金字塔處理圖與原始圖比較如圖 3-1 及圖 3-2：
11
圖 3-1 原始圖片
圖 3-2 拉斯金字塔
3.1.2 利用鏡頭實現及時心率偵測
12 (a)原圖 (b)無光度補強 (c)光度補強 圖 3-3、膚色分割結果 圖 3-3(a)為原圖，由圖三(b)無光度補強及圖(c)光度補強比較可看出無光度 補強膚色分割效果較差、輪廓較不完整，光度補強後臉的輪廓完整許多，背景的 細碎雜訊可透過形態學閉合濾波處理消除，如圖 3-4： 圖 3-4、形態濾波結果 本研究將一視頻視為數張影像組合成之影像序列，如圖 3-5：
13 圖 3-5、影像序列示意圖 本研究利用 RGB 影像進行濾波，Ming-zher poh 等人之研究錯誤! 找不 到參照來源。指出，RGB 影像的 G 層在靜脈血與動脈血轉換時有最大的對比度 差異，故本研究僅對 G 層進行濾波。該序列影像隨著時間改變而變化，在影像 位置為(x,y)像素之變化量波形如圖 3-6： 圖 3-6、影像序列在位置為(x,y)灰階變化量波形 由於臉部微血管在體循環收縮、舒張時會造成微血管充氧血及缺氧血分布 變化，間接產生臉部顏色差距，該頻率大約為 1~2Hz 的微弱灰階變化，利用帶 通濾波器可找出此變化如圖 3-7(a)，並以峰值偵測計算心率如圖 3-7(b)。
14 (a) 灰階變化量 (b)峰值偵測結果 圖 3-7、濾波結果 3-2 討論 表 3-1、本算法與其他方法比較表 由表 3-1 可觀察出在利用一般攝影鏡頭進行遠端偵測的情況仍可得到與傳 統穿戴裝置與接觸式的手機 APP 所測得的數據相差不遠的數值，固可說明本研 究實際應用價值。 第四章 結論與未來發展 本研究實現了使用一般攝影鏡頭偵即時測人體脈博及呼吸，比起傳統 接觸式的心律偵測更提遠端監測的便利性。在研究方法上使用膚色分割算法將 人體膚色部位從影像中濾出，由於傳統膚色分割結果易受到燈光及陰影影響導 傳統血壓機 (m/pulse) 手機 App (m/pulse) 本算法 (m/pulse) ±σ (標準差) 受測者一 70 69 71 1 受測者二 95 101 96 3.2 受測者三 79 83 88 4.5 受測者四 77 79 72 3.6 受測者五 87 87 84 1.7
15 更加完整並提高準確度；接著利用尤拉法觀測在膚色區域的像素隨時間變化之 變化量，本算法目前使用由 FIR 數位濾波器所設計的帶通濾波器，目的為分離 脈博資訊，因攝影鏡頭輸入夾雜脈博資訊、燈光閃爍、因呼吸而造成的雜訊… 等， 單使用帶通濾波器仍容易受到燈光等雜訊影響導致準確度降低、無法正確 地提取脈博訊號，本算法預計在未來將加入獨立成份分析(ICA)，以提高脈博資 訊提取的準確度，並且未來計畫利用 GPU 平行運算加速動作放大並且加入即時 偵測之系統。 由於本系統使用為一般攝影鏡頭，故未來希望能夠發展成為能與一般監視 系統整合成一生理偵測監視系統，適合放置於醫院、海關、銀行...等需嚴密監 測之地方。 參考資料 [1] 郭 曉 倫 、 方 茂 守 (2016), 首 次 住 院 思 覺 失 調 症 之 護 理 經 驗 ， 出 自 http://www.hwai.edu.tw/gec/files/literature/11505.2136_66666661666666666g6 w6666666z6g66.pdf
[2] Balakrishnan, G., Durand, F., & Guttag, J. (2013). Detecting pulse from head motions in video. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 3430-3437).
[3] Poh, M. Z., McDuff, D. J., & Picard, R. W. (2010). Non-contact, automated cardiac pulse measurements using video imaging and blind source separation. Optics express, 18(10), 10762-10774.
[4] Brox, T., Bregler, C., & Malik, J. (2009, June). Large displacement optical flow. In Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on (pp. 41-48). IEEE.
[5] Chaudhry, R., Ravichandran, A., Hager, G., & Vidal, R. (2009, June). Histograms of oriented optical flow and binet-cauchy kernels on nonlinear dynamical systems for the recognition of human actions. In Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on (pp. 1932-1939). IEEE.
[6] Wu, H. Y., Rubinstein, M., Shih, E., Guttag, J., Durand, F., & Freeman, W. (2012). Eulerian video magnification for revealing subtle changes in the world.
[7] C. Takano, and Y. Ohta, “Heart rate measurement based on a time-lapse image,”
Med. Eng. Phys. 29(8), 853– 857 (2007). Allen, J. (2007).
Photoplethysmography and its application in clinical physiological
measurement. Physiological measurement, 28(3), R1.ISO 690
16
measurement. Physiological measurement, 2007, 28.3: R1.
[9] Humphreys, K., Ward, T., & Markham, C. (2007). Noncontact simultaneous dual wavelength photoplethysmography: a further step toward noncontact pulse oximetry. Review of scientific instruments, 78(4), 044304.
[10] Zheng, J., Hu, S., Chouliaras, V., & Summers, R. (2008, May). Feasibility of imaging photoplethysmography. In BioMedical Engineering and Informatics,
2008. BMEI 2008. International Conference on (Vol. 2, pp. 72-75). IEEE.
[11] Poh, M. Z., Swenson, N. C., & Picard, R. W. (2010). Motion-tolerant magnetic earring sensor and wireless earpiece for wearable photoplethysmography. IEEE
Transactions on Information Technology in Biomedicine, 14(3), 786-794.
[12] Shelley, K. H. (2007). Photoplethysmography: beyond the calculation of arterial oxygen saturation and heart rate. Anesthesia & Analgesia, 105(6), S31-S36.
[13] 陳怡靜、盧傳傑、張玉雯(2011)：人臉偵測與定位之 Matlab 應用，出自 http://www.inf.cyut.edu.tw/AIT2011/2011AIT%E8%AB%96%E6%96%87%E5 %85%A8%E6%96%87/ft_066.pdf
