智慧手機結合G-sensor之打瞌睡偵測系統之研發

全文

(1)國立臺灣師範大學電機工程學系碩士論文. 指導教授：何宏發教授智慧手機結合 G-sensor 之打瞌睡偵測系統之研發 Research and Development of Drowsiness Detection System by Using Smartphone and G-sensor. 研究生：鍾宜曄撰. 中華民國一百零四年八月.

(2) 智慧手機結合 G-sensor 之打瞌睡偵測系統之研發. 學生：鍾宜曄. 指導教授：何宏發教授. 國立臺灣師範大學電機工程學系碩士班. 摘. 要. 由於紅外線車上型打瞌睡偵測器有照久了眼睛會有灼熱感的情形，故本論文的方向為開發不用紅外線且在光線不足時能做偵測打瞌睡的系統，我們用 G-sensor 偵測瞌睡點頭來補足光線不足時的情況。為了解決問題，本研究開發出打瞌睡偵測器 App 和 G-sensor 帽子， App 結合智慧手機內建的攝影機用來偵測瞌睡的閉眼，App 結合 G-sensor 帽子則可偵測瞌睡的點頭，閉眼和點頭的偵測是同時進行，所以當光線不足，無法偵測閉眼時，還有點頭偵測判斷使用者是否在打瞌睡，App 偵測閉眼部分的演算法用的是 Haar cascade 演算法，平均處理 1 張影片要 0.48 秒，App 偵測點頭部分，G-sensor 帽子上裝有 G-sensor、Arduino 板子、藍芽模組及行動電源，G-sensor 的類比資料會先透過 Arduino 板子轉成字串數據，再透過藍芽傳送到 App 做分析。由我們的實驗一得知，偵測閉眼的準確率為 99.52%，偵測點頭的準確率為 100%，由我們的實驗二得知，偵測閉眼的準確率為 99.89%，偵測點頭的準確率為 100%，由於兩實驗偵測點頭的準確率都為 100%，故能解決光線不足時的問題。. 關鍵字：打瞌睡偵測器、G-sensor、Haar cascade 演算法、瞌睡的點頭、瞌睡的閉眼 i.

(3) Research and Development of Drowsiness Detection System by Using Smartphone and G-sensor student：Yi-Yeh Chung. Advisors：Prof. Hong-Fa Ho. Department of Electrical Engineering National Taiwan Normal University. ABSTRACT This research has developed a system to detect doze (sleep) nod while driving, through G-sensor and without infrared. This newly invented system is not only able to detect slim eyes-brainwave-and head motion of the drivers at dim light, but capable to eliminate allergy to the eyes that are caused by infrared eye detectors, as the primary source of light for most detection equipment used by many of the eye tracking systems currently available in the market. To solve the problem, the research develop doze detector by using App and G-sensor cap, App combine smart phone built-in camera to detect sleepy eyes closed, App can be combined with G-sensor cap detects sleepy nod, eyes closed and nodded detection are performed simultaneously, so when lighting is poor, can not detect when eyes closed, and determine whether the user is in a nod to detect doze. To detect doze (sleep) eye closure by APP, this research has adopted Haar Cascade algorithm for measurement, with average processing time of 0.48 seconds per one photo. To effectively assess doze (sleep) nod, a G-sensor hat has been developed to cooperate with APP detector. The G-sensor cap comes with G-sensor device, Arduino board, ii.

(4) Bluetooth module, and portable battery. G-sensor analog data will be converted into a string of data through the Arduino board, then sent via Bluetooth to the App for analysis. By our first experiment, detection accuracy rate of 99.52 percent with eyes closed, nodding detection accuracy was 100%. By our second experiment, detection accuracy rate of 99.89 percent with eyes closed, nodding to detect accuracy was 100%, due to the accuracy of the two experimental detection nod are 100%, it can solve the problem when lighting is poor.. Keyword: Doze (sleep) nod detector, G-sensor, Haar cascade algorithm, Doze (sleep) nod, Doze (sleep) eye closure. iii.

(5) 誌. 謝. 光陰似箭，來師大讀碩士班已經兩年了，馬上就輪到我畢業了，在此感謝指導教授何宏發教授，謝謝老師耐心指導，老師也常到實驗室盯我的進度，培養我負責的態度，老師也富有創意和巧思，這些也是值得我學習的地方，老師除了課業之外也教了我一些做人處事的道理，實在很感激。 Lab515 實驗室要感謝的人有同學侯冠宇、周文瑞、黃望龍，學弟呂承益、陳冠安，謝謝你們的幫助，不管是幫忙我做實驗還是問你們我不會的問題，非常感激，這段時間也參加了莊智凱同學帶領的重訓團，以及常跟同學打籃球，讓我時常運動，維持身體的健康，非常感謝，也感謝常找我吃熱炒的宋閔翰同學以及一直回答我問題的吳孟倫同學，也要謝謝系辦的婷節和琇文，她們分別幫我處理碩士事物和教我報帳，也感謝前助理林浩源先生幫忙我撰寫研討會論文的翻譯以及英文摘要的初稿，也謝謝其他碩士生的幫忙。謝謝口試委員高雄大學的蕭培墉教授和佛光大學的賴惠德副教授，使我知道我的論文、研究哪些要改進。最後謝謝支持我的家人，沒有你們出學費和鼓勵我無法完成碩士學位，謝謝大家。. iv.

(6) 目摘. 錄. 要 ...................................................................................................................................... i. ABSTRACT ............................................................................................................................. ii 誌. 謝 .................................................................................................................................... iv. 目. 錄 ....................................................................................................................................v. 圖目錄 ..................................................................................................................................... vii 表目錄 ........................................................................................................................................x 第一章緒論 ..............................................................................................................................1 1.1 背景與研究動機 ..................................................................................................... 1 1.2 研究目的 ................................................................................................................. 2 1.3 論文架構 ................................................................................................................. 2 第二章文獻探討 ......................................................................................................................4 2.1 打瞌睡偵測器之相關文獻 ..................................................................................... 4 2.1.1 耳掛型 .............................................................................................................. 4 2.1.2 測心律型 .......................................................................................................... 5 2.1.3 腦電圖(EEG)型................................................................................................ 6 2.1.4 眼電圖裝置(EOG)型 ....................................................................................... 7 2.1.5 電腦視覺型 ...................................................................................................... 9 2.2 偵測眼睛相關電腦視覺演算法 ........................................................................... 10 2.2.1 影像處理型 .................................................................................................... 10 2.2.2 投影定位型 .................................................................................................... 11 2.2.3 機器學習型 .................................................................................................... 12 2.3 偵測眼睛的系統平台 ........................................................................................... 14 2.3.1 攝影機結合個人電腦型 ................................................................................ 14 2.3.2 智慧型裝置型 ................................................................................................ 15 2.4 本篇用到人眼偵測方法 ....................................................................................... 17 v.

(7) 2.4.1 人眼特徵擷取 (特徵積分圖) ....................................................................... 17 2.4.2 自適應神經網路 (AdaBoost) ....................................................................... 19 2.4.3Haar cascade .................................................................................................... 21 2.5 與打瞌睡偵測器相關專利 ................................................................................... 22 2.6 偵測打瞌睡已上市或未上市產品 ....................................................................... 56 2.7 G-sensor 相關文獻................................................................................................ 58 2.7.1G-sensor 介紹.................................................................................................. 58 2.7.2 使用 G-sensor 來偵測跌倒的論文 ................................................................ 59 2.7.3 使用 G-sensor 來修正車牌影像歪斜的論文 ................................................ 61 2.7.4 使用 G-sensor 來做動作跟蹤的論文 ............................................................ 61 2.8 G-Sensor 原理 ....................................................................................................... 62 第三章打瞌睡偵測系統 ........................................................................................................67 3.1 打瞌睡偵測 App 開發環境 .................................................................................. 67 3.2 頭部傾斜偵測方法 ............................................................................................... 69 3.3 系統整合 ............................................................................................................... 70 3.3.1 系統流程圖 .................................................................................................... 70 3.4 App 結束時附加廣告 ........................................................................................... 71 3.5 App 上架 ............................................................................................................... 72 3.6 本系統硬體 ........................................................................................................... 74 第四章打瞌睡偵測系統實驗 ................................................................................................78 4.1 實驗一以影片及機械手臂模擬打瞌睡之偵測 ................................................. 78 4.2 實驗二打瞌睡偵測系統真人實驗 ..................................................................... 88 4.3 實驗三真實開車情況測 G-sensor 帽子 ............................................................. 93 第五章結論及未來展望 ........................................................................................................97 參考文獻 ..................................................................................................................................98 附錄一 ............................................................................................................................107 自. 傳 ..................................................................................................................................116 vi.

(8) 圖目錄圖 2-1：耳掛型打瞌睡偵測器 .................................................................. 5 圖 2-2:訊號品質和分類的細節 ................................................................. 6 圖 2-3:Alpha 波腦電圖:Alpha 波脈衝(圈起處)出現於駕駛睡意信號和警戒心減少時 ..................................................................................... 7 圖 2-4:眼電圖電極貼片黏貼處 ................................................................. 8 圖 2-5: Y. Takei [2]方法的四階段的圖 ..................................................... 9 圖 2-6:分析、偵測出眼睛的開跟閉(左圖)開眼設為紅框 (右圖)閉眼設為藍框 ........................................................................................... 10 圖 2-7:不同色彩空間的膚色分離 ........................................................... 11 圖 2-8:水平投影 ....................................................................................... 12 圖 2-9:眼睛的垂直投影 ........................................................................... 12 圖 2-10:類神經網路結構圖 ..................................................................... 14 圖 2-11:攝影機結合個人電腦型的環境 ................................................. 15 圖 2-12:特徵積分圖 ................................................................................. 18 圖 2-13:擷取特徵積分圖 ......................................................................... 19 圖 2-14:弱分類器分類順序 ..................................................................... 21 圖 2-15:原理圖 ......................................................................................... 23 圖 2-16:專利設備圖 ................................................................................. 24 圖 2-17: 眨眼波形的脈衝參數 ............................................................... 25 圖 2-18: 壓力感測器和電子模組 ........................................................... 27 圖 2-19:食指壓壓力感測器突出物 ......................................................... 28 圖 2-20:專利元件圖 ................................................................................. 29 vii.

(9) 圖 2-21:系統設備圖 ................................................................................. 31 圖 2-22:閉眼圖 ......................................................................................... 32 圖 2-23:手掌接近臉部圖 ......................................................................... 33 圖 2-24:臉部上、下、左、右轉動圖 ..................................................... 33 圖 2-25:頭部朝左或朝右傾斜圖 ............................................................. 34 圖 2-26:方向盤上的震動器 ..................................................................... 35 圖 2-27:智慧行動單元放置於儀表板上 ................................................. 36 圖 2-28: 防瞌睡噴水警示裝置 ............................................................... 37 圖 2-29:車尾閃光和車內蜂鳴器 ............................................................. 38 圖 2-30:前後模組 ..................................................................................... 39 圖 2-31: 感應器發出警告信號給蜂鳴器接收部 ................................... 40 圖 2-32:類似耳機的器具 ......................................................................... 42 圖 2-33:輔助裝置 ..................................................................................... 44 圖 2-34:夾於眼鏡腳上 ............................................................................. 46 圖 2-35:光線路徑 ..................................................................................... 48 圖 2-36:可偵測血氧濃度之眼鏡 ............................................................. 50 圖 2-37:走路、蹲坐、真正跌倒之 SMV 曲線圖 .................................. 61 圖 2-38:3 個 G-sensor 排成正三角型 ...................................................... 62 圖 2-39:型號 GY-61 ADXL335 的 G-sensor ........................................... 63 圖 2-40:pitch 圖 ........................................................................................ 63 圖 2-41:yaw 圖.......................................................................................... 64 圖 2-42:roll 圖 ........................................................................................... 64 圖 2-43:角度分布圖 ................................................................................. 65 圖 2-44:G-sensor x、y、z 軸的加速度數值 ........................................... 66 圖 3-1:Eclipse 介面圖 .............................................................................. 68 viii.

(10) 圖 3-2:系統流程圖 ................................................................................... 71 圖 3-3:廣告頁面圖 ................................................................................... 72 圖 3-4:key 檔樣子 .................................................................................... 73 圖 3-5:包成 APK 檔 ................................................................................. 73 圖 3-6:G-sensor ......................................................................................... 76 圖 3-7:Arduino UNO 板子 ....................................................................... 76 圖 3-8:藍芽模組 ....................................................................................... 77 圖 3-9:行動電源 ....................................................................................... 77 圖 4-1:頭轉左 90 度 ................................................................................. 79 圖 4-2:機械手臂的組成 ........................................................................... 79 圖 4-3:智慧手機型打瞌睡偵測器 ........................................................... 80 圖 4-4:G-sensor 帽子 ................................................................................ 80 圖 4-5:G-sensor 帽子放在樂高機械手臂上 ............................................ 81 圖 4-6:完整實驗照 ................................................................................... 82 圖 4-7:左臉長髮在轉右時會擋住眼睛 ................................................... 87 圖 4-8:開車影片 ....................................................................................... 89 圖 4-9:完整實驗二照片 ........................................................................... 90. ix.

(11) 表目錄. 表 2-1:本篇論文和其他論文的手機的規格比較表和處理一張即時影像需時 .......................................................................................................................................16 表 2-2:此 40 篇專利和本研究的創新性的比較表..............................................53 表 2-3:國內外車用偵測打瞌睡產品比較表........................................................57 表 3-1:和其它論文的智慧型手機規格比較表....................................................74 表 4-1:實驗一偵測瞌睡閉眼結果 ........................................................................82 表 4-2:實驗一一般情形 G-sensor 帽子測機械手臂擺動的實驗結果 ...............84 表 4-3:實驗一模擬車上時 G-sensor 帽子測機械手臂擺動的實驗結果 ...........85 表 4-4:與其它論文的準確率及其他項目比較表................................................87 表 4-5:實驗二的實驗結果 ....................................................................................91 表 4-6:和其他論文準確率的比較 ........................................................................92 表 4-7:實驗三實驗結果 ........................................................................................94. x.

(12) 第一章緒論. 1.1 背景與研究動機根據 2013 年行政院與警政署統計資料顯示，交通意外占全國意外事件最多部分，又交通意外事件的 44%源自疲勞駕駛或駕駛不當[1]，這已成為全國問題，若能設計一個警報系統來預防駕駛打瞌睡，將可避免因駕駛打瞌睡而產生的交通意外。以往的打瞌睡偵測器若是用紅外線，不管環境光線是否充足，都能偵測到眼睛，然而照久了，眼睛會有灼熱感，極不舒服，而用影像相關方法，都會有一個致命問題，那就是環境光線，環境光線不足時都會大大影響偵測準確率，所以如何解決環境光線不足時又能偵測打瞌睡的這個問題，就是本論文的研究動機。近年偵測打瞌睡的方法主要以受測者的生理現象或駕駛行為來偵測，駕駛行為方法如與前車的距離、車道偏離，屬非侵入式方法，但通常需要較高成本的特殊設備。生理現象方法分侵入式和非侵入式，侵入式需要配戴感測器於受測者身上，如腦波、心跳、血壓、脈搏和眼電圖(EOG)[2]，此類生理數據能準確表達受測者當前的精神狀況，非侵入式的多為影像處理的方法，如用攝影機拍眼部、頭部角度，將其影像做為疲勞之判斷。本論文提出的 G-sensor(三軸重力加速度感測器)偵測方法，屬侵入式，我們將 G-sensor 放在帽子上正中央，再將帽子戴在受測者頭上，藉以感測打瞌睡時的點頭，此為本論文的創新重點，本論文也採用智慧型手機的 APP 來拍攝眼部動作，屬非侵入式，其所得的即時影像再透過 APP 即時分析判斷是否為打瞌睡，智慧型手機的計算能力高，已夠用來當打瞌睡偵測器，且正確性極高，也有低成本的優勢。. 1.

(13) 1.2 研究目的目前最好的方法是用紅外線鏡頭及紅外線 LED 來做打瞌睡偵測器，雖可解決光線不足時的問題，但它有照久了眼睛會灼熱不適的缺點，為了改良這個問題，本論文將藉 G-sensor 測打瞌睡點頭來彌補在光線不足時不能偵測眼睛的問題，如此一來不能偵測眼睛就能轉而偵測瞌睡點頭，這就是本研究的目的，本研究設計一套防止駕駛瞌睡之系統，並能即時判斷精神狀態，打瞌睡一般特徵有兩個，第一個為閉眼過久，臉部特徵中最能直接反映駕駛員精神狀態的為眼睛，故希望能藉一般的攝影與計算元件(如智慧型手機)擷取影像，並結合 AdaBoost 來判斷眼睛的開闔狀態，AdaBoost 抓到眼睛代表眼睛打開，抓不到眼睛則代表眼睛閉上，一旦駕駛員出現閉眼(抓不到眼睛)過久的情況，系統將判定為打瞌睡，並發出警報，提醒駕駛，以目前 4 核心 2.3GHz CPU、1920*1080 攝影解析度的智慧型手機，偵測一張影像約需 0.48 秒；另一個打瞌睡的特徵即為點頭，為了偵測點頭，我們將裝有 G-sensor 的帽子戴在受測者頭上，並在帽子上再加裝 Arduino UNO 板子和藍芽模組，Arduino UNO 板子做數據的轉換(電壓轉成字串)，藍芽模組則做無線藍芽傳輸，最後由智慧型手機的 APP 接收藍芽傳輸的數據並分析數據，點頭時，若三軸 x、y、z 中的 x、y 變量的絕對值相加大於等於所設定的門檻值，則判斷為打瞌睡點頭，並響警報。. 1.3 論文架構本論文共有五個章節，第一章介紹本篇論文的研究動機還有研究目的，以及本論文的架構；第二章介紹打瞌睡偵測器的種類、偵測眼睛的平台、與本論文有關專利、上市和未上市的產品與 G-sensor 相關文獻……等等；第三章主要介紹本論文的方法和系統架構，包含硬體有利用智慧型手機的攝影機取得眼睛的影像， 2.

(14) 利用 G-sensor 模組測打瞌睡點頭；第四章為實驗的結果；第五章為結論及未來展望，主要介紹我們打瞌睡偵測器的優點及缺點，並且希望未來能做成 SOC 以減少體積。. 3.

(15) 第二章文獻探討. 本章文獻探討主要介紹打瞌睡偵測器之相關文獻、偵測眼睛相關演算法、偵測眼睛系統平台、本篇用到人眼偵測方法、打瞌睡偵測器相關專利、偵測打瞌睡已上市或未上市產品、G-sensor 相關文獻和 G-sensor 原理，這些文獻可顯示我對於打瞌睡偵測器、人眼偵測和 G-sensor 的了解程度，包含歷年的應用、技術和市場價格。. 2.1 打瞌睡偵測器之相關文獻. 目前打瞌睡偵測器有耳掛型、測心律型、腦電圖(EEG)型、眼電圖裝置(EOG) 型、電腦視覺型等等，以下討論。. 2.1.1 耳掛型. 耳掛型打瞌睡偵測器是一種掛在耳上[3]，體積小，附電池、蜂鳴器的產品，如【圖 2-1】所示，內部有個水銀開關，發明人是仇多寜，主要是利用打瞌睡頭部傾斜時，水銀開關內的水銀為了要維持水平，而連上蜂鳴器的電線，導致電路通電，使蜂鳴器響，而頭部不傾斜時，水銀恢復原樣，電路斷路，蜂鳴器則不響。優點就是可準確地偵測瞌睡點頭，且體積小，但此耳掛型打瞌睡偵測器有一缺點，那就是有些駕駛開車習慣不同，他們開車時頭部會傾斜，一開始就已經啟動蜂鳴器了，本研究希望改善這個缺點。. 4.

(16) 圖 2-1：耳掛型打瞌睡偵測器(取自[3]). 2.1.2 測心律型. 在 José Vicente 等人提出的論文中[4]，打瞌睡可由自律神經系統活動測得，他們從心電圖 ECG(electrocardiograph) 記錄裝置紀錄的心電圖心率變動量 HRV(Heart Rate Variability)，測量出自律神經系統的活動，另外準備常用的自律神經系統活動訓練集 SDDB 和 RDDB 來訓練分類器 LDA(Linear Discriminant Analysis),再把測量出的自律神經系統活動輸入到分類器判斷是不是在打瞌睡，如【圖 2-2】所示，我們可以發現到系統預測的情況吻合實際狀況。. 5.

(17) (a). (b) 圖 2-2:訊號品質和分類的細節:(a)第 18 位實驗對象 (b)第 56 位實驗對象，D 代表打瞌睡 A 代表清醒 O 代表實際狀況 X 代表系統推出的情況，沒 OX 代表此段訊號狀況不好，無法判斷(取自[4]). 其優點是透過即時的心電圖的波形來判斷有無打瞌睡，能達到快又準，但缺點是測心電圖需在左右手及胸膛貼電極貼片與電線，貼片和電線勢必影響開車狀況，本研究希望改善這個缺點。 2.1.3 腦電圖(EEG)型. 腦電圖是透過腦波儀將人體腦部產生的微弱生物電位從頭皮處收集，因為收集到的電位太微弱，所以在分析前必須將電位訊號放大以得到曲線。腦波依頻率分為五種腦波，分別是 Delta（δ）、Theta（θ）、Alpha（α）、Beta（β）和 Gamma （γ），Alpha 波介於 8~15Hz，其在人體清醒時的放鬆、平靜、閉眼有反應，且在 6.

(18) G. Borghini[5]中發現，在 Alpha 腦電圖波形中[6,7,8,9,10],打瞌睡的腦波波形就是 Alpha 腦電圖波形的脈衝，如【圖 2-3】所示。. 圖 2-3:Alpha 波腦電圖:Alpha 波脈衝(圈起處)出現於駕駛睡意信號和警戒心減少時(取自[5]). 優點是準確度高，但缺點是頭部要穿戴很多電極貼片和連接電線，不但不方便且頭不能轉動，本研究希望改善這個缺點。. 2.1.4 眼電圖裝置(EOG)型. 人類的視網膜之間存在靜電位，這靜電位的正電位位於角膜，而負電位位於鞏膜後面，受測者須先在眼睛周圍貼上氯化銀電極[2,11,12,13,14]，如【圖 2-4】所示，當眼球旋轉時角膜側電極比另一電極偏正，例如眼睛往右轉動，電壓就會呈現為正值，當眼睛向左轉動，電壓就會由正值轉為負值，把這一電位差做放大 7.

(19) 記錄可做為眼球運動的指標，在 DC-100Hz 的情況下，EOG 值介於 50~3500μV，水平凝視角度為±50 度，垂直凝視角度為±30 度，在 Y. Takei [2]中，方法大致分四階段，首先是取得 EOG 電位信號，接著經一次微分觀察它在短時間內的變化量是多少，再透過論文中的方法得到醒來時的快速眼球移動 (Rapid eye movements，REM)和要開始打瞌睡時的慢速眼球移動(Slow eye movements，SEM) 的圖，並在判斷輸出設要睡覺的 SEM 為 1，設醒來的 REM 為 0，藉此做為判斷有無打瞌睡，如【圖 2-5】所示。但此法有兩個缺點，第一:那就是有的人在開車時不喜歡臉上貼東西，第二:電極接的線會干擾駕駛的行動，妨礙駕車操作，影響行車安全，本研究希望改善這些缺點。. 圖 2-4:眼電圖電極貼片黏貼處(取自[2]). 8.

(20) 圖 2-5: Y. Takei [2]方法的四階段的圖(取自[2]). 2.1.5 電腦視覺型. 電腦視覺常用的硬體通常有電腦(包括桌上型電腦、筆記型電腦、平板電腦)、攝影機、智慧型手機等，桌上型電腦要結合外接攝影機，筆記型電腦、智慧型手機或平板電腦則可選擇外接攝影機或內建的攝影機，大致是由一個攝影機擷取數位影像，由電腦或智慧型手機對其處理運算，取得畫面上的一些資訊，常見的運算之一即為特定物件之偵測，如 A. B. Albu [15]就是將取得的臉的影像，再分析、偵測出眼睛的開跟閉[16,17,18,19,20]，如【圖 2-6】所示，而本論文就是直接從影 9.

(21) 像偵測出眼睛的開跟閉，而偵測的演算法有很多種，例如:影像處理型、投影定位型、機器學習型等，這三種演算法將於下節 2.2 節討論。. 圖 2-6:分析、偵測出眼睛的開跟閉(左圖)開眼設為紅框 (右圖)閉眼設為藍框(取自[15]). 2.2 偵測眼睛相關電腦視覺演算法. 目前偵測眼睛相關電腦視覺演算法有分影像處理型、投影定位型、機器學習型等等，以下討論。. 2.2.1 影像處理型. 利用影像處理做電腦視覺工作方法之一為影像分割(Image Segmentation)，舉例來說，偵測閉眼與睜眼要先偵測到人臉，這時就要從影像中分割出人臉的膚色，而一般的紅色、綠色及藍色所組成的 RGB(Red Green Blue)色彩空間容易受到光線變化的影響[1,21,22,23,24]，膚色分佈無法集中在一個範圍內，故要將影像轉換到其它色彩空間，如: YCbCr 色彩空間、HSV 色彩空間和正規化色彩空間 NCC(Normalized Color Coordinates)[25]等，其中 YCbCr 色彩空間常用於數位視訊 10.

(22) 中，Y 代表亮度，Cb、Cr 分別代表黃到藍與綠到紅色度，HSV 色彩空間的 H 代表色調，而 S 代表飽和度，V 則代表顏色深度，而正規化色彩空間 NCC，是將 R 及 G 的色版做正規化，如此一來可減少光源對色彩的影響，膚色分佈也更容易集中在一個範圍內，用上述任一個色彩空間轉換後，就可做膚色分離，其結果如【圖 2-7】，膚色分離後影像仍存有一些雜訊，主要是源自近似膚色的背景及臉部非膚色的特徵，這時可用影像處理型態學的膨脹(dilation)及侵蝕(erosion)運算去除這些雜訊，膨脹能把臉部範圍內的小洞填補起來，侵蝕能將影像上的多餘雜訊清除，其它影像處理還有灰階、邊緣偵測等。. (a). (b). (c). (d). 圖 2-7:不同色彩空間的膚色分離(a)原圖 (b)NCC 色彩空間的膚色分離 (c)YCbCr 色彩空間的膚色分離 (d)HSV 色彩空間的膚色分離(取自[1]). 2.2.2 投影定位型. 投影分為水平投影跟垂直投影[1, 26,27,28,29,30,31]，在投影定位時，必須先做邊緣偵測，邊緣偵測圖上圖形的每個點都稱為邊界點，水平投影就是將邊緣偵測圖，由上到下水平的每一行所累積的邊界點數畫成直方圖記錄下來，如【圖 2-8】，【圖 2-8】中(c)小圖橫軸為邊界點數量，縱軸為邊緣偵測圖對應高度，垂直投影則是將邊緣偵測圖，由左至右縱向的每一行所累積的邊界點數畫成直方圖記錄下來，眼睛定位時要用到的的垂直投影，就是利用眼睛的垂直投影大致上有對 11.

(23) 稱性，所以搜尋大致對稱且較多邊界點就為眼睛的橫軸位置，如【圖 2-9】，接著再搭配眼睛的水平投影，找出縱軸位置，就可以精確地定位眼睛的位置。. 圖 2-8:水平投影(a)原圖 (b)邊緣偵測圖 (c)水平投影圖(取自[26]). 圖 2-9:眼睛的垂直投影(取自[1]). 2.2.3 機器學習型. 機器學習分為監督式學習和非監督式學習，監督式學習是指把資料給機器學 12.

(24) 習時，會告訴它類別是甚麼，訓練完後，會產生一個模型，之後碰到新資料，就會用這個模型判斷這資料的類別是甚麼，利用監督式學習的演算法有:KNN(k-th nearest neighbor 第 k 位最接近的鄰居)、SVM(Support Vector Machine)、決策樹、 AdaBoost(自適應神經網路)、監督式學習的類神經網路，而非監督式學習則為資料給機器學習時，不告訴它類別是甚麼，所以之後遇到新資料，其模型判斷為像學習時的哪種資料，利用非監督式學習的演算法有:SOM(非監督式學習的類神經網路)、K-Means(K-平均演算法)、SVC(support vector clustering 支撐向量群聚演算法)和 SOINN(自組織增量學習神經網路)，以下舉監督式學習的類神經網路、 SOM、AdaBoost 為例子，類神經網路分三層[32]，分別是輸入層、隱藏層和輸出層，輸入層和隱藏層、隱藏層和輸出層之間有連線，即為權重，結構如【圖 2-10】，監督式學習的類神經網路就是訓練時，資料先給到輸入層，資料答案給到輸出層，之後類神經網路會自己調整隱藏層和權重連線，下次遇到新資料時，會判斷答案是甚麼，SOM 則是訓練資料只給輸入層，訓練完成後，遇到新資料會判斷新資料跟哪些訓練資料同一類，AdaBoost 在本研究是 Haar cascade 其中一個環節 [33,34,35,36]，AdaBoost 方法會用很多資料訓練多個弱分類器，本研究就是用特徵積分圖的特徵值訓練很多個弱分類器，使它們有權重並排成一列，權重越重越先。輸入新資料分類時分為下列幾個階段: 第一階段是 Haar-like feature，也就是在輸入圖中找出特徵積分圖，可能很多可能很少，並算出特徵積分圖的特徵值。第二階段是 Haar cascade，也就是這些特徵值由 AdaBoost 訓練的結果分類，例如分類這是不是眼睛，要每個弱分類器都分類是眼睛才是眼睛。. 13.

(25) 圖 2-10:類神經網路結構圖(取自[32]). 2.3 偵測眼睛的系統平台. 此地方的偵測眼睛是指能在即時影像找到或框到眼睛，偵測眼睛的系統平台有分攝影機結合個人電腦型、智慧型裝置型等等，以下討論。. 2.3.1 攝影機結合個人電腦型. 攝影機和個人電腦[15]再搭配程式，為一般偵測眼睛的系統平台，攝影機有一般型和紅外線型，紅外線型搭配紅外線 LED 可在光線不足或晚上也能拍到影像，個人電腦方面，有分桌上型電腦和筆記型電腦，筆記型電腦能帶著走，方便性高，同樣都是新型，筆記型電腦與桌上型電腦的計算能力及精確度要看其配備決定，且體積皆比智慧型手機大很多，桌上型通常用於實驗室，無法用於車上，程式方面可用 C++、Visual Studio 等來做影像的分析和演算法的撰寫，組成環境 14.

(26) 如【圖 2-11】。. 圖 2-11:攝影機結合個人電腦型的環境(取自[15]). 2.3.2 智慧型裝置型. 智慧型裝置型有智慧型手機和平板電腦兩種，這兩種的計算能力都高，體積小，可隨身攜帶，這兩種工作原理大致是一樣，智慧型手機的作業系統有 iOS、 Android、Windows Mobile、Symbian OS 和 BlackBerry 等等，平板的作業系統有 iOS、Windows、Android、WebOS 和 BlackBerry Tablet OS 等等，智慧型手機可結合其前後相機做拍照、錄影或即時影像的功能，平板電腦也是結合其前後相機做拍照、錄影或即時影像的功能，但因兩者攝影機較小，精確度較低，平板電腦和智慧型手機拍完照、錄完影或拍即時影像之後就可以對照片、錄影或即時影像做影像處理和分析，而處理或分析一張即時影像所需的時間，依每台手機或平板電腦的 CPU 和相機畫素規格而有所不同，本篇論文用到的是智慧型手機，作業系統為 Android，影像擷取是用即時影像的方法，【表 2-1】為本篇論文和其他篇論 15.

(27) 文使用的手機的規格比較表和處理一張即時影像需時，. 表 2-1:本篇論文和其他論文的手機的規格比較表和處理一張即時影像需時. 論文. 手機系列型. 規格. 號. 處理一張即. 取樣率. 時影像約需. (張/秒). 正確率. 時(秒/張) I.-L. Tsai[1]. 未說明. 2013. 8.6 萬畫素. 0.33. 3.03. 99.32%. 0.10. 10.00. 95.00%. 0.14. 7.14. 未說明. 0.48. 2.08. 99.89%. 1GHz CPU 核心數未說明 memory 未說明. L. Xu [32]. Samsung. 8 百萬畫素. 2014. Galaxy S3. 1.4GHz CPU 4 核心 memory 未說明. H. J [37]. iPhone 4s. 2013. 8 百萬畫素 800MHz CPU 2 核心 512MB memory. Y.-Y. Chung. Sony Xperia. 20.7 百萬畫. 2015. Z2. 素 16.

(28) (本研究). 2.3GHz CPU 4 核心 3GB memory (部份內容取自[1, 32,37]). 一般來說 CPU 時脈值越高、核心數越多、記憶體越多處理一張即時影像越快，程式越大、相機畫素越高處理一張即時影像越慢。. 2.4 本篇用到人眼偵測方法. 長時間閉眼是打瞌睡的重要指標之一，故偵測人眼及其開閉非常重要，首先要從影像擷取特徵積分圖，然後將特徵積分圖算出的特徵值代入由 AdaBoost 排序的眾弱分類器，再用 Haar cascade 法做是或否的分類。. 2.4.1 人眼特徵擷取 (特徵積分圖). 本系統從即時影片擷取影像，約每秒 2.08 張，再從影像擷取特徵積分圖[33]，特徵積分圖如【圖 2-12】，有分邊緣特徵積分圖、線特徵積分圖及特殊方向特徵積分圖，擷取眼睛的特徵積分圖如【圖 2-13】，通常影片一邊暗一邊亮的地方就會形成邊緣，於是用邊緣特徵積分圖，通常影片兩邊暗中間亮或兩邊亮中間暗的地方會用線特徵積分圖，通常影片傾斜方向暗兩邊亮或傾斜方向亮兩邊暗就會用特殊方向特徵積分圖，至於用哪幾種特徵積分圖由設計者決定，. 17.

(29) (a). (c). (b). (d). (e). (f). (g) 圖 2-12:特徵積分圖(a)(b)邊緣特徵積分圖 (c)(d)(e)(f)線特徵積分圖 (g)特殊方向特徵積分圖(取自[33]). (a). (b). 18. (c).

(30) (d) 圖 2-13:擷取特徵積分圖(a)(b)線特徵積分圖(c)邊緣特徵積分圖(d)特殊方向特徵積分圖. 再來用特徵積分圖白色區塊的亮度總合減去黑色區塊的亮度總合得到特徵值，如 (2-1)式[33]，. (2-1). 再把特徵值做為眾多弱分類器的輸入。. 2.4.2 自適應神經網路 (AdaBoost). 此為監督式演算法，也就是在訓練期，每一筆訓練資料要對應一個其所屬類別，例如偵測到眼睛就說是，上文提到的眾多弱分類器需要按權重排成一列，權重最重的排第一個，權重次重的排第二個，依此類推，自適應神經網路就是決定各弱分類器權重的演算法[38]，以下為決定各弱分類器權重的步驟，首先假設有 n 筆資料，其輸入弱分類器是 x(也就是特徵值)，資料所屬類別是 y(是或不是，通常用+1、-1 表示)，如(2-2)式，. 19.

(31) (2-2). 一開始先假設每筆資料權重為 1/n，如(2-3)式，. (2-3). 資料代入某弱分類器分類，若這分類器分出來 m 筆資料分錯，就把這 m 筆資料的權重加起來做為此分類器的誤差，如(2-4)式，. (2-4). 依此類推做完其它弱分類器的誤差，t 為第 t 個弱分類器的意思，接著選誤差最小的弱分類器，如(2-5)式，. (2-5). 將其誤差代入(2-6)式，. (2-6). 得出即為第 t 個分類器的權重，接著再用(2-7)式算出新的資料權重是一開始說的資料權重)， 20. (也就.

(32) (2-7). 是為了正規化，正規化就是同乘或同除一個數，讓這些新資料權重相加為 1，接者就是重算每個分類器的誤差，再選最小誤差的弱分類器(不能再選第一個算的弱分類器)，用(2-6)式算出其權重，如此重複步驟就能算出所有弱分類器的權重。眾弱分類器按權重排完一列就進入下節的 Haar cascade。. 2.4.3Haar cascade. Haar cascade[38]就是指排成一列的弱分類器要分類時(輸入特徵值時)，第一個判定為否，那後面弱分類器就不會再做分類了，分出的結果就是否，若第一個判定為是，第二個判定為否，那第二個之後就不必做分類了，且分出的結果依然是否，如【圖 2-14】，依此類推，故只要有一個說否就為否，全部都說是才是，例如第一個分類器分類為不是眼睛，那後面就不必分了，答案就是不是眼睛，依此類推。. 圖 2-14:弱分類器分類順序(取自[38]). 21.

(33) 2.5 與打瞌睡偵測器相關專利作者已讀完別國和本國有關打瞌睡偵測器的專利，別國共 850 篇，本國共 65 篇，並挑點子不重複，創新性、實用性較高的 40 篇來說明，其中，第一篇至第九篇為別國的專利，取自 Google patent 網站，搜尋關鍵字為”doze”，第十篇至第四十篇為本國的專利，取自中華民國專利資訊檢索系統網站，搜尋關鍵字為”打瞌睡”。. 專利一: 此專利名稱為「車輛駕駛睡眠警報」[39]，已取得專利，此專利為發明專利，專利國家為美國，公開號為 US5353013 A，出版類型為授權，申請書編號為 US 08/061,411，發佈日期為 1994 年 10 月 4 日，申請日期為 1993 年 5 月 13 日，專利權止日為 2013 年 5 月 12 日，專利已失效，優先權日期為 1993 年 5 月 13 日，發明人是 Richard J. Estrada，原專利權人為 Estrada Richard J。此專利利用一光束發射器和一光束接收器組成的儀器置於駕駛頭頂前方，在配戴裝有反射器的帽子或頭帶，當駕駛清醒時，光束打到反射器在反射到光束接收器，完成動作，如【圖 2-15】，當駕駛打瞌睡時，頭往前或往後移動，使得光束射不到反射器，無法反射給光束接收器，並啟動警報。. 22.

(34) 圖 2-15:原理圖(取自[39]). 專利二: 此專利名稱為「記錄過程的偵測疲勞和瞌睡的聲音的儀器」[40]，已取得專利，此為發明專利，專利國家為美國，公開號為 US6876964 B1，出版類型為授權，申請書編號為 US 09/691,126，發佈日期為 2005 年 4 月 5 日，申請日期為 2000 年 10 月 19 日，專利權止日為 2020 年 10 月 18 日，專利還有效，優先權日期為 1998 年 10 月 5 日，其他公開專利號有 US20040243401，發明人是 Kakuichi Shiomi 和 Shozo Hirose，原專利權人為 Electronic Navigation。此專利設備圖如【圖 2-16】，是用掛在耳朵的麥克風收集打瞌睡的聲音，然 23.

(35) 後做類比數位轉換，再將無聲的部分移除，再計算聲音的李亞普諾指數，再來判斷計算結果是否為打瞌睡，如果是就發出警報。. 圖 2-16:專利設備圖(取自[40]). 專利三: 此專利名稱為「車上型瞌睡警告儀器」[41]，已取得專利，此為發明專利，專利國家為美國，公開號為 US7868771 B2，出版類型為授權，申請書編號為 US 12/276,875，發佈日期為 2011 年 1 月 11 日，申請日期為 2008 年 11 月 24 日，專利權止日為 2028 年 11 月 23 日，優先權日期為 2008 年 3 月 18 日，其他公開專利號有 US20090237257，發明人是 Kiichi Yamada 和 Minakami Yumi，原專利權人為 Hyundai Motor Company。此專利是用傳感器測出駕駛者的閉起眼睛時間 tc 和張開眼睛時間 to，並把這 24.

(36) 兩者的比值 tc/to 設為危險程度，當危險程度超過設定的門檻值 Kt 則判斷為打瞌睡，並響警報。. 專利四: 此專利名稱為「瞌睡預防系統」[42]，已取得專利，此為發明專利，專利國家為美國，公開號為 US4725824 A ，出版類型為授權，申請書編號為 US 06/934,098，發佈日期為 1988 年 2 月 16 日，申請日期為 1986 年 11 月 24 日，專利權止日為 2006 年 11 月 23 日，專利已失效，優先權日期為 1983 年 6 月 15 日，發明人是 Hideaki Yoshioka，原專利權人為 Mitsubishi Denki Kabushiki Kaisha。此專利是用傳感器測量眨眼時，傳感器產生的眨眼波形的脈衝參數，如【圖 2-17】，清醒時的脈衝參數會先記錄下來，若使用者發生打瞌睡時，其脈衝參數和清醒時比較勢必會過度偏離、偏差，達到偵測到打瞌睡的效果，並響警報。. 圖 2-17: 眨眼波形的脈衝參數(取自[42]). 25.

(37) 專利五: 此專利名稱為「針對汽車和其他應用的打瞌睡早一步警告系統」[43]，已取得專利，此為發明專利，專利國家為美國，公開號為 US20040032334 A1，出版類型為申請，申請書編號為 US 10/639,625，發佈日期為 2004 年 2 月 19 日，申請日期為 2003 年 8 月 13 日，專利權止日為 2023 年 8 月 12 日，專利還有效，優先權日期為 2002 年 8 月 13 日，發明人是 Ataul Haq，原專利權人為 Ataul Haq。此專利利用特殊的空心管製成方向盤的邊緣圓圈部分，並在方向盤圓圈空心部分埋壓力感測器，如【圖 2-18】，圓圈背後露出食指需按壓的突出物，如【圖 2-19】，當駕駛睡著時會放開食指，如【圖 2-18】，壓力感測器會測不到壓力，連接的方向盤左側的電子模組判斷壓力不足，進而響警報，駕駛沒睡著，則食指會壓著突出物。. 26.

(38) 圖 2-18: 壓力感測器和電子模組(取自[43]). 27.

(39) 圖 2-19:食指壓壓力感測器突出物(取自[43]). 專利六: 此專利名稱為「打瞌睡偵測器」[44]，已取得專利，此為發明專利，專利國家為歐洲，公開號為 EP0280124 A1 ，出版類型為申請，申請書編號為 EP19880102028，發佈日期為 1988 年 8 月 31 日，申請日期為 1988 年 2 月 11 日，專利權止日為 2008 年 2 月 10 日，專利已失效，優先權日期為 1987 年 2 月 12 日，其他公開專利號有 US4953111，發明人是 Norihito Yamamoto 和 Takahide Tanaka， 28.

(40) 申請人為 Omron Tateisi Electronics Co.。此專利設計成在一隻眼睛的右端裝發光元件，並照眼睛，而在眼睛左端裝光接收元件，如【圖 2-20】，當清醒時光從發光元件射出，經虹膜反射少量的光，回到光接收元件，而如果是打瞌睡閉眼時，眼皮會反射大量的光給光接收元件，從而判斷有無打瞌睡，光接收元件收到的光再透過邏輯電路做算數運算，若是打瞌睡則響警報。. 圖 2-20:專利元件圖(取自[44]). 專利七: 此專利名稱為「防瞌睡裝置和防瞌睡眼鏡」[45]，已取得專利，此為新型專 29.

(41) 利，專利國家為中華人民共和國，公開號為 CN204010242 U，出版類型為授權，申請書編號為 CN 201420430439，發佈日期為 2014 年 12 月 10 日，申請日期為 2014 年 7 月 31 日，專利權止日為 2024 年 7 月 30 日，專利還有效，優先權日期為 2014 年 7 月 31 日，發明人是金瀋陽和胡鐵剛，申請者為杭州士蘭微電子股份有限公司。此專利為防瞌睡器，由三軸加速度計和蜂鳴器組成，此防瞌睡器裝置於頭部，也可裝置在眼鏡上，主要是偵測打瞌睡的點頭，當瞌睡點頭發生時，三軸加速度計的加速度值有變化，並啟動蜂鳴器發出警報。. 專利八: 此專利名稱為「防瞌睡桌子」[46]，已取得專利，此為新型專利，專利國家為中華人民共和國，公開號為 CN202980878 U，出版類型為授權，申請書編號為 CN 201220677292，發佈日期為 2013 年 6 月 12 日，申請日期為 2012 年 12 月 11 日，專利權止日為 2022 年 12 月 10 日，專利還有效，優先權日期為 2012 年 12 月 11 日，發明人是鄭巨帥和溫從眾，申請者為鄭巨帥。此專利設計為在桌面表面裝有壓力傳感器，通過信號線與語言提醒系統的開關連接，語言提醒系統包括蓄電池、開關、聲敏芯片，當學生趴在桌上打瞌睡時，壓到壓力傳感器，其傳信號啟動語言提醒系統，發出語音提醒學生。. 專利九: 此專利名稱為「睡眠偵測和駕駛員警報儀器」[47]，已取得專利，此為發明專利，專利國家為美國，公開號為 US5689241 A，出版類型為授權，申請書編號為 US 08/656,053，發佈日期為 1997 年 11 月 18 日，申請日期為 1996 年 5 月 31 日，專利權止日為 2016 年 5 月 30 日，專利還有效，優先權日期為 1995 年 4 月 24 日，發明人是 James Russell Clarke Sr.和 Phyllis Maurer Clarke，原專利權人為 30.

(42) James Russell Clarke Sr.和 Phyllis Maurer Clarke。本專利利用紅外線熱成像技術，照使用者鼻子和嘴巴區域偵測異常溫度，也就是呼吸的異常溫度，當呼吸的溫度減少代表使用者在打瞌睡，進而啟動警報裝置，此系統設備，如【圖 2-21】，可放在左右後視鏡或儀表板。. 圖 2-21:系統設備圖(取自[47]). 專利十: 此專利名稱為「人臉辨識駕車提醒裝置」[48]，已取得專利，此為新型專利，專利國家為台灣，公告號為 M479874，公告日是 2014 年 6 月 11 日，證書號為 M479874，申請日於 2013 年 12 月 31 日，專利權止日為 2023 年 12 月 30 日，專利還有效，申請號為 102224860，其國際分類號(IPC)為 B60R-021/00(2006.01)，公報卷期為 41-17，發明人為洪勝文、林錦蔚，申請人為華夏技術學院，代理人為黃于真。 31.

(43) 此專利為一種藉由影像擷取裝置、體感感應裝置和音源裝置而做的開車防分心或防打瞌睡的偵測及提醒系統，影像擷取裝置可擷取人臉影像和眼睛開閉影像動態，當閉眼超過一預設時間，判斷為打瞌睡，即驅動音源裝置發出警示語串” 眼睛閉合，請打起精神”，如【圖 2-22】，. 圖 2-22:閉眼圖(取自[48]). 體感感測模組設於駕駛座，可判斷手掌接近臉部(即手持手機動作或其它雙手遠離方向盤等動作)，當手掌接近臉部超過一預設時間，即驅動音源裝置發出警示語串”請專心開車”，如【圖 2-23】，. 32.

(44) 圖 2-23:手掌接近臉部圖(取自[48]). 體感感測模組也可對應讀取臉部區塊動作，如臉部的上、下、左、右轉動(即分心)，當臉部上、下、左、右轉動超過一預設時間，即驅動音源裝置發出警示語串”請注視前方”，如【圖 2-24】，. 圖 2-24:臉部上、下、左、右轉動圖(取自[48]). 33.

(45) 體感感測模組也能讀取頭部朝左或朝右傾斜(即打瞌睡)，當頭部朝左或朝右傾斜超過一預設時間，即驅動音源裝置發出警示語串”請打起精神”，如【圖 2-25】，. 圖 2-25:頭部朝左或朝右傾斜圖(取自[48]). 專利十一: 此專利名稱為「防止駕駛者打瞌睡之震動結構」[49]，已取得專利，此為新型專利，專利國家為台灣，公告號為 M501617，公告日是 2015 年 5 月 21 日，證書號為 M501617，申請日於 2014 年 10 月 31 日，專利權止日為 2024 年 10 月 30 日，專利還有效，申請號為 103219349，其國際分類號(IPC)為 G08B-021/00(2006.01) 和 B60K-028/06(2006.01)，公報卷期為 42-15，發明人為許守港，申請人為樂子企業有限公司，代理人為吳芳池。此專利設計一震動器於方向盤中央，當偵測到打瞌睡時，會通電驅動震動器的震動座而於基座兩側腳座連續左右震盪來回，且能利用彈片的彈性回彈而使震動座具有更為劇烈之震盪效果，如【圖 2-26】，增添震動座之警示效果，防止駕駛打瞌睡。. 34.

(46) 圖 2-26:方向盤上的震動器(取自[49]). 專利十二: 此專利名稱為「疲勞駕駛監測裝置」[50]，已取得專利，此為新型專利，專利國家為台灣，公告號為 M489800，公告日是 2014 年 11 月 11 日，證書號為 M489800，申請日於 2014 年 6 月 30 日，專利權止日為 2024 年 6 月 29 日，專利還有效，申請號為 103211605，其國際分類號(IPC)為 B60W-050/14(2012.01)、 G06K-009/00(2006.01)和 G08B-021/06(2006.01)，公報卷期為 41-32，發明人為涂昆源，申請人為萬能學校財團法人萬能科技大學，代理人為高玉駿和楊祺雄。此專利利用一智慧行動單元放在車子的儀表板上，如【圖 2-27】，此智慧行動單元包含影像擷取模組、影像辨識模組及音訊播放模組，影像擷取模組擷取眼睛的圖像後交給影像辨識模組判斷，判斷是否在打瞌睡，如果在打瞌睡則啟動音訊播放模組，發出警報。. 35.

(47) 圖 2-27:智慧行動單元放置於儀表板上(取自[50]). 專利十三: 此專利名稱為「防瞌睡預警系統及方法」[51]，已取得專利，此為發明專利，專利國家為台灣，公告號為 I438727，公告日是 2014 年 5 月 21 日，證書號為 I438727，申請日於 2012 年 2 月 15 日，專利權止日為 2032 年 2 月 14 日，專利還有效，申請號為 101104943 ，其國際分類號 (IPC) 為 G08B-021/06(2006.01) 和 B60K-028/06(2006.01)，公報卷期為 41-15，發明人為李佳憲、張耀宗和林百洋，申請人為緯創資通股份有限公司，代理人為李文賢。此專利為一種防瞌睡預警系統，包含生理訊號偵測單元、控制單元及網路橋接模組，首先由生理訊號偵測單元量測駕駛人之生理訊號，控制單元接收生理訊號，且控制單元中儲存至少一特徵訊號，特徵訊號代表接近意識中斷之生理訊號，也就是打瞌睡，控制單元持續比對生理訊號及特徵訊號，且當生理訊號及特徵訊號為近似時，控制單元發出一預警指令，網路橋接模組用以接收預警指令而執行一網路作業，如傳送駕駛打瞌睡的訊息給他人。. 專利十四: 此專利名稱為「防瞌睡噴水警示裝置」[52]，已取得專利，此為新型專利， 36.

(48) 專利國家為台灣，公告號為 M474987，公告日是 2014 年 3 月 21 日，證書號為 M474987，申請日於 2013 年 10 月 18 日，專利權止日為 2023 年 10 月 17 日，專利還有效，申請號為 102219527，其國際分類號(IPC)為 G08B-021/06(2006.01)，公報卷期為 41-09，發明人為廖家儀，申請人為廖家儀，代理人為盧信智。此專利是一種防瞌睡噴水警示裝置，如【圖 2-28】，包括內部有一容置空間可供儲水的儲水部，還有一個唧水組，其包括一個由管體所組成之輸水路徑和一個設於該輸水路徑局部段之抽水泵，另有一處理器，其分別電性連接計時器及該抽水泵，該處理器可供寫入控制程式，並設定在特定的時間點對駕駛進行噴水，相較於常見之聲音或震動的警示方式，噴水更可令駕駛得到有效之警示作用，且有助於駕駛清醒。. 圖 2-28: 防瞌睡噴水警示裝置(取自[52]). 專利十五: 此專利名稱為「車輛防瞌睡系統及其方法」[53]，已取得專利，此為發明專利，專利國家為台灣，公告號為 I424379，公告日是 2014 年 1 月 21 日，證書號為 I424379，申請日於 2010 年 8 月 23 日，專利權止日為 2030 年 8 月 22 日，專利還有效，申請號為 099128083，其國際分類號(IPC)為 G08B-021/06(2006.01)， 37.

(49) 公報卷期為 41-03，發明人為陳泰良，申請人為義守大學，代理人為高玉駿和楊祺雄。此專利系統包含一個偵測單元、一個警示單元、一個判斷單元和一個通訊單元，當偵測單元偵測到打瞌睡時，會於車尾的警示單元發出閃光提醒後方車輛，車內則有蜂鳴器提醒駕駛，如【圖 2-29】，若判斷單元判斷駕駛依然持續打瞌睡，則透過通訊單元向外界撥打電話，被通知的外界人員再回撥電話給駕駛，有效阻止駕駛疲勞駕駛。. 圖 2-29:車尾閃光和車內蜂鳴器(取自[53]). 專利十六: 此專利名稱為「防瞌睡裝置」[54]，已取得專利，此為新式樣專利，專利國家為台灣，公告號為 D148018，公告日是 2012 年 7 月 1 日，證書號為 D148018，申請日於 2011 年 12 月 20 日，專利權止日為 2023 年 12 月 19 日，專利還有效，申請號為 100306988，其設計分類號/LOC 為 24-02，公報卷期為 39-19，發明人為方志恒、陸家樑和林伯聰，申請人為由田新技股份有限公司。此專利設計兩模組在一儀器之前後，如【圖 2-30】，前模組為打瞌睡偵測器，並包含攝影機和蜂鳴器，可在拍到打瞌睡的眼睛後發出警報，後模組為行車記錄器，並包含攝影機，故此儀器可裝在儀表板上，前模組面向駕駛，後模組面向擋 38.

(50) 風玻璃外。. 圖 2-30:前後模組(取自[54]). 專利十七: 此專利名稱為「瞌睡喚醒系統」[55]，已取得專利，此為新型專利，專利國家為台灣，公告號為 M431385，公告日是 2012 年 6 月 11 日，證書號為 M431385，申請日於 2011 年 11 月 9 日，專利權止日為 2021 年 11 月 8 日，專利還有效，申請號為 100221155，其國際分類號(IPC)為 G08B-021/06(2006.01)，公報卷期為 39-17，發明人為程達隆、葉歡賢、高國陞和鄧瑞娟，申請人為樹德科技大學，代理人為葉婉玉。此專利首先由感測模組發射訊號，再由感測模組接收傳回來的訊號，再把偵測結果傳訊號到控制模組，控制模組接收之後判斷是否打瞌睡，若是打瞌睡，則啟動電療模組，在使用者上產生電刺激訊號，電醒使用者，以防止打瞌睡。. 專利十八: 此專利名稱為「打瞌睡警告裝置」[56]，已取得專利，此為新型專利，專利國家為台灣，公告號為 M428445，公告日是 2012 年 5 月 1 日，證書號為 M428445，申請日於 2011 年 12 月 9 日，專利權止日 2021 年 12 月 8 日，專利還有效，申請號為 100223288，其國際分類號(IPC)為 G08B-021/06(2006.01)，公報卷期為 39-13， 39.

(51) 發明人為葉嘉成，申請人為葉嘉成，代理人為陳友吉。此專利包含一個感應器、一個戴在頭上的固定件及一個蜂鳴器等組成，感應器具有可偵測眼睛開闔之感應部，及可發出警告信號之發射部，蜂鳴器具有蜂鳴喇叭及可接收警告信號的接收部，頭上的固定件可以是眼鏡或其他物品，當打瞌睡時，感應器偵測到眼睛閉上超過一定時間，即發出警告信號給蜂鳴器接收部，如【圖 2-31】，再由蜂鳴器發出警報，。. 圖 2-31: 感應器發出警告信號給蜂鳴器接收部(取自[56]). 專利十九: 此專利名稱為「駕駛狀態紀錄裝置」[57]，已取得專利，此為新型專利，專利國家為台灣，公告號為 M498359，公告日是 2015 年 4 月 1 日，證書號為 M498359，申請日於 2014 年 10 月 8 日，專利權止日 2024 年 10 月 7 日，專利還有效，申請號為 103217874，其國際分類號(IPC)為 G08B-021/06(2006.01)，公報卷期為 42-10，發明人為任恩、陳年伸、黃長漢、李曜宸、許齡芸、宋方妤、林威佐，申請人為任恩、劉銘、陳宗旻。本專利是一種駕駛狀態紀錄裝置，與至少一個以上之狀態檢測器連結，以檢測駕駛者之生理、精神及疲憊狀態，並產生一偵測訊號。紀錄裝置設有處理單元、 40.

(52) 記憶單元、無線傳輸單元及警示單元，由無線傳輸單元用以接收檢測器產生之偵測訊號，並傳送至處理單元以分析比對，再將偵測訊號由記憶單元儲存。當處理單元將偵測訊號和所設的預設值比對不符時，產生異常訊號並控制警示單元產生警示。. 專利二十: 此專利名稱為「應用於偵測駕駛疲勞狀態之檢測耳機」[58]，已取得專利，此為新型專利，專利國家為台灣，公告號為 M498360，公告日是 2015 年 4 月 1 日，證書號為 M498360，申請日於 2014 年 10 月 8 日，專利權止日 2024 年 10 月 7 日，專利還有效，申請號為 103217875，其國際分類號(IPC)為 G08B-021/06(2006.01)、B60K-028/06(2006.01)，公報卷期為 42-10，發明人為任恩、陳年伸、黃長漢、李曜宸、許齡芸、宋方妤、林威佐，申請人為任恩、劉銘、陳宗旻。本專利是一種偵測駕駛疲勞的耳機，此耳機可以是藍芽耳機，但不以此為限。耳機設有處理單元，處理單元分別連接偵測單元和一耳機模組，由偵測單元偵測使用者頭部擺動動量和擺動頻率並產生一個偵測訊號至處理單元；耳機模組有揚聲器，可以與電子裝置(如：行動電話)作無線傳輸。也可在偵測到擺動動量和擺動頻率與預設值比對不符合時，由揚聲器產生警示聲，提醒使用者。. 專利二十一: 此專利名稱為「智慧行車安全模組」[59]，已取得專利，此為新型專利，專利國家為台灣，公告號為 M493490，公告日是 2015 年 1 月 11 日，證書號為 M493490，申請日於 2014 年 8 月 18 日，專利權止日 2024 年 8 月 17 日，專利還有效，申請號為 103214750，其國際分類號(IPC)為 B60Q-011/00(2006.01)，公報卷期為 42-02，發明人為張家榮，申請人為張家榮，代理人為林志青。 41.

(53) 本專利是一種智慧行車安全模組，本體無線連接通訊傳輸構件、時間監控構件、加速度感測構件、駕駛生物特徵識別構件，通訊傳輸構件、時間監控構件、加速度感測構件、駕駛生物特徵識別構件這些都建於類似耳機的器具上，如【圖 2-32】，安全警示判別構件設置於本體，本體則建於儀表板右方，安全警示判別構件根據所接收的資訊而產生警示資訊。. 圖 2-32:類似耳機的器具(取自[59]). 專利二十二: 此專利名稱為「駕駛（操作）員身心監測器」[60]，已取得專利，此為新型專利，專利國家為台灣，公告號為 M489799，公告日是 2014 年 11 月 11 日，證書號為 M489799，申請日於 2014 年 7 月 4 日，專利權止日 2024 年 7 月 3 日，專利還有效，申請號為 103205898，其國際分類號(IPC)為 B60W-040/08(2012.01)、 G06K-009/78(2006.01)，公報卷期為 41-32，發明人為何昌年、喻肇川、何怡慧， 42.

(54) 申請人為何昌年、喻肇川、何怡慧，代理人為曾耀陞。本專利是駕駛(操作)員身心監測器 Reduce Vehicle Accident(RVA)，其裝設在車內，可測得駕駛員行為狀態、脈博、心跳、血壓、酒精濃度等，並以不超過法定標準值為判斷依據，RVA 可在駕駛座、副駕駛座、後方乘客、座墊、安全帶裝設。. 專利二十三: 此專利名稱為「混合動力車之安全控制系統」[61]，已取得專利，此為新型專利，專利國家為台灣，公告號為 M487238，公告日是 2014 年 10 月 1 日，證書號為 M487238，申請日於 2014 年 5 月 30 日，專利權止日 2024 年 5 月 29 日，專利還有效，申請號為 103209676，其國際分類號(IPC)為 B60W-020/00(2006.01)，公報卷期為 41-28，發明人為鄭丞謨，申請人為華創車電技術中心股份有限公司，代理人為余淑杏。本專利系統包含有安全偵測裝置、資訊處理模組、主控制裝置和複合式扭力控制裝置。資訊處理模組連接安全偵測裝置，接收安全偵測裝置傳來的偵測資訊，並輸出危險訊號。主控制裝置連接資訊處理模組並具有訊號處理模組，訊號處理模組接收危險訊號再輸出緊急訊號、中級訊號或普級訊號，主控制裝置對應緊急訊號、中級訊號或普級訊號控制複合式扭力控制裝置的引擎控制模組、馬達控制模組或變速箱控制模組當中一或二個以上。. 專利二十四: 此專利名稱為「車輛駕駛頭部移動偵測方法與系統」[62]，已取得專利，此為發明專利，專利國家為台灣，公告號為 I450205，公告日是 2014 年 8 月 21 日，證書號為 I450205，申請日於 2012 年 3 月 30 日，專利權止日 2032 年 3 月 29 日，專利還有效，申請號為 101111519，其國際分類號(IPC)為 G06K-009/78(2006.01)、 43.

(55) G08B-021/06(2006.01)，公報卷期為 41-24，發明人為顏瑞成、陳漢臣，申請人為顏瑞成、陳漢臣，代理人為陳建成。本專利包含駕駛頭部之前上方一攝影裝置與駕駛頭部後方一輔助裝置(如【圖 2-33】)，利用攝影裝置擷取輔助裝置和頭部周遭區域影像再進行分析，判斷駕駛的頭部移動是否正常，再警示。. 圖 2-33:輔助裝置(取自[62]). 專利二十五: 此專利名稱為「駕駛頭部偏移偵測裝置」[63]，已取得專利，此為新型專利，專利國家為台灣，公告號為 M478813，公告日是 2014 年 5 月 21 日，證書號為 M478813，申請日於 2014 年 1 月 27 日，專利權止日 2024 年 1 月 26 日，專利還有效，申請號為 103201730，其國際分類號(IPC)為 G01J-005/60(2006.01)，公報卷期為 41-15，發明人為顏瑞成、阮瑞祥，申請人為國立聯合大學。本專利系統包含若干紅外線發射裝置、控制發射裝置、紅外線接收裝置、主控裝置，紅外線發射裝置設置在駕駛頭枕上，控制發射裝置設置在駕駛座椅上，其產生調變訊號來控制紅外線發射裝置發射紅外線訊號，紅外線接收裝置設置在駕駛前方車頂鄰近區域，接收每個紅外線發射裝置發射的訊號，再產生偵測訊 44.

(56) 號，主控裝置分析來自紅外線接收裝置的偵測訊號，判斷駕駛頭部偏移情形，再產生警示訊號，警示訊號再傳到警示裝置。. 專利二十六: 此專利名稱為「行車中專注問題警示裝置」[64]，已取得專利，此為新型專利，專利國家為台灣，公告號為 M469227，公告日是 2014 年 1 月 1 日，證書號為 M469227，申請日於 2013 年 9 月 2 日，專利權止日 2023 年 9 月 1 日，專利還有效，申請號為 102216468，其國際分類號(IPC)為 B60R-001/00(2006.01)、 G08B-021/24(2006.01)，公報卷期為 41-01，發明人為林意師，申請人為林意師。本專利系統包括駕駛方位偵測器、汽車方位偵測器、記憶體、處理器和警報裝置，駕駛方位偵測器偵側臉面向哪，包括俯仰角度、俯仰角速度、偏轉角度和偏轉角速度，其建於頭部，汽車方位偵測器建於儀表板，可測車子的俯仰角度、俯仰角速度、偏轉角度和偏轉角速度，處理器比對這兩方位偵測器的資訊，並判斷有無瞌睡或分心。. 專利二十七: 此專利名稱為「傾斜感測系統及以其為構件之安全警示與照明裝置」[65]，已取得專利，此為新型專利，專利國家為台灣，公告號為 M469244，公告日是 2014 年 1 月 1 日，證書號為 M469244，申請日於 2013 年 8 月 28 日，專利權止日 2023 年 8 月 27 日，專利還有效，申請號為 102216161，其國際分類號(IPC)為 B60W-030/02(2012.01)，公報卷期為 41-01，發明人為張丕白、賴文正、張錫琦，申請人為張丕白、賴文正、張錫琦，代理人為楊延壽。此專利傾斜感測系統包括有傾斜角度感測模組、安全警示模組、電池組、控制模組、照明模組，可夾於眼鏡腳上，如【圖 2-34】，當偵測到瞌睡頭部傾斜時可啟動安全警示模組，照明模組可在夜間照明。 45.

(57) 圖 2-34:夾於眼鏡腳上(取自[65]). 專利二十八: 此專利名稱為「客製化眼球感應行車安全偵測器」[66]，已取得專利，此為新型專利，專利國家為台灣，公告號為 M466822，公告日是 2013 年 12 月 1 日，證書號為 M466822，申請日於 2013 年 8 月 2 日，專利權止日 2023 年 8 月 1 日，專利還有效，申請號為 102214610，其國際分類號(IPC)為 B60Q-011/00(2006.01)，公報卷期為 40-34，發明人為黃正一、莊朝琪，申請人為中華學校財團法人中華科技大學，代理人為歐奉璋。此專利系統包括處理控制機構、眼球影像偵測機構、操作介面、判斷機構、警示機構，駕駛以操作介面針對警示機構設定，選擇自己需要的警示方式，當眼球影像偵測機構和判斷機構偵測並判定眼球狀態為瞌睡時，發出警示。. 專利二十九: 此專利名稱為「車用疲勞偵測暨提神裝置及其方法」[67]，已取得專利，此為發明專利，專利國家為台灣，公告號為 I397030，公告日是 2013 年 5 月 21 日， 46.

(58) 證書號為 I397030，申請日於 2008 年 9 月 25 日，專利權止日 2028 年 9 月 24 日，專利還有效，申請號為 097136914，其國際分類號(IPC)為 G08B-021/06(2006.01)、 A61B-005/04(2006.01)，公報卷期為 40-15，發明人為劉冠佑、吳錫修、柯嘉南、吳信義，申請人為南開科技大學，代理人為陳天賜。此專利本包含生理訊號感測裝置、環境訊號感測裝置、處理器、疲勞判斷系統和提神刺激裝置，處理器透過生理訊號感測裝置與環境訊號感測裝置分別擷取駕駛人生理訊號與車內環境訊號，分析兩者後傳給疲勞判斷系統，判斷疲勞程度，疲勞的話就傳訊號給提神刺激裝置。. 專利三十: 此專利名稱為「車載安全裝置」[68]，已取得專利，此為發明專利，專利國家為台灣，公告號為 I379785，公告日是 2012 年 12 月 21 日，證書號為 I379785，申請日於 2007 年 10 月 19 日，專利權止日 2027 年 10 月 18 日，專利還有效，申請號為 096139150，其國際分類號(IPC)為 B60R-021/01(2006.01)、 G08G-001/0962(2006.01)、G08G-001/04(2006.01)，公報卷期為 39-36，發明人為袁崐益，申請人為鴻海精密工業股份有限公司。此專利包括紅外反射膜片、紅外光源、紅外偵測裝置、警報裝置。紅外反射膜片貼於擋風玻璃表面，紅外光源發出紅外光線照射駕駛眼部，該駕駛眼部反射的紅外光線經由紅外反射膜片反射之後，到達紅外偵測裝置，光線路徑如【圖 2-35】，以偵測駕駛眼部閉合時間，再判斷是否發出警報。. 47.

(59) 圖 2-35:光線路徑(取自[68]). 專利三十一: 此專利名稱為「車用之脈搏監控裝置」[69]，已取得專利，此為新型專利，專利國家為台灣，公告號為 M441896，公告日是 2012 年 11 月 21 日，證書號為 M441896，申請日於 2012 年 5 月 25 日，專利權止日 2022 年 5 月 24 日，專利還有效，申請號為 101210019，其國際分類號(IPC)為 G08B-021/02(2006.01)，公報卷期為 39-33，發明人為黃琮暉、許東岳、伍柏霖、楊智評、楊燿瑝、穆承佑、施柏衍，申請人為遠東科技大學，代理人為蔡秀玫。此專利包括感測裝置、控制裝置與驅動裝置，感測裝置測脈搏產生感測訊號，控制裝置接收感測訊號，若是偵測到駕駛在打瞌睡或其他異常狀況，再產生控制訊號，傳到驅動裝置，驅動裝置再降低車速或停車。. 專利三十二: 此專利名稱為「防止打瞌睡裝置」[70]，已取得專利，此為新型專利，專利國家為台灣，公告號為 M436895，公告日是 2012 年 9 月 1 日，證書號為 M436895，申請日於 2012 年 3 月 14 日，專利權止日 2022 年 3 月 13 日，專利還有效，申請號為 101204545，其國際分類號(IPC)為 G08B-021/00(2006.01)，公報卷期為 39-25，發明人為張獻中、林允晟、劉俊成、蔡淳翔、盧勁廷、楊士賢、高莉婷、謝孟廷、 48.

(60) 郭子嶢、林宗佑、許景淵，申請人為城市學校財團法人臺北城市科技大學、張獻中，代理人為賴國榕。此專利包含頭戴偵測模組、訊號接收模組、主控模組、設定模組、顯示模組、提醒模組和氣體感測模組，主要原理是用頭戴偵測模組感測傾斜，在無線傳到主控模組，並觸發提醒模組內的震動、電擊和語音警告，訊號接收模組、主控模組、設定模組、顯示模組、提醒模組和氣體感測模組皆設置於座椅上。. 專利三十三: 此專利名稱為「具防瞌睡功能之行車記錄裝置」[71]，已取得專利，此為新型專利，專利國家為台灣，公告號為 M418053，公告日是 2011 年 12 月 11 日，證書號為 M418053，申請日於 2011 年 5 月 12 日，專利權止日 2021 年 5 月 11 日，專利還有效，申請號為 100208469，其國際分類號(IPC)為 B60R-001/00(2006.01)、 G01D-009/28(2006.01)，公報卷期為 38-35，發明人為陳運雄，申請人為陳運雄，代理人為曾耀陞。此專利是將偵測眼睛開閉的打瞌睡偵測器和行車記錄器做結合，所以專利儀器一面是行車記錄器並朝外，一面是偵測眼睛之打瞌睡偵測器並朝內，判斷為打瞌睡後，會發出聲音和光來提醒駕駛。. 專利三十四此專利名稱為「可提醒駕駛員注意駕駛及防瞌睡的影像處理系統」[72]，已取得專利，此為新型專利，專利國家為台灣，公告號為 M416161，公告日是 2011 年 11 月 11 日，證書號為 M416161，申請日於 2011 年 5 月 19 日，專利權止日 2021 年 5 月 18 日，專利還有效，申請號為 100208957，其國際分類號(IPC)為 G08B-021/00(2006.01)，公報卷期為 38-32，發明人為鄒佳融，申請人為鼎創電子股份有限公司，代理人為蘇春維。 49.

(61) 此專利包含攝影鏡頭、影像處理器和揚聲器(即喇叭)，首先由攝影鏡頭照眼睛的開閉，當閉合超過一定時間時，由喇叭發出聲音以警示駕駛；當無法偵測到眼睛位置時或是偵測到的眼睛位置不在正常位置時，啟動警示功能。. 專利三十五此專利名稱為「可偵測血氧濃度之眼鏡」[73]，已取得專利，此為新型專利，專利國家為台灣，公告號為 M410888，公告日是 2011 年 9 月 1 日，證書號為 M410888，申請日於 2011 年 3 月 31 日，專利權止日 2021 年 3 月 30 日，專利還有效，申請號為 100205741，其國際分類號(IPC)為 G02C-001/06(2006.01)、 A61B-005/145(2006.01)、G08B-021/06(2006.01)，公報卷期為 38-25，發明人為趙海倫，申請人為中華醫事科技大學，代理人為高玉駿、楊祺雄。此專利設計一眼鏡連接一夾子，眼鏡腳內建提醒模組，夾子內建血氧濃度感測模組，如【圖 2-36】，當夾耳朵時，血氧濃度感測模組的紅外線照耳朵皮膚，再透過紅外線接收器接收反射的紅外線，以此判斷血氧濃度，濃度低則啟動提醒裝置。. 圖 2-36:可偵測血氧濃度之眼鏡(取自[73]). 50.