國立聯合大學電資學院
金腦獎參賽作品
主題名稱:
駕駛頭部不正常移動偵測
參 賽 者： 蘇 強 睿
指導教授： 顏 瑞 成 教授
i 摘要 在本專題中，我們提出一個駕駛頭部不正常移動偵測。在本系統中，將 LED 光源架設在駕駛人頭部後方頭枕上，使用行車紀錄器連續的擷取駕駛員頭部周圍 的畫面，分割畫面中頭枕 LED 區域，再將該區塊轉為灰階圖像，則 LED 光源將 會以較高的亮度呈現在圖像分割區域中，利用此特性將 LED 光源分割出來，再 計算 LED 面積並分析其大小，面積超出所設門檻將被視為頭部位置異常，並且 警告駕駛人。本系統在光線急遽變化及駕駛人配戴太陽眼鏡遮蔽眼睛時，均可以 準確判斷出頭部位置。在我們實驗模擬結果下，針對包含進出隧道及駕駛人配戴 太陽眼鏡之情況下所擷取之畫面，都能有正確的模擬結果。 關鍵詞：頭部不正常偏移偵測、LED 光源、行車紀錄器、光線急遽變化、太陽 眼鏡
目錄 摘要... i 一、前言、研究目的... 1 二、駕駛頭部不正常移動偵測... 1 2-1 系統 ... 1 2-2 頭部移動偵測演算法流程圖 ... 2 2-3 演算法流程 ... 3 三、實驗模擬相關設備... 4 四、實驗模擬結果... 5 五、結論... 7 六、參考文獻... 8
1 一、前言、研究目的 依據內政部警政署之統計資料顯示，近四年來台灣中、小型車輛交通意外事 故頻繁，年平均已達六萬多件，死亡三千餘人(僅含 24 小時內死亡者)，受傷八 萬餘人，醫療費用每年必需花費數百億元。值得注意的是，有九成以上之肇事因 素皆人為所致，其中“駕駛未保持警覺”之緣故占了最大比率，包括駕駛人轉頭 與鄰座聊天、駕駛睡眠不足、使用行動電話、翻閱地圖與抽煙⋯等。也可能因為 工作需要而長時間駕駛的人也很多，像是計程車司機，或是公車司機客運司機， 他們都是長時間的駕駛容易導致疲勞現象。以上所敘述之兩種原因可能都會導致 頭部不正常偏移，而車禍常常就在這時候發生。 為了提供更安全的駕駛系統，過去十年中，世界上各主要廠牌的車廠已經投 注相當的心力發展[1-4]，而且市面上也已經有實際使用的系統，例如 VOLVO XC60 監控系統“City safety”，已列為標準配備。 目前已有許多檢測駕駛人打瞌睡或注意力不集中的方法[5-23]被提出，這些 方法大略可以分為四大類: (1) 第一類是根據駕駛人的生理信號，如腦電波、心電圖信號、心臟速率、脈搏 率等[5-9]。這是合理的測量，因為這些信號可以反映駕駛人的困倦，但存在 著測量信號與真正的生理狀態之間的差距，此外，為了量取這些生理信號必 須連接感測器到駕駛身上，這會對駕駛人造成干擾，並限制了它的實際應用。 (2) 第二類是偵測駕駛人的頭部或臉部的狀態，如頭部運動、眡眼、眼球運動、 眼睛注視的方向、嘴形、瞳孔變化等[5，10-14]。要監視這些頭部或臉部的狀 態，只是需要攝像機，而不是接觸式感測器，因為圖像處理技術已經成熟， 這類方法是有很大的發展潛力。但是，如何克服在車外的劇烈照度變化及由 於太陽鏡對眼睛遮蔽狀態是一大挑戰。 (3) 第三類方法是基於車輛的的行為，如車輛橫向位置、與前車距離、移動方向 等[5，15 - 19]。如何克服道路的特性、道路品質、照度變化等是這類方法的 主要挑戰。 (4) 第四類方法是結合上述的方法[5，20-23]。結合不同的方法希望獲得更安全的 駕駛系統。 在本專題中，將提出一個駕駛頭部不正常移動偵測，此系統屬於上述分類之 第二類。系統設計的主要目是克服光線急遽變化以及駕駛人配戴戴太陽鏡兩問 題，因為在不同的道路條件中(例如進出隧道)、天氣狀況及不同的行車時段都可 能造成車內光線急遽變化，而駕駛人配戴戴太陽鏡會影響其眼神、瞳孔，這些都 可能讓一般的系統造成誤判。 二、駕駛頭部不正常移動偵測 2-1 系統 為了監視駕駛人的打瞌睡或注意力不集中，我們提出了駕駛頭部不正常移動 偵測，系統的側視圖如圖 1 所示。在此系統中，行車紀錄器架設於駕駛前方玻璃 上，LED 光源則架設於駕駛人頭部後方頭枕上。 圖 2 中所示是駕駛人實際在道 路駕駛中的正面圖。除了 LED 光源及擷取畫面的行車紀錄器，我們還提出頭部
2 移動偵測演算法，根據頭部任何偏移會導致 LED 區域的面積變化，分析此面積 的變化，本駕駛頭部不正常移動偵測可以檢測頭部位置是否異常，並發出預警信 號。 圖 1 駕駛頭部不正常移動偵測側面圖 圖 2 駕駛頭部不正常移動偵測正面圖 2-2 頭部移動偵測演算法流程圖 頭部移動偵測演算法分析行車紀錄器所擷取之畫面，來監控駕駛人頭部運動 狀態，並決定是否發出警告訊息，其流程圖由圖 3 所示為。 圖 3 頭部移動偵測演算法流程圖
3
2-3 演算法流程 2-3.1 擷取畫面:
由行車紀錄器錄製視訊(.avi)後，使用軟體 Extra.Movie to Gif，以每秒擷取 20 張影像的速度將視訊檔轉為連續圖像 (.jpg) 進行處理。 2-3.2 切割範圍: 因為所要做的判斷範圍只有頭部後方的頭枕，所以將切割所要判斷的範圍(X: 390:625 Y: 400:445 呈現 235*45 )。 2-3.3 將圖像轉為灰階: 灰階顧名思義的就是一張黑白影像。一張彩色影像中分為 R(紅)、G(綠)、 B(藍)三色彩所組合而成，灰階(黑白影像)而只有亮度所組成，方法 1:將紅色(R)、 綠色(G)、 藍色(B)平均後抓取亮度 方法 2:0.299*紅色(R)+0.587*綠色(G)+0.114*藍色(B) 因為方法 1 亮度較高所以採用方法 2，來用以本實驗。 轉為灰階後較不受彩度影響及讓亮點更加突出，以方便觀察頭部位。 2-3.4 判斷亮點大小 轉為灰階後發現 LED 燈的地方特別亮，所以將此灰階影像亮度大於 240 的 地方設為白色其於地方設為黑色，這樣可以容易的找出 LED 被頭部遮蔽的多少。 2-3.5 判斷頭部是否偏移 第一步驟首先將影像畫分為三大部分，左(x=1:100)、右(x=145:236)、影像全 部白點。 第二步驟判斷白色點數(由 3-2.4 已將 LED 燈轉為白色點)大小，也就是 LED 燈轉為回灰階後所濾出的 LED 燈大小，這時 LED 燈的大小可得知現在車外的光 線強度再將此分為 5 大類，也可以說是車外光線的五種情境模式如，光線非常強 烈(白色點數<23)、白天(23≤白色點數<34)、傍晚(34≤白色點數<61)、晚上(61≤白 色點數<80)、隧道或室內停車場(白色點數≥80)。 在不同情境模式下頭部正常位置下的狀況: 白色點數<23: 左白色點數大於 219 或右白色點數大於 200 或全部白色點數大於 450。 23≤白色點數<34: 左白色點數大於 477 或右白色點數大於 170 或全部白色點數大於 450。 34≤白色點數<61: 左白色點數大於 1150 或右白色點數大於 600 或全部白色點數大於 1900。 61≤白色點數<80: 右白色點數大於 810 或全部白色點數大於 1560。 白色點數≥80: 右白色點數大於 810 或全部白色點數大於 1900。 未在此範圍內表示頭部位置異常則我們會在左上角出現紅色方塊提示。 本系統為了準確的判斷出頭部位置，所以將影像檔擷部分取畫面如圖 4 精確 的切割出所要判斷的範圍如圖 5 為了明顯呈現出 LED 光源的位置也不彩度影響 再將圖像轉為灰階如圖 6 找出亮度較高的面積如圖 7，這樣就可以容易的判斷 LED 燈光源判斷出頭部位置。
4 圖 4 擷取畫面 圖 5 所切割所要偵測範圍 圖 6 將切割區塊轉為灰階 圖 7 將亮度大於 240 轉為白色其餘黑色 三、實驗模擬相關設備 硬體設施方面，使用約五百萬畫素(pixel)之HDR-550擷取原始視訊畫面，原 始影像屬AVI (Audio Video Interleave)壓縮格式，其選用之考慮要點為：(1)體積 小而容易設置，(2)彩色CCD，(3)解析度高。
在本系統中，行車紀錄器設備外觀如圖8所示，規格如表一所示，SMD LED 軟燈條如圖9所示，規格如表二所示。
5 圖8 行車紀錄器 表一: 行車紀錄器規格表 解析度 HD 畫 質 720P 畫素 五百萬畫素 原始視訊格式 AVI 檔 錄影角度範圍 140 度 顯示屏尺寸 2.4 吋 TFT 圖9 使用於頭部後方頭枕上燈條 表二: LED燈條規格表 功率：4.41W 產品尺寸：1000*12mm 工作電壓：DC12.6V 四、實驗模擬結果 使用本實驗中可以準確的偵測駕駛人頭部是否有異常現象在頭部未出現異 常的情況(圖10)下不會有任何提示，駕駛人只要在駕駛中不專注，頭部位置異 常，向右偏移(圖11)或向左偏移(圖12)時在左上角會有小方塊出現提示。 本實驗實際在道路上實際測試錄製一段大約1分鐘的影片來做為實驗測試， 將每秒鐘擷取出20張影像作為判斷，將此影片劃分為1796張影像，判斷駕駛人頭 部位置是否在正確位置，只要偵測到頭部位置異常，圖14為實際道路駕駛時所繪 出的圖表，頭部異常時分析標示為1，紅色區塊為出隧道模擬光線急遽變化時的 狀況，由圖表可知沒有誤判現象，而999到1014因頭部偏移因時間較短而並非誤
6 判現象，1556這張影像(圖13)剛好是在頭部偏移與不偏移的交界處，所以尚未出 現頭不不正常偏移的警告提示，由此圖(圖14)也能明顯的看出本實驗沒有誤判的 現象，實驗準確性相當高。 圖 10 駕駛人頭部位置正常 圖 11 駕駛人頭部位置異常(向右偏移) 圖 12 駕駛人頭部位置異常(向左偏移) 圖 13 偏移與不偏移臨界處
7 圖 14 實驗結果圖表分析 我們將在實際道路模擬本系統的所有畫面，重新組合成視訊，並上傳至 YouTube [28]: http://www.youtube.com/watch?v=TtWRntYXarY 本驗證實驗之畫面是車上錄製，在駕駛人配戴太陽眼鏡且車輛進出隧道兩次 的情況下錄製所得，由以上的實驗模擬結果發現，我們的系統能成功的偵測出駕 駛頭部的不正常偏移，進而對駕駛發出正確的警告訊號。 五、結論 本專題提出了駕駛頭部不正常移動偵測，在此系統中，我們將SMD LED 條 黏貼到駕駛頭枕上，使用簡單便宜的行車紀錄器錄製駕駛頭部周圍區域之畫面， 根據提出的頭部移動偵測演算法進行畫面分析，並判斷駕駛頭部是否有不正常偏 移以便對駕駛提出警告。從上傳YouTube 的實驗模擬結果顯示，本系統能正確的 偵測駕駛頭部不正常偏移，並正確地對駕駛提出警告。 本系統之特點如下: 一、 本系統便宜容易設置； 二、 頭部移動偵測演算法只監控並處理關鍵的區域，而且以灰階的方式處理， 是個快速的演算法； 三、 本系統能克服車輛內部有急遽照度變化(如進出隧道時)的問題； 四、 本系統能克服駕駛配帶太陽眼鏡造成對眼睛遮蔽的效果，此問題是一般處 理眼睛變化的方法所無法克服。 本專題未來的研究方向如下： 一、 本系統黏貼SMD LED燈條裝置於駕駛人頭枕上，可能會影響駕駛人與對向 來車的注意力。因此，考慮將可見光的SMD LED光源改為不可見光的紅外 線，並利用紅外線相機拍攝。 二、 系統中的頭部移動偵測演算法，根據固定區域之LED面積變化來分析，可 能因頭髮多寡而對此固定區域有不同的遮蔽效果而造成誤判，將改成不定 區域，且依前後畫面LED面積變化來分析判斷。 三、 本專題只追蹤駕駛的頭部位置，並未對駕駛的行為模式做判斷，未來可以 加入判斷機制來分析駕駛的行為模式。
8 六、參考文獻 [1] http://news.u-car.com.tw/16781.html [2] http://cool3c.incar.tw/article/56764 [3] http://www.ford.com [4] http://www.artc.org.tw
[5] Y. Dong, Z. Hu, K. Uchimura, and N. Murayama, “Driver inattention monitoring system for intelligent vehicles: A Review,” IEEE Trans. on Intelligent
Transportation Systems, vol. 12, Iss. 2, pp. 596 – 614, June 2011.
[6] J. F. Coughlin, B. Reimer,B. Mehler, “Monitoring, managing, and motivating driver safety and well-being,” IEEE Pervasive Computing, vol. 10, Iss. 3, pp. 14-21, 2011.
[7] R. N. Khushaba, S. Kodagoda, S. Lal, and G. Dissanayake, “Driver drowsiness classification using fuzzy wavelet-packet-based feature-extraction algorithm,”
IEEE Trans. on Biomedical Eng., vol. 58, Iss. 1, pp. 121-131,Jan. 2011.
[8] M. V. Ramesh, A. K. Nair, A. T. Kunnath, “Real-time automated multiplexed sensor system for driver drowsiness detection,” 2011 7th Int. Conf. on Wireless
Communi., Networking and Mobile Computing, pp. 1-4, 2011.
[9] A. Kircher, M. Uddman, and J. Sandin, “Vehicle control and drowsiness,” Swedish National Road and Transport Research Institute, 2002.
[10] R. C. Coetzer, and G. P. Hancke, “Eye detection for a real-time vehicle driver fatigue monitoring system,” 2011 IEEE Intelligent Vehicles Symp. (IV), pp. 66 – 71, 5-9 June 2011.
[11] L. Li, Y. Chen and L. Xin, “Driver fatigue detection based on mouth information,” 2010 8th World Congress on Intelligent Control and Auto.
(WCICA), pp. 6058– 6062, 7-9 July 2010.
[12] L. M. Bergasa, J. Nuevo, M. A. Sotelo, R. Barea, and M. E. Lopez, “Real-time system for monitoring driver vigilance," IEEE Trans. on Intelligent
Transportation Systems, vol. 7, no. 1, March 2006.
[13] D. F. Dinges, and R. Grace, “PERCLOS: A valid psychophysiological measure of alertness as assessed by psychomotor vigilance,” US Department of Transportation, Federal highway Administration. Publication Number FHWA-MCRT-98-006.
[14] H. Singh, J. S. Bhatia, and J. Kaur, “Eye tracking based driver fatigue monitoring and warning system,” 2010 India International Conference on Power
Electronics (IICPE), pp. 1-6, 28-30 Jan. 2011.
[15] T. H. Chang, C. S. Hsu, C. Wang, L. K. Yang, “Onboard measurement and warning module for irregular vehicle behavior,” IEEE Trans. on Intelligent
Transportation Systems, vol. 9, Iss. 3, pp. 501-513, 2008.
[16] C. F. Wu; C. J. Lin; C. Y. Lee, “Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement,” IEEE Trans.
on Systems, Man, and Cybernetics, Part C: Applications and Reviews, vol. 42,
Iss. 4, pp. 577-589, 2012.
[17] W. S. Wijesoma, K. R. S. Kodagoda, and A. P. Balasuriya, “Road boundary detection and tracking using ladar sensing,” IEEE Trans. Robotics and
Automation, vol. 20, pp. 456-464, 2004.
[18] T. Wakita, K. Ozawa, C. Miyajima, K. Igarashi, K. Itou, K. Takeda, and F. Itakura, “Driver identification using driving behavior signals,” IEICE Trans.
Information System, vol. E89-D, no. 3, pp. 1188–1194, Mar. 2006.
9
analysis and classification of driver distraction under secondary tasks,” IEEE
Trans. Intell. Transp. Syst., vol. 11, no. 3, pp. 692–701, Sep. 2010.
[20] B. G. Lee and W. Y. Chung, “Driver alertness monitoring using fusion of facial features and bio-signals,” IEEE Sensors Journal, vol. 12 , pp. 2416-2422, 2012.
[21] B. G. Lee, S. J. Jung, and W. Y. Chung, “Real-time physiological and vision monitoring of vehicle driver for non-intrusive drowsiness detection,” IET
Communications, vol. 5, Iss. 17, pp. 2461-2469, 2011.
[22] Y. Guo, X. Xiao, B. Jian, “Analysis of vehicle surroundings and driver status from video stream based on a single PAL camera,” 2009 9th Int. Conf. on
Electronic Measurement & Instruments, pp. 4-363-4-367, 2009.
[23] H. D. Rosario, J. S. Solaz, N. Rodriguez, and L.M. Bergasa, “Controlled inducement and measurement of drowsiness in a driving simulator,” IET
Intelligent Transport Systems, vol. 4, pp. 280-288, 2010.
[24] 車輛研究測試中心（自適性人臉偵測於駕駛狀態監控系統之應用） [25] 國立中央大學范國清博士指導論文（使用特徵變化與瞳孔偵測來分析危安 駕駛） [26] 國立台灣科技大學賴坤財博士指導論文（視訊中基於眉毛之眼睛追蹤與閉 眼偵測） [27] 國立東華大學電子工程研究所孫宗瀛博士指導論文（車內駕駛眼部偵測與 追蹤演算法之研究） [28] http://www.youtube.com/watch?v=TtWRntYXarY
