結合臉部熱影像與雷射人體掃描特徵之身分辨識系統

全文

(1)國立臺灣師範大學工業教育學系碩士論文. 指導教授：曾煥雯. 博士. 結合臉部熱影像與雷射人體掃描特徵之身分辨識系統 An Identity Recognition System using Integration Face Thermal Image and Human Laser Scanned Features. 研究生：林宏鎧. 撰. 中華民國一０一年七月.

(2) 謝誌時光飛逝，碩士生涯即將畫下句點，感謝一路默默給予我鼓勵、支持的榮裔同學與乃弘、和謙學長，和有如明鏡般，時常點出我的錯誤並協助改進的玉典、永翔與文弘學弟，更感謝一路來默默支持我走過來的家人，和已故長輩的種種叮嚀。最後，感謝學校提供良好的環境給我學習，與指導教授曾煥雯博士，以及口試委員王順源、陳俊良與洪欽銘三位教授，不遺餘力的指導和協助，提供許多具有參考價值的研究方法、分析技術與哲理，使我這兩年來過得十分充實。. 林宏鎧. 謹誌. 中華民國 101 年 7 月. i.

(3) 結合熱影像與雷射人體掃描特徵之身分辨識系統學生：林宏鎧. 指導教授：曾煥雯. 博士. 國立臺灣師範大學工業教育學系. 摘要由於科技進步迅速，許多利用傳統人力運作的產業，逐漸被自動化的機械、電腦系統所取代，在身分辨識領域內，以往需依靠人力進行門禁看守、檢查的工作，也逐漸被自動化的身分辨識系統取代。因此，如何使身分辨識系統能準確有效萃取並辨認他人人體特徵，即成很重要的關鍵。本研究提出一套結合熱像儀萃取臉部溫度特徵與雷射掃描儀掃描影像萃取人體尺寸特徵，組成一套不易受光源、衣著影響的身分辨識系統。本系統分為資料庫建置與辨識共兩個階段，詳述如下。於臉部溫度特徵資料庫建置，過程如下：首先將擷取的臉部熱影像，進行人臉鼻孔定位和半圓分割等前處理，利用溫度分層統計各溫度層的像素數量後，存入臉溫特徵資料庫；於雷射掃描人體尺寸特徵資料庫建置過程如下：先透過掃描儀取得雷射人體距離影像並進行前處理後，再藉由三角函數與肩膀定位，算出人體四項尺寸特徵，存入人體尺寸特徵資料庫。系統在辨識階段，即利用人臉溫度和人體尺寸特徵資料庫的資料，配合實際量測的數值，進行人體尺寸特徵誤差，與臉溫卡方的參數計算後，將參數交由專家系統，透過內部的規則庫，進行身分的辨別。本研究樣本數為 33 人，經實驗分析得到的辨識率為 96.9%。關鍵詞：身分辨識、熱影像、溫層分割、雷射距離影像、人體特徵. ii.

(4) An Identity Recognition System using Integration Thermal Image and Human Laser Scanned Features Student: Hong-Kai Lin. Advisor: Dr. Huan-Wen Tzeng. Department of Industrial Education National Taiwan Normal University. Abstract Nowadays, the development of biometric based identity recognition technology is getting faster, causing the industries to make transformation; especially the access management system, which are using fingerprint, voice, and iris recognition equipment to replace humans. As a result, how to make these identity recognition systems work efficiently and accurately, becomes the critical point. In this research, the researcher proposed an identity recognition system based on the fusion of thermal image and laser range image, and establish a human body feature database. The system is divided into two stages, which are the data build stage and recognition stage, as detailed below. In the part of thermal face feature database building stage, we use half-circle face segmentation and temperature layer splitter algorithm to do the feature extraction task. In the part of the human body feature database building stage, we use the human body range image and the trigonometric functions to calculate the height of the human body and the forehead as the basis of the identity recognition task. This system in recognition stage, we use the data of the face temperature and the body shape feature stored in the feature database, to calculate the error rate of the body shape and the chi-square value of the face temperature with. iii.

(5) the measured value, and use the expert system to do the recognition task. In the last part, we introduce a performance indicator and use 33 person experiment to get the 96.9% recognition rate. Keywords: identity recognition, thermal image, temperature layer splitter, laser range image, human body characteristics. iv.

(6) 目錄謝誌 ..................................................................................................................... i 摘要 .................................................................................................................... ii 英文摘要 ...........................................................................................................iii 目錄 .................................................................................................................... v 表目錄 ............................................................................................................... ix 圖目錄 ................................................................................................................ x 第一章緒論 .................................................................................................... 1 1.1. 研究背景與動機 .................................................................................. 1. 1.2. 研究目的 .............................................................................................. 2. 1.3. 研究限制 .............................................................................................. 3. 1.4. 研究方法 .............................................................................................. 3. 1.5. 研究步驟 .............................................................................................. 4. 第二章文獻探討與回顧 ................................................................................ 7 2.1. 個人身分辨識的類型 .......................................................................... 7. 2.1.1. 以傳統的方式 ............................................................................... 7. 2.1.2. 以生物特徵為基礎 ....................................................................... 8. 2.2. 熱影像 ................................................................................................ 10. 2.2.1. 紅外線簡介 ................................................................................. 11. 2.2.2. 熱像儀影像之特性與原理 ......................................................... 12. 2.2.3. 熱影像之特點 ............................................................................. 13. 2.2.4. 熱影像之應用領域 ..................................................................... 14. 2.3. 人體工學 ............................................................................................ 14. 2.3.1. 人體工學簡介 ............................................................................. 14. 2.3.2. 人體工學應用 ............................................................................. 15 v.

(7) 2.4. 雷射掃描成像 .................................................................................... 16. 2.4.1. 雷射測距儀原理與特性 ............................................................. 16. 2.4.2. 雷射測距儀相關應用 ................................................................. 17. 2.5. RFID ................................................................................................... 17. 2.6. 專家系統 ............................................................................................ 18. 2.6.1. 專家系統的發展 ......................................................................... 18. 2.6.2. 專家系統架構 ............................................................................. 19. 2.6.3. 知識擷取 ..................................................................................... 20. 2.6.4. 且或樹(AND-OR Tree) ............................................................... 22. 2.6.5. 知識推理與知識表現 ................................................................. 23. 2.6.6. 專家系統的特色與比較 ............................................................. 24. 第三章系統設計 .......................................................................................... 25 3.1. 系統架構與流程設計 ........................................................................ 25. 3.1.1. 系統架構 ..................................................................................... 25. 3.1.2. 系統流程 ..................................................................................... 26. 3.2. 確認身分 ............................................................................................ 27. 3.3. 雷射掃描成像 .................................................................................... 28. 3.4. 熱影像前處理 .................................................................................... 29. 3.4.1. 人臉分割技術 ............................................................................. 30. 3.4.2. 中值濾波 ..................................................................................... 32. 3.4.3. 二值化 ......................................................................................... 34. 3.4.4. 膨脹運算 ..................................................................................... 35. 3.4.5. 侵蝕運算 ..................................................................................... 37. 3.4.6. 連通運算 ..................................................................................... 39. 3.4.7. 鼻孔定位人臉切割 ..................................................................... 41. vi.

(8) 3.4.8 3.5. 去除脖子影像 ............................................................................. 42. 雷射距離影像前處理 ........................................................................ 44. 3.5.1. 人體分割技術 ............................................................................. 44. 3.5.2. 去除超出距離範圍資料 ............................................................. 46. 3.5.3. 保留頭髮區域 ............................................................................. 47. 3.5.4. 人體檢出 ..................................................................................... 48. 3.6. 特徵點與特徵區域的選擇與分析 .................................................... 50. 3.6.1. 紅外線臉部熱影像特徵區域的選擇 ......................................... 50. 3.6.2. 雷射掃描人體區域的選擇 ......................................................... 50. 3.7. 特徵萃取方法 .................................................................................... 51. 3.7.1. 生理特徵 ..................................................................................... 51. 3.7.2. 溫層分割萃取臉溫特徵技術 ..................................................... 51. 3.7.3. 雷射掃描人體萃取尺寸特徵技術 ............................................. 52. 3.8. 身分符合性判別的方法 .................................................................... 56. 3.8.1. 卡方考驗 ..................................................................................... 56. 3.8.2. 誤差百分比 ................................................................................. 56. 3.8.3. 標么值計算比對結果 ................................................................. 57. 3.8.4. 結合專家系統進行身分判別 ..................................................... 58. 3.9. 效能評估方法 .................................................................................... 59. 第四章系統實作 .......................................................................................... 61 4.1. 實作環境 ............................................................................................ 61. 4.2. 軟體與硬體設備 ................................................................................ 62. 4.3. 特徵資料的擷取 ................................................................................ 68. 4.3.1. 人體尺寸特徵的資料 ................................................................. 70. 4.3.2. 臉部溫度特徵的資料 ................................................................. 74. vii.

(9) 4.4. 實驗結果 ............................................................................................ 79. 4.4.1. 特徵比對的結果 ......................................................................... 80. 4.4.2. 交由專家系統辨識並評估實驗的結果 ..................................... 83. 第五章結論與後續研究 .............................................................................. 87 5.1. 結論 .................................................................................................... 87. 5.2. 後續研究 ............................................................................................ 88. 參考文獻 .......................................................................................................... 91 自傳 .................................................................................................................. 96 附錄一. 雷射測距儀相關資料 ...................................................................... 97. 附錄二. 熱像儀相關資料 ............................................................................ 101. 附錄三. 受測者特徵分佈表 ........................................................................ 102. viii.

(10) 表目錄表 2-1. 各身分辨識比較 .............................................................................. 10. 表 2-2. 各波長範圍之紅外光用途 .............................................................. 12. 表 2-3. 普朗克分佈定律係數 ...................................................................... 13. 表 2-4. 人體編號名稱 .................................................................................. 15. 表 4-1. 個人電腦規格 .................................................................................. 67. 表 4-2. 人體尺寸特徵資料 .......................................................................... 70. 表 4-3. 臉部溫度特徵資料 .......................................................................... 75. 表 4-4. 人體尺寸特徵誤差與臉溫特徵卡方值 .......................................... 80. 表 4-5. 門檻數值計算表 .............................................................................. 83. 表 4-6. 辨識結果 .......................................................................................... 85. ix.

(11) 圖目錄圖 1-1. 研究步驟流程 .................................................................................... 5. 圖 2-1. 可見光與紅外光線波長範圍 .......................................................... 11. 圖 2-2. 人體工學人體量測 .......................................................................... 15. 圖 2-3. 雷射掃描儀 ...................................................................................... 17. 圖 2-4. 3D 雷射掃描影像............................................................................. 17. 圖 2-5. 專家系統基本架構圖 ...................................................................... 20. 圖 2-6. 知識擷取的三種方式 ...................................................................... 21. 圖 2-7. 知識擷取的四個步驟 ...................................................................... 21. 圖 2-8. AND-Tree ......................................................................................... 23. 圖 2-9. OR-Tree ............................................................................................ 23. 圖 3-1. 身分辨識系統整體的架構 .............................................................. 26. 圖 3-2. 身分辨識系統整體運作的流程 ...................................................... 27. 圖 3-3. RFID 運作流程 ................................................................................ 28. 圖 3-4. 雷射掃描成像機 .............................................................................. 28. 圖 3-5. 運作流程 .......................................................................................... 28. 圖 3-6. 熱影像前處理流程 .......................................................................... 29. 圖 3-7. 熱影像灰階對應溫度的呈現 .......................................................... 30. 圖 3-8. 溫度剖面圖 ...................................................................................... 31. 圖 3-9. 人臉分割流程 .................................................................................. 32. 圖 3-10. 中值濾波原理 ................................................................................ 33. 圖 3-11. 中值濾波程式流程......................................................................... 34. 圖 3-12. 二值化比較 .................................................................................... 35. 圖 3-13. 形態學膨脹運算 ............................................................................ 36. 圖 3-14. 形態學膨脹運算程式流程 ............................................................ 37 x.

(12) i < (height-1)?. 後影像. 影像. Yes Yes. Yes Yes 結束. i++. No No. 圖 3-15 圖 3-16. i++. No No. j < (width-1)?. 結束. j < (width-1)?. 形態學侵蝕運算程式流程 ............................................................ 38 Yes Yes. Yes Yes. 套公式計算出物件聯通區域編號保留最大區域遮罩長度. 進行AND運算 ................................................ 39. 圖 3-17. 物件連通區域編號 ........................................................................ 40. 圖 3-18. 物件連通程式流程 ........................................................................ 40. 圖 3-19. 鼻孔定位程式流程 ........................................................................ 41. j++. 圖 3-20. 取得遮罩影像取得遮罩影像經鼻孔定位切割後的結果. 圖 3-21. j++. 遮罩與原影像遮罩與原影像 ............................................................ 42 AND運算 AND運算取得半圓臉取得半圓臉. 去除影像中脖子區域程式流程 ............................................ 43. 圖 3-22. 去除脖子影像的結果 .................................................................... 43. 圖 3-23. 雷射距離影像前處理流程 ............................................................ 44. 圖 3-24. 人體分割運算流程 ........................................................................ 45. 圖 3-25. 固定距離範圍 ................................................................................ 46. 圖 3-26. 去除超出距離範圍外的像素資料 ................................................ 47. 圖 3-27. 保留頭髮資訊的程式流程圖 ........................................................ 48. 圖 3-28. 人體檢出流程 ................................................................................ 49. 圖 3-29. 人臉溫度分割流程 ........................................................................ 52. 圖 3-30. 身高、額高、肩高與肩寬尺寸特徵萃取步驟 ............................ 53. 圖 3-31. 肩膀定位流程 ................................................................................ 54. 圖 3-32. 身高、肩高與額高計算原理 ........................................................ 54. 圖 3-33. 肩寬計算原理 ................................................................................ 55. 圖 3-34. 人體特徵與臉溫特徵結合專家系統判別身分的流程 ................ 58. 圖 3-35. 專家系統於身分判別的規則庫 .................................................... 59. 圖 4-1. 實作環境 .......................................................................................... 61. 圖 4-2. 實作的系統架構 .............................................................................. 62. 圖 4-3. 紅外線熱像儀 .................................................................................. 63. xi.

(13) 圖 4-4. 紅外線熱像儀與電腦溝通的方式 .................................................. 63. 圖 4-5. 影像擷取卡與電腦溝通的方式 ...................................................... 63. 圖 4-6. 影像擷取卡 ...................................................................................... 64. 圖 4-7. 雷射掃描儀 ...................................................................................... 65. 圖 4-8. 雷射掃描儀與電腦溝通的方式 ...................................................... 65. 圖 4-9. RFID 讀卡機 .................................................................................... 66. 圖 4-10. 個人電腦 ........................................................................................ 66. 圖 4-11. 架構 ................................................................................................. 67. 圖 4-12. 系統運作主畫面 ............................................................................ 69. 圖 4-13. 人體掃描結果 ................................................................................ 69. 圖 4-14. 前處理後的臉部熱影像 ................................................................ 70. 圖 4-15. 定位切割修正圖例 ........................................................................ 79. 圖 4-16. 比對順序 ........................................................................................ 84. 圖 4-17. 專家系統規則 ................................................................................ 85. xii.

(14) 第一章緒論台灣近年科技發達，進步神速，使得電子感測組件與演算法可彈性應用於個人身分辨識系統上，促使許多產業轉型，以保全業為例，隨著日常生活中日益普遍的自動化設備，業者傾向以單純人力，搭配高度智能化的自動感測監控系統，取代以往全部依靠人力的方式，達成派遣較少人力資源，去涵蓋更大管轄範圍的目標；本論文主要針對人體生理特徵進行身分辨識的研究。. 本章將於第一節提出研究背景與動機；第二節解說研究目的；第三節解說研究限制；第四節則介紹研究的方法；最後於第五節針對研究步驟進行解說。. 1.1. 研究背景與動機個人身分辨識技術已成為當今熱門的議題之一，尤其在門禁管制領域，. 改變特別的明顯，以往身分辨識通常以人工檢驗身分卡片的方式進行，現因科技的進步，辨識的方式逐漸被自動化機器所取代。. 近年來不論在業界或學術界，公共與私人的環境安全被受重視，因此，許多人投入身分辨識技術相關研究，而身分辨識的方法，以人臉最為常見，屬於影像處理技術的應用，主要方法為電腦透過影像擷取卡抓取攝影機影像後，進行影像處裡與運算取得特徵資料，最後將資料送入系統進行辨識的作業。本辨識方法具有非接觸與主動的特性，主因為攝影機可隱藏於暗處，於不易被察覺的情形下抓取影像[1]。. 1.

(15) 人臉辨識目前有可見光、熱影像與混合型(可見光加上熱影像)三種，本研究希望組成一套非接觸和不受光源影響的身分辨識系統，因此選用只感應溫度變化的熱影像，進行臉溫特徵的萃取，另外加上雷射掃描儀，行距離成像，並透過距離影像進行運算，萃取人體特徵，做為身分辨識的依據條件，此儀器與熱像儀都具備非接觸與主動之特性，而雷射掃描儀本身會發光，可用在無光源環境下的自動門，或掃描分析人體的移動行為[2]。. 基於上述背景與動機，本研究採用臉部熱影像，搭配雷射掃描人體的影像，經由電腦運算萃取人體臉部溫度與其他部位的特徵，進行計算取得比對數值，交由專家系統進行身分辨識，目標為組成一套以個人生物特徵的身分辨識系統。. 1.2. 研究目的目前國內外重要會議與人物聚會的場所，於進出口常設有門禁管制，. 以往身分查核與驗證通常都是以人工的方式進行，比如：查驗邀請卡、照片比對等方式，而保全人員的數量則由會場大小決定之，這不僅浪費人力資源，更提升人事成本的支出，本研究最主要目的為，建立一套可靠的自動化身分辨識系統，以減少人力成本消耗。. 基於研究動機，本研究欲達成目的為下： 1.. 找出有效的人體生理特徵點與區域，及其萃取的方法。. 2.. 提出有效且具體的辨識方法，以提升辨識效能。. 3.. 組成不受光源變化影響、不易偽造、主動與非接觸的身分辨識系統。. 4.. 提出於實驗中遇到問題的解決辦法(如人體尺寸和臉部溫度特徵萃取 2.

(16) 錯誤，以及實驗設備的缺陷(如運行時間))。. 1.3. 研究限制本研究主要建立以人體特徵為主的身分辨識系統，系統中影響辨識準. 確度之生理參數、環境變因、統計的方法、程式演算法與辨識方法皆屬本研究之範圍，本研究使用熱影像進行臉部溫度特徵萃取，另搭配雷射掃描取得人體尺寸的特徵，進行身分辨識的研究。由於熱影像對於溫度的變化比可見光影像敏感，易受周圍環境溫度變化的影響，而雷射掃描儀本身在安全性考量下，功率不可過高，因此容易受到光的折射、散射、衰減與吸收而影響其掃描的結果。因此本研究只在不受劇烈溫度變化，和有限距離範圍內的室內環境下，進行人體特徵的萃取與辨識。. 此外，基於人力與時間的考量，人臉與人體特徵之樣本採集以智慧型控制實驗室(二)及鄰近的實驗室為主，並以此實驗結果作為身分辨識效能的依據。. 1.4. 研究方法為達成訂定的研究目標，本研究依照以下方法進行：. 1.. 探討回顧關於身分辨識的文獻盡可能收集相關的論文，探討身分辨識的種類與其特性及用法，評估可用於研究中的辨識方法，並分析結合專家系統的可行性。. 2.. 收集資料樣本進行設備架設，經由實驗受測者口頭同意後，進行臉部熱影像與雷射人體掃描的影像檔案的收集。. 3.. 由資料樣本中萃取人體特徵 3.

(17) 將前處理後的熱影像檔案提取出來，進行溫層分割萃取臉部溫度特徵，另外讀取前處理後的雷射影像檔，萃取人體尺寸的特徵。 4.. 建立特徵資料庫將萃取的臉部溫度特徵數值，與人體身高、額高、肩高與肩寬人體尺寸特徵數值存入人體特徵資料庫，以利後續身分比對用。. 5.. 比對計算提取人體特徵資料庫內的特徵資料，將實際測量的雷射掃描人體特徵數值，與臉部特徵數值分別利用誤差與卡方計算，取得比對數值。. 6.. 建立專家系統將取得的比對數值，交由專家系統進行身分判別，取得辨識結果。. 7.. 性能指標分析提出一個系統效能分析的指標，以計算辨識率，做為跟其他相關研究比較的依據。. 1.5. 研究步驟確立研究方法後，本研究定出明確執行的時間與流程，如圖 1-1 所示，. 步驟如下： 1.. 定出明確研究目的。. 2.. 蒐集國內外對於身分辨識、生物與非生物感測與量測技術以及專家系統與人體工學的相關文獻，以文獻回顧的方式進行分析。. 3.. 規劃整體系統架構。. 4.. 設計實驗環境，準備實驗所需場地與架設器材。. 5.. 分析本論文所需之法則與演算法。. 6.. 程式撰寫、除錯與精簡化，並分析測量數據的準確度。. 7.. 建置資料庫，將人體特徵資料存入。 4.

(18) 8.. 在有限樣本數之資料庫中，進行系統測試，並紀錄辨識結果之數據。. 9.. 根據實驗結果所記錄的數據，進行分析與探討。. 10. 歸納彙整實驗結果，並客觀分析與探討本論文所提出之實驗目的、方法及實驗結果的優缺點，紀錄於結論中。 11. 撰寫研究報告。. 時程. 研究階段. 研究步驟與流程文獻探討與理論分析. 民國一百年研究規劃階段六月 ~ 十一月. 訂出明確研究目標規劃整體系統架構設計實驗環境. 民國一百年十一月 ~ 一百零一年五月. 分析法則與演算法. 系統建構階段. 程式撰寫、除錯與精簡化建置資料庫系統測試. 紀錄實驗結果. 民國系統完成階段一百零一年五月 ~ 六月. 圖 1-1. 整理資料撰寫研究報告. 研究步驟流程. 5.

(19) 6.

(20) 第二章文獻探討與回顧本章進行探討各專家學者所提出關於個人身分辨識的概念、實施方法及實驗結果，並介紹本研究採用設備的運作原理。本章重點為，讓研究者得以了解背景知識，以便進行後續整體系統的規劃、實現、分析與改善。. 本章於第一節先行個人身分辨識種類的探討，第二節探討本研究使用的熱影像，第三節則探討人體工學 (與本研究雷射掃描人體萃取尺寸特徵有關)，第四節探討雷射掃描成像的原理，第五節探討 RFID，最後於第六節探討本研究用於身分判別的專家系統。. 2.1. 個人身分辨識的類型隨著科技進步和社會變遷，身分辨識已成為保護個人安全及隱私的重. 要議題，本節針對身分辨識的種類進行探討，並分析現階段已實現的方法及其優缺點，以下為學者們針對身分辨識所提出的概念和實施方法，主要分為傳統與生物特徵兩種。 2.1.1. 以傳統的方式傳統身分認證通常以密碼、鑰匙、智慧卡或是證件確認等人工的方式. 進行，其優缺點如下。 (1). 優點：便於攜帶、直接準確。. (2). 缺點：坊間有許多針對傳統身分認證進行破解(仿造與竊取特徵，如鑰匙、智慧卡等)的方法[3]，因此安全性較低。. 7.

(21) 2.1.2. 以生物特徵為基礎本研究主要是以生物特徵為基礎的辨識系統，其方法為透過電腦收集. 光學、聲學與生物感測器等資訊，透過程式處理，將人類固有的生理特徵，如臉部、手部、虹膜、DNA、靜脈血管等，和固有的行為，如筆跡，聲音，手勢，簽名等特徵資訊[4]，轉換成特徵資料後存入電腦，以做為後續辨識的依據條件。以下幾項是以生物特徵為基礎的身分辨識方法： 1.. 掌紋辨識(Palmprint recognition) 掌紋與指紋辨識的概念相似，都是以個人因基因不同所產生身體上獨有的紋路特徵，作為辨識的依據，其辨識率可達 97%[5]，並且廣泛用於商業上。掌紋辨識系統的辨識率雖高，但有侵犯隱私權的問題，故本辨識方法較適用於特殊場合之進出入管制。. 2.. 指紋辨識(Fingerprint recognition) 指紋辨識跟掌紋辨識方法類似，掌紋是利用手掌的紋路特徵作為辨識的依據，而指紋只針對手指紋路的特徵，這兩中方法都有辨識率雖高，但有接觸式與侵犯隱私權的缺點存在。. 3.. 人臉辨識(Face recognition) 人臉辨識主要是利用影像中人類臉部位輪廓中五官的幾何位置及距離，做為比對的特徵依據，而臉部辨識可分為，可見光譜、紅外光譜與混合式三種，於可見光較常見的辨識的方法有，以特徵臉（Eigen Face）基礎的人臉辨識[6]、另外以紋路與深度為基礎的人臉辨識[7] 及主成分分析（Principal Component Analysis, PCA）[8]等方法，不過上述的方法易受環境光源變化所影響，而紅外光譜之人臉辨識主要以人臉溫度特徵為主，故不受環境光源所影響[9-10]，並具備獨特性與不易偽造的好處，最後有混合式的方法，將可見光與紅外光搭配進行辨識的作業，各取所長，進而提升辨識的效能[11-13]。. 8.

(22) 4.. 視網膜辨識(Retina recognition) 本辨識方法主要是利用眼球後方，於視網膜與脈絡膜上血管分佈的特徵作為辨識依據。其辨識成功率很高，但礙於儀器昂貴與操作不易，因此本研究無採用。. 5.. 虹膜辨識(Iris recognition) 本方法主要透過萃取眼球中虹膜影像的特徵，在影像經過一連串處理之後(填補破洞、邊緣偵測、虹膜影像萃取、二值化)得到有依據的個人身分特徵條件利於辨識[14]。. 6.. 語音辨識(Voice recognition) 語音辨識主要是應用個人的聲音獨特性（意指每個人所發出的聲音特徵都不同），透過麥克風取得類比聲音訊號，送往音頻數位化設備轉換為數位訊號後存入電腦進行分析，並且將分析好的個人聲音特徵資料存入電腦中，以利後續比對使用。不過辨識的成功率會因為外在因素的干擾與影響而降低，比如在吵雜環境或周圍有人談話等場所，因此本方法須於安靜無聲的場所下進行，才能得到較高的辨識率。. 7.. 靜脈辨識(Vein recognition) 靜脈辨識可分為手掌與手指兩種方法，其最大的好處在於不容易被偽造，即使手部塗上顏料都不會影響其辨識率[15]。. 8.. 結合人體量測(Integration Anthropometric Measurements) 人體量測通常運用人體的型態與特徵作為辨識依據，通常為混合式的辨識方法，相關應用如性別分辨等；有學者提出使用機器人加上攝影機與雷射掃描器，透過演算法計算取得人體腿部特徵與人臉特徵後，進行人體的偵測與追蹤[16]，本研究屬於非接觸式的多重人體特徵量測系統。. 9.

(23) 綜合以上辨識的方法，其型態與優缺點的比較如下表 2-1 所示：. 表 2-1. 各身分辨識比較. 辨識技術. 特徵點. 接受度. 適用領域. FRR. FAR. 靜脈. 靜脈分部圖像的紋路. 容易. 整體. 0.01%. 0.0001%. 指紋. 手指指紋的特徵點. 心理抵抗. 整體. 0.5%. 0.001%. 掌型. 手的大小、長短、厚薄或比例. 容易. 門禁. 0.15%. 0.15%. 臉部. 臉的輪廓、眼睛鼻子的形狀及配置. 容易. 整體. 1%. 1%. 虹膜. 眼睛虹彩的放射狀紋路圖樣. 抗拒感. 整體. 2.8%. 0%. 聲音. 說話者的聲音特徵. 容易. 語音客服. 1%. 0.1%. 簽名. 簽名的字體及簽名時的筆順、手勁. 容易. PC. 0.2%. 0.6%. 其他. 耳朵形狀、氣味、指甲、DNA 等. 資料來源：由日本自動認識システム協會 HP 整理[17]. 其中，FRR (False Rejection Rate)為錯誤拒絕率，FAR (False Acceptance Rate)為錯誤接受率。經文獻分析後，本研究欲使用臉部熱影像萃取臉部溫度特徵，搭配雷射掃描萃取人體尺寸特徵後，結合專家系統，組成一套非接觸式、不易受到外界環境干擾(如光、聲音等)、計算量較小、穩定和有效的人體多重特徵之身分辨識系統，詳細的運作方法請參考第三章。. 2.2. 熱影像本辨識系統主要使用熱像儀將紅外線轉換成影像(萃取人體特徵)，並. 搭配雷射掃描人體成像(取得人體特徵)，補足熱影像所損失的特徵資訊，本節主要針對紅外線光譜的相關知識、熱影像的特性原理與其應用領域進行探討。 10.

(24) 紅外線簡介. 2.2.1. 紅外線之應用主要分為光與熱。光應用的功能為測定、解析物質的紅外線光譜，而熱應用之功能通常分為兩種：一是用於加熱、加工等；二是用於感測器，以捕捉物體所散發出來的輻射熱，進行溫度測定、監視與追蹤等。. 牛頓於西元 1666 年發現光譜，並測量出大約 400nm 至 700nm 為可見光的波長範圍；而紅外線光譜則是在 1800 年，才被倫敦皇家協會(Royal Society)的弗里德里希威廉赫歇爾(Frederick William Herschel)發現。威廉赫歇爾爵士使用溫度計測量經稜鏡分光後的太陽光，換言之就是量測太陽光光譜各個部分的溫度，發現置於光譜紅光外的區域能使溫度上升最多，然而那裡卻看不出任何顏色，因此爵士得到陽光中內(比紅光波長長的)的不可見光，並能使溫度上升的結論，這就是現今俗稱的紅外光線。紅外光線依波長的不同，可分為近紅外線(Near Infrared, NIR)、中紅外線(Middle Infrared, MIR)與遠紅外線(Far Infrared, FIR)，其波長範圍如圖 2-1 所示；紅外光線依照波長範圍的不同，用途也不同，各波長範圍的紅外光線用途如表 2-2 所示[18]：. 圖 2-1. 可見光與紅外光線波長範圍 11.

(25) 本研究使用之波長範圍屬於遠紅外線，並以此光譜圖進行發熱物體的辨識。. 表 2-2. 各波長範圍之紅外光用途. 名稱近紅外線. 波長範圍 0.78~3μm. NIR 中紅外線. 3~50μm. 用途常用於光纖通訊中，此波長範圍對影像的強化非常敏銳。例如：夜視設備(夜視鏡)。可用於被動式紅外線熱導向追蹤飛彈技術。. MIR 遠紅外線. 50~1000μm. 此波長範圍不需外部光源，就可得到完整的熱輻射影像。. FIR 資料來源：科學發展雜誌第 400 期 2.2.2. 熱像儀影像之特性與原理熱像儀為運用光電技術把熱能轉換為視覺影像的機器，將測得物體輻. 射熱之特定紅外線波段訊號，轉換為人類可觀看的影像，並可進行溫度值的計算。假如在固定的區域內，單以溫度差即可觀看到環境所形成的影像，其原因為自然環境下之物體溫度並不一定相同，這就是所謂的熱影像，換言之熱影像為物體熱能的視覺影像，其設備讓人類在夜間可以超越視覺障礙，即使在毫無光源環境下，也可以影像灰階值代表物體表面之溫度分佈情形呈現。因此熱像儀又稱為紅外線攝影機(Infrared Camera)，基本上是利用紅外線偵測晶片，配合光學鏡頭和電子電路所組成的設備。. 紅外線為電磁波的一部分，當環境的溫度在絕對溫度(-273℃)以上時，任何物體都會釋放出紅外線輻射，且波長在 0.7μm~1000μm 之間；依其能. 12.

(26) 量含量的不同，又可分成近紅外線(0.7μm~4μm)、中紅外線(4μm~40μm)、遠紅外線(40μm~1000μm)三個範圍。每個溫度大於絕對零度(-273 ℃)的物體，都會釋出輻射熱能，這是根據黑體輻射定律(Blackbody Radiation Laws) 而來，而黑體主要能完全地吸收投射於其上之紅外線物體，常用於與其他物質輻射的參考基礎，紅外線輻射的光譜分佈則如表(2-3)與式(2-1)普朗克分佈定律(Planck’s Distribution Law)所述：. (. ∏. ). (. 表 2-3. (2-1). ). 普朗克分佈定律係數. 符號. 意涵. c. 光速(. h. 普朗克係數(. ). k. 波茲曼常數(. ). ). 波長(m) T 2.2.3. 絕對溫度(K). 熱影像之特點以下幾項為熱影像之主要特點：. 1.. 被動操作、且具有隱蔽性。例如在軍事應用上，要偵測熱影像感測器所在位置是非常困難的。. 2.. 全天候日夜 24 小時都可操作，在全黑的夜間可做夜視儀器，. 3.. 在白天低能見度的情況下，可視距離比可見光設備遠。. 4.. 有良好的煙霧、塵埃穿透與揭穿偽裝之能力，這是可見光儀器無法具 13.

(27) 備的能力。 5.. 熱影像感測器具有很高的靈敏度和分辨能力，因此具有遠距離偵測的能力和良好解析度。. 6.. 檢測物體表面和表層的溫度狀態，成為一種非接觸與非破壞性之檢測工具。. 2.2.4. 熱影像之應用領域舉凡軍事上的偵察、監視和測繪，工業材料的檢驗，醫療診斷以及科. 學研究等都有機會使用到。. 2.3. 人體工學本辨識系統使用人體特徵做為辨識的條件，其名稱與位置則根據人體. 工學而來，本節將針對人體工學的原理及用途進行探討。 2.3.1. 人體工學簡介人體工學為一門重要的工程技術學科，另可稱為人因工程。為專業工. 業工程管理科學中的一個分支，人體工學主要研究人與機器和環境之間相互的作用，並設計出適合人類生理、心理環境的機器和系統，促使其合理的結合，人體工學的目標為提升人類健康、舒適與安全的一門科學，主要以人性的心理與生理學為基礎，本研究主要以生理基礎應用為主。進行人體尺寸的量測，如圖 2-2(a)、(b)與表 2-4 所示[19]：. 14.

(28) (a). 人體測計項目圖 2-2. 表 2-4. 2.3.2. (b). 人體測計項目. 人體工學人體量測. 人體編號名稱. 編號. 名稱. 編號. 名稱. 1. 身高. 7. 中指末端高. 2. 眼高. 8. 臀寬. 3. 肩高. 9. 肩最寬. 4. 肘高. 10. 肩峰寬. 5. 臀高. 11. 頭寬. 6. 膝高. 人體工學應用人體工學於生理基礎的相關研究與應用，大多集中於靜態人體量測和. 產品設計上，例如 Sashidharan Komandur 等人提出使用量測手掌與手指的寬度，來輔助設計手持設備[20]；Wen-Yuan Chen 等學者提出使用雷射搭配攝影機影像，透過三角測量法以計算出人體的身高[21]；Jun-Ming Lu 等學者提出使用 3D 立體人體掃描搭配派生量測法之評估[22]；Jinshan 15.

(29) Tang 等學者提出使用 3D 人體掃描資料，進行分析人體體型在性別上的差異與辨識率[23]，這些方法有個共通的前提為，只要有使用 3D 掃描資料進行人體特徵萃取的情形時，受測者的衣著必須貼身。. 2.4. 雷射掃描成像於本系統中，人體的額高、身高、肩高與肩寬的尺寸特徵資料，均由. 雷射掃描成像之距離影像計算而來，因此本節將針對雷射測距儀的原理和特性，及產生影像的方式進行探討。雷射測距儀原理與特性. 2.4.1. 雷射測距儀[24](如圖 2-3 所示)，原理為利用掃描器射出雷射光遇到物體反射回掃描儀的時間，推算出該物體與測距儀之間的距離，此方法稱為時差測距(Time-of-fight method)；原理和雷達相同，主要為測量掃描源與受測物之間的距離。本研究使用本實驗室現有的 Hokuyo 雷射測距儀進行距離成像，萃取人體特徵，目標為提升身分辨識系統的正確率。. 由於雷射脈衝本身是一種經震盪增幅過的可見光，因此在接觸到黑色物體時，其能量會衰減，於低功率感測器量測時，衰減的情形極其嚴重，因此低功率雷射測距儀無法對黑色的物體進行量測，掃描儀會將距離數值自動設為零；除此之外雷射若打到會反光的物體，如鏡子與拋光金屬物體等，其光會被該物體反射到別的地方，而導致量測的距離數值無法量測或出錯。. 本研究所使用的雷射測距設備為低功率型，如圖 2-3 的 Hokuyo URG-04LX 雷射測距儀。 16.

(30) 圖 2-3 2.4.2. 雷射掃描儀. 雷射測距儀相關應用於雷射測距儀的應用方面，有學者提出使用雷射測距掃描儀來搭配攝. 影機做人體追蹤[25]，另外 Kazunori Ohno 等學者曾提出可將雷射測距儀裝於 3D 旋轉平台，並加上機器人組成一個可建構立體地圖的機器車。如圖 2-4[26]為日本學者們，實際應用於 3D 地圖建構的雷射掃描影像。本研究的 3D 成像原理將於第三章詳述。. 圖 2-4. 2.5. 3D 雷射掃描影像. RFID RFID 為「Radio Frequency Identification」的縮寫，中文為“無線射頻. 辨識系統”，主要由 Reader 與 Tag 所組成，其原理是利用感應器發射無. 17.

(31) 線電波，觸動電波範圍內的 Tag，透過 Reader 將 Tag 內儲存的資料讀取後，進行下一步的動作。RFID 實際應用案例有悠遊卡、ETC 與回數票卡等。以悠遊卡為例，卡中都有 Tag，而 Reader 設置在捷運站的各個出入口，每次搭乘捷運時由悠遊卡的 Tag 接觸 Reader 以進行資料讀取，進行扣款的動作，因此 Tag 中所儲存的資訊為卡片中所剩餘的電子金額，於學界，Songmin Jia 等學者提出使用多個 RFID 讀取機搭配影像的方法，組成可以避開人體碰撞的機器人[27]。現今 RFID 用途廣泛，無論在民間、業界與學界，都可發現其蹤跡。本論文欲結合 RFID 設備，輔助本研究發展為一套主動、非接觸式的身分辨識系統，詳細方法請參考第三章。. 2.6. 專家系統「專家」是經常於特定領域中訓練和累積經驗的人，由於擁有專家知. 識，因此解決問題的效率與速度比一般人高出許多；而專家系統就是將某領域專家們的知識和經驗，經過知識加工服務來建立一套以推理方式來解決問題的系統。此系統除了具備解決由資訊所組成問題的必要功能外，須具備模仿人類推理和思考的能力，相似於人類專家應用知識搭配思考解決問題。廣義來說，專家系統係指某些電腦軟體，模擬真實專家的存在，並協助、提供非專家學習者操作的環境來處理事情、解決問題[28-29]。 2.6.1. 專家系統的發展五十年代中期，科學家試圖建立一個模擬人腦的智能機制，其代表系. 統名為 PERCEPTION，此系統具備自我學習的功能，但未達理想的標準。之後的十年間，科學家主要集中於明確定義與結構問題上的研究，如定理的證明、問題的求解等。之後於 1960 年發展出一個名為通用問題求解器 (General Problem Solver, GPS)的系統，其特點為不侷限於特定問題上，但 18.

(32) 需於狀態集合較少和完整定義形式規則的領域內使用[30]。 2.6.2. 專家系統架構專家系統架構包含六大部分，如圖 2-5 所示，分別為：. 1.. 知識庫(Knowledge Base) 此為專家系統的核心的部分，存有解決問題的背景知識，並包含該領域專家的經驗、知識與事實資料。. 2.. 推理引擎(Inference Engine) 用於處理與控制專家系統推理過程的機制，模仿專家使用邏輯思考的方式與技巧來解決問題。. 3.. 工作記憶區(Working Memory) 將推理過程中產生關於知識的資料暫存。. 4.. 解釋能力(Explanation Facility) 幫助使用者對系統更加了解。. 5.. 知識取得介面(Knowledge Acquisition Interface) 將知識工程師得到的經驗和知識，轉換成電腦可使用的架構。. 6.. 使用者介面(User Interface) 提供使用者跟電腦間的溝通介面，讓使用者得以和電腦組成的專家系統進行順暢的溝通。. 19.

(33) 領域專家. 知識工程師. 知識擷取介面. 知識庫推理引擎. 記憶體暫存區. 使用者介面. 使用者. 說明解釋系統. 圖 2-5. 專家系統基本架構圖. 在專家系統建立的過程中，有三項主要程序，分別為知識擷取 (Knowledge Acquisition)、知識表現(Knowledge Representation)與知識推論 (Knowledge Inference)，這三項將於下一小節中說明。 2.6.3. 知識擷取知識擷取，包含知識的取得、表示與推理，為專家系統發展過程中最. 關鍵的部份。以知識存在的具體性，可分為以下兩類： 1.. 內隱知識(Implicit Knowledge) 專指存在於專家腦中，必須經由專家解釋，才能被一般人理解或應用的知識。這類知識因為擷取的過程非常複雜，很難直接應用於專家系統中，為專家系統於建立過程中會遇到的一大困難點。. 2.. 外顯知識(Explicit Knowledge) 專指條理分明且清楚明確的知識，這類知識通常容易歸納整理應用於專家系統中。. 知識擷取分為三種方式，分別為人際溝通模式、人機交談模式和機器 20.

(34) 學習模式，其內容如圖 2-6 所示。. 專家知識. 知識工程師. 知識庫. 人際溝通模式專家知識. 交談式知識攝取軟體. 知識庫. 人機交談模式範例庫. 機器學習軟體. 知識庫. 機器學習模式圖 2-6. 知識擷取的三種方式. 此外知識擷取的過程可分為指認、結構化、關聯化與測試四個部份，如圖 2-7 所示。其中指認是確認問題與答案之間的關聯；結構化是指問題的架構與模式，內容包含解決相關於問題的變數階層關係、因果層次及程序關係等，以便把問題分成許多獨立且較小的次問題；關聯化指的是建立知識法則的過程；而測試則為擷取知識的檢查動作。實際上在知識工程流程的每一階段，皆有其階段性的測試，只有在測試結果合於目標之後，才能進入下一個步驟。. 指認. 概念. 結構化圖 2-7. 結構. 關聯化. 知識. 測試. 知識擷取的四個步驟. 人際溝通模式又可再細分成兩大類，其一為直接人際溝通模式，是以. 21.

(35) 語言或文字等方式，直接與人類專家進行溝通，以便將知識擷取出來。這類方式還包含陳述法、交談法、觀察法、閱讀法、問卷法與草案法等六種。. 其二為間接人際溝通模式，為使用特殊表格、圖形及數學分析的方式來擷取資料。這類方法包含有決策表、決策樹、且或樹、故障樹、展開樹、流程圖、模式圖、階層集群分析樹和多維尺度分析樹等九種方法。本研究採用且或樹的方法，詳細原理如下一小節。 2.6.4. 且或樹(AND-OR Tree) 且或樹是指用 AND-Tree 與 OR-Tree 呈現知識庫架構的分析工具，由. 不同條件的子節點(Child-Node)所構成。這些樹涵蓋由許多類型節點所組成的知識庫，每個類型的節點用以對應相符的程序，若當下的環境皆滿足某節點所代表的狀況時，程序便會執行。以下分別為 AND-Tree 與 OR-Tree 的說明[31]。 1.. AND-node 當 AND-node 底下所有的子節點全滿足時，AND-node 才會為滿足，只要任一子節點沒滿足，AND-node 就不會滿足，而若有某 AND-node 沒有任何子節點，則該 AND-node 會自動視為滿足。如圖 2-8 所示，子節點由左至右依序檢查「條件一」、「條件二」，直到「條件 N」被檢查完為止，當所有子節點皆被滿足，AND-node 才會執行某項程序。. 22.

(36) AND. 條件一. 條件二. 圖 2-8. 2.. …... 條件N. 程序. AND-Tree. OR-node 當 OR-node 底下某一個子節點被滿足時，OR-node 也會被滿足，唯有所有子節點都沒有一個被滿足時，OR-node 才不會被滿足，而若有某 OR-node 沒有任何子節點，則該 OR-node 則永遠不會被滿足。如圖 2-9 所示，子節點由左至右依序檢查「條件一」、「條件二」，直到「條件 N」為止，只要有一個子節點被滿足(如條件二)，OR-node 就會執行某項程序。. OR. 條件一. 條件二. 圖 2-9 2.6.5. …... 條件N. 程序. OR-Tree. 知識推理與知識表現專家系統的知識推理與知識表現，有以下五種方式：一為「法則式系. 統」、二是「框架式系統」、三是「邏輯式系統」、四是「物件式系統」、最後則是「語意式系統」。本論文僅介紹有用到的法則式系統。. 法則式系統，為最早發展出來並普及的知識表現與知識推理模式，其基本格式為 IF…, THEN…。IF 的區塊稱之為前提(premise)或是條件 23.

(37) (condition)；THEN 的區塊則稱之為行為(action)或結論。當 IF 的區塊與當前的事實吻合，則 THEN 區塊內的行為就會執行，表示此法則被觸發。然而，法則式系統又可依知識推論的方式不同，分成前向式推理系統與後向式推理系統，以下將針對本研究所用的前向式推理系統做介紹。. 前向式推理系統，為最早被使用的推理系統，適用於設計與規劃等問題的應用，如 1978 年~1982 年間由 DEC 公司所開發的 XCON 專家系統，便是使用前向式推理系統。其系統的運作原理為，當使用者選擇一資料後，程式將會利用此資料，來判斷其是否符合系統內定的條件，以選擇所成立的事實，最後程式再根據使用者對於事實成立與否的回答，而得到不同的結論。 2.6.6. 專家系統的特色與比較專家系統與傳統程式設計，在形式上有差異；其中最大差異在專家系. 統於解題知識與推理機制的部分是分開的。因此，如果要強化專家系統的解題模式，只須修正知識庫內的內容就可達成，不同於傳統程式必須將程式本身進行修改[32]。. 24.

(38) 第三章系統設計經文獻探討後，本章依系統所需，詳述本研究提出的方法，其內容分為：第一節，系統架構與流程設計；第二節，RFID 身分確認；第三節，雷射掃描成像；第四節，雷射影像與熱影像前處理；第五節，特徵萃取方法；第六節，特徵點與特徵區域的選擇與分析；第七節，身分符合性考驗的方法。. 3.1. 系統架構與流程設計於詳細說明本系統的所有方法與原理前，本節先介紹系統的整體架構. 與流程。 3.1.1. 系統架構本論文之個人身分辨識系統，整體架構如圖 3-1 所示。系統首先透過. RFID，或是由使用者手動輸入身分資料，進行身分的確認，以減少系統於資料庫比對的時間。並在完成身分確認後，通知系統啟動設備萃取人體特徵進行辨識的作業，這也意味著若 RFID 身分確認不通過，或者是使用者沒輸入身分資料(意味系統資料庫內無符合的身分資料，或是受測者沒建置人體特徵入資料庫)，系統就不會啟動設備進行辨識。如果身分通過，系統將啟動雷射掃描與熱像儀。雷射掃描是由電腦程式控制雷射測距儀掃描的角度(範圍)與解析度，以取得人體距離影像進行前處裡來計算身高、身寬等人體尺寸特徵數值，而熱像儀則是將臉溫影像經由影像擷取卡送入電腦後，經由前處理與溫層分割程式進行影像處理，取得臉部溫度特徵，最後電腦為，將整體系統行管控和特徵資料庫資料擷取、建置及比對的機器。下一節將說明整個系統關於特徵萃取、資料庫建置與辨識的方法。. 25.

(39) 使用者. 電腦. 對應身份編號至資料庫取得臉部溫度特徵資料. 電腦與特徵擷取設備進行臉部溫度特徵比對計算. 啟動熱像儀系統萃取臉部溫度特徵資料使用RFID或輸入身份編號. 讀取編號. 專家系統決策是否身份符合對應身份編號至資料庫取得人體尺寸特徵資料進行人體特徵誤差比對計算啟動雷射掃描系統萃取人體尺寸特徵資料. 圖 3-1 3.1.2. 身分辨識系統整體的架構. 系統流程本研究提出的個人身分辨識系統流程，如圖 3-2 所示，分為資料庫建. 置與辨識兩個階段。其中系統於資料庫建置階段，主要先透過 RFID 或輸入身分視窗程式進行身分確認，並將雷射掃描影像與熱影像，經特徵萃取取得的人體特徵資料和身分編號後，存入資料庫；而辨識階段主要是透過電腦程式，將 RFID 取得的身分編號，至資料庫提取對應身分編號之特徵資料，並通知系統透過電腦啟動熱像儀攝取熱影像與雷射掃描機取得距離影像，進行前處理與特徵資料萃取後，一併送入比對系統計算出參數，交由專家系統取得辨識結果。本研究將依照此流程進行個人身分辨識系統的實作，流程內各區塊詳細方法，將於第二到六節闡明之。. 26.

(40) 開始. 開始. 人體到位輸入身份編號. 未取得未取得. 系統取得身份編號? 成功取得成功取得. 取雷射掃描影像進行前處理. 取熱像儀影像進行前處理. 萃取人體尺寸特徵資料. 擷取臉部溫度特徵資料. 身份編號對應資料庫. 擷取熱像儀影像進行前處理. 雷射掃描影像進行前處理. 特徵資料庫提取資料. 萃取臉部溫度特徵資料. 萃取人體尺寸特徵資料. 特徵資料庫. 比對計算後交由專家系統行身份判別. 輸出辨識結果. 資料庫建置結束. 圖 3-2. 3.2. 身分辨識系統整體運作的流程. 確認身分系統於身分確認。本研究使用 RFID，或由使用者將身分輸入系統進. 行身分的確認，目的為節省系統於資料庫比對的時間。系統若未經過身分確認，對應人體特徵資料庫擷取比對資料的機制，其資料庫的比對次數將由人數所決定，意味著人數越多，身分比對所花的時間越長；反之，經由身分確認後，只需從人體特徵資料庫中，提取對應身分的特徵資料進行比對，已達成比對所花的時間不受人數多寡所影響的目標。除此之外 RFID 容易取得，其輕薄短小、便於攜帶是本研究考慮採用的原因之一。. 27.

(41) 本系統將透過 RFID 或使用者將身分資料輸入電腦來確認身分，並呼叫系統對應身分至資料庫取得特徵資料，並與現場萃取的身分特徵資料進行比對，RFID 運作流程如圖 3-3[33]。. 圖 3-3. 3.3. RFID 運作流程. 雷射掃描成像本節針對系統中人體 3D 雷射掃描儀的部分，進行成像原理的解說。. 本系統使用雷射掃描的目的為，希望能迅速、準確、穩定取得人體尺寸的特徵資訊，以期改善系統的辨識率。3D 雷射掃描成像機實體如圖 3-4，成像的運作流程如圖 3-5。. 開始. 馬達平台、雷射掃描器初始復歸. 定義好掃描角度條數由電腦下指令. 收到電腦下的指令後開始掃描. 掃完指定條數 ? No. 掃描成功?. Yes. No. 將距離陣列資料交給電腦. 重掃一次. Yes. 圖 3-4. 雷射掃描成像機. 圖 3-5. 28. 運作流程.

(42) 如圖 3-4，本研究將雷射掃描測距儀裝在垂直移動平台上，藉由平台的垂直移動，改變雷射測距儀的掃描範圍，達成距離成像(距離資料組成影像)。程式流程如圖 3-5 所示，首先將掃描系統初始復歸後，開始接收電腦下的掃描條數指令進行掃描成像，掃描的過程中本機會確認每條測距掃描是否成功，若失敗則重掃，以降低距離成像的錯誤率，本研究將成像完成的距離資料陣列轉換為距離影像，後續處裡將於 3.5 介紹。. 3.4. 熱影像前處理本節將詳細說明熱影像前處理的技巧與方法，流程如圖 3-6 所示，主. 要使用人臉分割技術，共有六項步驟，分別為中值濾波、灰階分割、二值化、膨脹、侵蝕、連通運算、摺積運算、鼻孔定位及脖子割除，以去除不需要的臉部區域與雜訊，提升特徵萃取的穩定性，以下幾節將針對熱影像前處理流程內部個別運作的原理進行說明。. 開始輸入五張人臉影像人臉分割中值濾波二質化侵蝕、膨脹二次連通取遮罩與原影像摺積運算鼻孔定位切割脖子割除. 結束. 圖 3-6. 熱影像前處理流程 29.

(43) 3.4.1. 人臉分割技術於臉部熱影像前處理，本研究提出使用物件聯通分群，行雜訊去除並. 填補破洞的方法。本研究的分割原理為利用熱影像，溫度越高顏色越白，像素值越大的特性，如圖 3-7(a)；溫度越低顏色越黑，係屬於溫度較低之背景區域，如圖 3-7(b)。. (a)人臉溫度範圍圖 3-7. (b)背景溫度範圍. 熱影像灰階對應溫度的呈現. 一般人體溫度範圍介於 31 度到 36 度之間，背景溫度範圍將依照室內的溫度而改變，室溫通常為 25 度。由範例中研究者可藉由溫度剖面觀察到人體體溫與背景的溫度相差約 8 度，如圖 3-8(a)和(b)所示[35]。. (a)原始影像. 30.

(44) (b)溫度剖面圖圖 3-8. 溫度剖面圖. 以上述人體與背景溫度差異之特性，每個像素所對應到的溫度資訊都不相同，本研究經由實驗設計出人臉的分割演算流程步驟如下：. 1.. 輸入熱影像並灰階化，進行中值濾波去除雜訊。. 2.. 將影像二值化，取得人臉遮罩。. 3.. 將遮罩進行聯通運算，消除雜訊區塊。. 4.. 影像黑白轉換，再次聯通運算彌補破洞，取得完整的人臉遮罩。. 5.. 將二值化的人臉遮罩再次黑白轉換，與原始人臉熱影像進行迴旋積分 (Convolution)運算，取得到完整的人臉影像。. 6.. 將完整人臉影像經鼻孔定位與去除脖子後留下下半圓臉部影像。. 本研究提出之人臉分割運算結果如圖 3-9，(a)經灰階化與濾波後的原始影像、(b)影像二值化、(c)侵蝕膨脹與二次連通取得人臉遮罩、(d) 與原始影像遮罩摺積、(e)鼻孔定位，切割影像、(f)去除脖子區域影像。. 31.

(45) (a)經過灰階和濾波處理的原始影像. (b)影像二值化. (c)侵蝕膨脹與二次連通取遮罩. (d) 與原始影像遮罩摺積. (e)鼻孔定位，切割影像. (f)去除脖子區域影像. 圖 3-9 3.4.2. 人臉分割流程. 中值濾波本研究使用中值濾波，來去除熱影像內部的雜訊，本方法效果比低通. 濾波器來的好，處理後影像所產生的模糊效應較不明顯，本方法為一種非線性濾波器。. 32.

(46) 中值濾波為一種影像遮罩運算，其範圍可更改，一般為. ，遮罩. 的大小會影響到影像處理的速度。將遮罩掃過整張影像後，取其中間值取代原始影像之像素，去除影像中像素值較極端的雜訊，演算原理如圖 3-10。. 圖 3-10. 中值濾波的原理. 經由濾波後的影像，品質及穩定性皆明顯提升，此舉有助於後續特徵的萃取，以下圖 3-11 為中值濾波的程式流程，其中的 i 與 j 皆為程式迴圈的計數變數，height 為原始影像的高度，width 為原始影像的寬度，為了使程式撰寫容易，並增進系統執行效能，在不影響程式輸出影像的前提下，本文使用的形態學運算將不考慮邊界的處理問題。. 33.

(47) 開始. 輸入影像. 設定影像遮形狀罩大小. i=0,j=0. i < (height – 1?). No No 輸出影像. Yes Yes 結束. i++. j <( width – 1)?. No No. Yes Yes 將遮罩範圍內像素進行排序. 取出中間值. 將中間值取代原始影像中所對應的像素值. j++. 圖 3-11 3.4.3. 中值濾波程式流程. 二值化二值化又稱為臨界值化，也就是將影像經由固定門檻值將其轉為只有. 純黑白影像的方法。本研究運用於灰階分割，首先定義一個二維灰階影像 B 的函數為𝑓( 𝑦)，其經過二值化以後的影像為𝑔( 𝑦)，原理如式 3-1。. 34.

(48) 𝑔( 𝑦). {. 𝑓( 𝑦) 𝑓( 𝑦). (3-1). 其中影像Ｂ的灰階值𝑓( 𝑦)為 0 到 255，x 與 y 為影像座標，T 為臨界值，經二值化處理後的影像𝑔( 𝑦)灰階值只有 0 與 255。. 二值化的目的主要是將影像去除背景，留下要分析的區域。本研究以溫度對應像素門檻值 T，將熱影像中人臉的部分從背景中分離出來，以便臉溫特徵的萃取。. 如圖 3-12(a)為原始影像，經二值化處理後的影像則如圖 3-12(b)。. (a)原始影像. (b)經二值化處理後圖 3-12. 3.4.4. 二值化比較. 膨脹運算形態學之膨脹(Morphological Dilation)運算，主要是用來處理影像破. 碎的情形，其膨脹運算式如式 3-2 或式 3-3。. 𝑔 ( 𝑦) 𝑔( 𝑦). [𝑓 ( 𝑦 ) ]. (3-2). 𝑓( 𝑦). (3-3). 35.

(49) 其中𝑔( 𝑦)為膨脹後影像，𝑓( 𝑦)為原始影像，S 為結構元素，膨脹運算子(使用 OR 邏輯)；本研究使用之結構元素為. 為. 之矩形，元素. 大小將影響到處理的速度，如圖 3-13(a)為原始影像，3-13(b)為經過膨脹處理後的影像。. (a)一般影像圖 3-13. (b)經膨脹運算後形態學膨脹運算. 圖 3-14 為膨脹運算的程式流程圖。. 36.

(50) 開始. 輸入影像. 設定影像遮形狀罩大小. i=0,j=0. i < (height – 1)?. No No. 輸出影像. Yes Yes 結束. i++. j < (width – 1)?. No No. Yes Yes 將遮罩範圍內像素做OR運算. j++. No No value_OR = 1?. Yes Yes 將遮罩中心位置所對應的原始影像像素值設為1. 圖 3-14 3.4.5. 形態學膨脹運算程式流程. 侵蝕運算形態學之侵蝕(Morphological Erosion)運算，主要是用來去除影像中細. 小的物件，其運算式如式 3-4 或式 3-5。. 𝑔( 𝑦) 𝑔( 𝑦). [𝑓 ( 𝑦 ) ]. (3-4). 𝑓( 𝑦). (3-5). 37.

(51) 其中𝑔( 𝑦)為侵蝕後影像，𝑓( 𝑦)為原始影像，S 為結構元素，侵蝕運算子，本研究使用之結構元素為. 為. 的矩形，元素大小會影響到. 影像處理的速度。而侵蝕運算，其實只是將 OR 或運算改成 AND 及運算。. 圖 3-15 為型態學侵蝕運算的程式流程圖，其中的 i 與 j 皆為程式迴圈的計數變數，height 為原始影像的高度，width 為原始影像的寬度。. 開始. 輸入影像設定影像遮形狀罩大小. i=0,j=0. i < (height – 1)?. No No. 輸出影像. Yes Yes 結束. i++. j < (width – 1)?. No No. Yes Yes. 將遮罩範圍內像素做AND運算. j++. No No value_AND = 1?. Yes Yes 將遮罩中心位置所對應的原始影像像素值設為1. 圖 3-15. 形態學侵蝕運算程式流程. 38.

(52) 3.4.6. 連通運算影像處理的過程中，通常會遇到雜訊，較細小的可以使用形態學的侵. 蝕方法來去除；然而在雜訊區塊過大，無法由侵蝕運算消除時，需要另尋方法解決。於吳怡明[34]的論文文獻中，提到使用物件聯通的方式給予區塊編號，最後留下編號最多次的區塊，將其餘編號出現次數較少的區塊影像去除，達成大型區塊雜訊去除的動作。本節主要說明連通運算的原理，首先介紹物件聯通區域編號保留最大區域的步驟，如圖 3-16。. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 2. 2. 3. 3. 3. 2. 2. 3. 3. 3. 2 3. (a)不相連的物件圖 3-16. 3. 2. 3 3. 3. 3. 3. (b)給予編號. 3. 3. 3 3. 3. 3. 3. (c)留下出現次數最多. 物件聯通區域編號保留最大區域. 物件連通原理為將相同編號出現最多次的的區域保留下來，將其他出現次數較少的去除，如圖 3.16(c)，就可取得最大區域，消除較大區塊的雜訊，並可利用其特性來補足影像中的破碎區域。. 本研究所採用的八鄰點物件連通法的遮罩，如圖 3-17 所示：其中 P5 為判斷中心元素，P1、P2、P3、P4、P5、P6、P7 及 P8 為八個鄰近的區域像素。八鄰點物件連通的程式流程圖如圖 3-18 所示。. 依照圖 3-18 之程式流程圖處理影像後，即可將影像中的各個物件進. 39.

(53) 行編號，並計算不同編號物件的大小，最後把最大的物件保留下來，就可去除不需要的物件。. P1. P2. P3. P4. P5. P6. P7. P8. P9. 圖 3-17. 物件連通區域編號. 開始. 輸入影像設定影像遮形狀罩大小. i=0.j=0. NEW_N=1. No No 輸出影像. i < height - 1. Yes Yes 結束. i++. No No j < width - 1. Yes Yes. No No P5 = 1?. j++. Yes Yes No No N_P5=NEW_N. N_P1 OR N_P2 OR N_P3 OR N_P4 >=1?. Yes Yes NEW_N+1 N_P5=MAX(N_P1,N_P2 ,N_P3,N_P4). 圖 3-18. 物件連通程式流程 40.

(54) 3.4.7. 鼻孔定位人臉切割鼻孔定位技術主要利用鼻孔呼吸溫度的變化來找出位置。一個人呼吸. 的時間約略為五秒鐘，因此以下程式將計算五秒鐘鼻孔之周圍溫度變化來找出鼻孔的位置[35]，每秒一張影像，共五張，進行變異數的計算，具體的程式流程如圖 3-19 所示。. 開始. 開始. 預設最大變異數為0 variance = 0. 計算遮罩內之平均變異數. 計算像素平均. 大於最大平均變異數. No No. Yes Yes 計算變異數、存入變異數矩陣. No No. 紀錄最大平均變異數之位置. No No. 影像掃描完畢?. 影像掃描完畢?. Yes Yes. Yes Yes. 結束. 結束. 計算影像的計算影像的變異數矩陣變異數矩陣. 找出影像中變找出影像中變異最大的位置異最大的位置. 圖 3-19. 鼻孔定位程式流程. 由於本方法是針對鼻孔周圍影像，進行溫度變化量的計算並定位，因此定位程式只需針對鼻孔周圍的區域影像 ROI 進行計算，以避開其他區域溫度變化的影響，以節省時間並提升定位的穩定性。經由程式計算出鼻 41.

(55) 孔的位置並定位後，再對鼻孔位置下移一個固定的範圍，確保能正確去除鼻孔區域的位置，最後進行人臉切割，留下鼻孔位置以下的影像，去除上半部會受到眼鏡、頭髮遮蔽與鼻孔呼吸溫度時變的區域。實際處理結果如圖 3-20 所示。. 圖 3-20 3.4.8. 經鼻孔定位切割後的結果. 去除脖子影像本研究主要以人臉為主，故將脖子的熱影像資訊去除，以減少臉部範. 圍外溫度變化的干擾。本研究原理為利用三角函數產生一個影像遮罩，並罩去脖子的部分，如式 3-6。. (3-6). 其中為得到的切割長度，為一邊臉頰到臉部中心的距離，而. 為角. 度，其角度變化量由長度決定。脖子區域影像去除程式流程如圖 3-21 所示，執行的結果如圖 3-22 所示。. 42.

(56) 開始輸入影像與鼻孔位置. 開始. 計算出產生遮罩的相關參數. 輸入影像與遮罩影像. i=0,j=0. i=0,j=0. i < (height-1)?. No No. No No. 輸出遮罩影像. i < (height-1)?. Yes Yes. Yes Yes 結束. i++. No No. 輸出切割後影像. i++. No No. j < (width-1)?. j < (width-1)?. Yes Yes. Yes Yes. 套公式計算出遮罩長度. 進行AND運算. j++. j++. 取得遮罩影像取得遮罩影像. 遮罩與原影像遮罩與原影像 AND運算 AND運算取得半圓臉取得半圓臉. 圖 3-21. 去除影像中脖子區域程式流程. 圖 3-22. 去除脖子影像的結果. 43. 結束.

(57) 3.5. 雷射距離影像前處理本節將詳細說明雷射影像前處理的技巧跟方法，流程如圖 3-23，主要. 以人體分割為主，一共有五項步驟，分別為去除超出距離範圍資料、保留頭髮區域、人體檢出、聯通運算、侵蝕與膨脹；其中膨脹、侵蝕與聯通運算的原理，和熱影像前處理部分的方法相同，請參考 3.4.4、3.4.5 與 3.4.6 節，以下幾節將針對人體分割的流程與運作原理進行解說。. 開始輸入背景與人體影像人體分割去除超出距離範圍資料保留人體影像頭髮區域人體檢出連通運算侵蝕、膨脹. 結束. 圖 3-23 3.5.1. 雷射距離影像前處理流程. 人體分割技術本論文提出一種使用去除超出距離範圍背景資料後，保留人體頭髮區. 域，並進行人體檢出運算，再行連通、侵蝕膨脹運算取得人體距離的影像。其整體流程步驟如下：. 44.

(58) 1.. 輸入背景與包含人體的影像(影像皆由距離資料陣列轉換而來)。. 2.. 將背景與包含人體的影像進行大於 L 距離範圍去除處理，並把包含人體影像的頭髮區域作保留處裡。. 3.. 把經由去除大於 L 距離的兩張影像，進行檢出運算取得人體影像。. 4.. 將影像做形態學侵蝕膨脹運算去除雜訊，輸出處理好的純人體影像。. 本研究提出之人體分割運算個步驟結果如圖 3-24，(a)背景影像、(b) 包含人體的影像、(c)背景影像去除超出距離範圍、(d)人體影像去除超出距離範圍、(e)頭髮編號進行人體檢出、(f)連通、膨脹、侵蝕去雜訊。. (a)背景影像. (b)包含人體的影像. (c)背景影像去除超出距離範圍. (d)人體影像去除超出距離範圍. (e) 頭髮編號後進行人體檢出運算. (f)經由連通、膨脹、侵蝕去除雜訊. 圖 3-24. 人體分割運算流程 45.

(59) 3.5.2. 去除超出距離範圍資料於雷射距離影像前處理的部分，本研究定義一個處理後的二維距離影. 像 D 的函數為𝑓( 𝑦)，並設定一個門檻值，以利去除超出掃描距離範圍的資料，目的為降低人體範圍外背景雜訊的干擾，原理如式 3-7。. 𝑓( 𝑦). {. 原始影像數值，設為門檻值，. 門檻值 (3-7). 門檻值. 如圖 3-25 中黑色的線條為固定的距離的門檻值，人站在雷射掃描器到黑色線的距離範圍內，而黑色線後方範圍外的背景距離資料都不採用，視為雷射測距儀到黑色線的距離，以便去除超出掃描距離範圍外的資料，降低背景雜訊的干擾。. 人體. 距離超出背景範圍區域. 雷射掃描設備. 圖 3-25. 固定距離範圍. 46.

(60) 實際去除超出距離範圍像素資料的運作，如圖 3-26(a)為原始影像， 3-26(b)為處理後的結果。. (a)未去除超出距離範圍資料圖 3-26 3.5.3. (b)去除超出距離範圍資料後. 去除超出距離範圍外的像素資料. 保留頭髮區域本研究在進行身高計算時，需要使用到頭髮部分的資訊。然而考慮到. 頭髮會將雷射吸收的特性，頭髮部分的距離資訊將會變為零，因此在對雷射距離影像二值化後，易使頭髮資訊與二值化後的背景區域混淆，造成頭髮資訊的喪失；為保留二值化後的距離影像內之頭髮資訊，需經過額外的處理方式保留頭髮的資訊。由於正常的距離資訊並不包含負數的數值，因此本研究採用將距離為零的像素點設為負數值的方式，藉此將頭髮與二值化後的背景區域進行區分，本研究定義一個處理後的二維距離影像 D 的函數為𝑓( 𝑦)，並設定一個門檻值，進行頭髮區域標駐，供後續人體身高尺寸特徵萃取的作業，原理如式 3-8，程式流程如圖 3-27 所示，處理的流程如下：. 𝑓( 𝑦). {. ， (3-8). 𝑓( 𝑦)，. 47.

(61) 1. 標註頭髮的候選位置距離影像輸入後，找出所有距離資訊為零的像素點，並將其資訊更動為-500，以標註為頭髮的候選部分。 2. 保留頭髮的資訊進行去除背景人體檢出的步驟時，將距離值為-500 的像素點保留住，另外進行物件連通運算時，需將距離大於零或等於-500 的像素點一齊考慮進去，以避免頭髮的資訊遭去除。. 開始輸入影像將距離為零的像素值設為負500 人體檢出時保留負500的像素值資料物件連通與膨脹侵蝕運算時併入負500的像素點計算取得包含頭髮的人體距離影像資訊程式結束. 圖 3-27. 保留頭髮資訊的程式流程圖. 在萃取出頭髮與人體的資訊後，便可利用頭髮的資訊，計算出代測者的身高與額高尺寸。 3.5.4. 人體檢出人體檢出為雷射前處理最後一個步驟，本方法主要將含有人體的影像. (本文設為𝑓( 𝑦))與背景影像(本文設為𝑏( 𝑦))相減，留下差值大於決斷值的距離影像(本文設為 ( 𝑦))資料，算法如 3-9 式。 48.

(62) ( 𝑦). 𝑓 ( 𝑦). 𝑏( 𝑦). (3-9). 經減算後得到的影像，本方法再定一個距離門檻值，凡小於門檻值的距離皆設為零，以利去除背景雜訊資料，原理和 2.5.2 節的 3.7 式相同。實際運作結果如下圖 3-28(a)為含有人體的影像，3-28(b)為背景影像， 3-28(c)則為透過侵蝕膨脹和人體檢出，去除雜訊後的人體影像。本人體撿出方法主要為取出純人體的距離影像，以便後續人體尺寸特徵萃取作業。. (a) 含有人體的影像. (b) 背景影像. (c)經過侵蝕膨脹並透過人體檢出去除雜訊後的人體影像圖 3-28. 人體檢出流程. 49.