利用紅外線影像之視覺監控
53
0
0
全文
(2) 中文摘要. 利用紅外線影像之視覺監控. 指導教授：莊仁輝. 教授. 研究生：陳宇欣. 國立交通大學電機資訊學院. 國立交通大學電機資訊學院. 資訊科學所. 資訊科學所碩士班. 摘. 要. 由於紅外線影像是捕捉物體本身主動散發的輻射熱，並不受到亮度影 響，讓我們在一般可見光影像的應用之外，能夠做出其他不同的應用。例 如，在黑暗環境中的安全監控，以及溫度方面的檢測。在本論文中，我們 會先研究紅外線影像的特性。接下來，我們將發展以區域生長為基礎的即 時人體切割方法，以提供安全監控方面的應用。不同於目前大家所熟悉的 背景相減技術，在分割前景物體時，我們所提出的方法是以溫度分佈為基 礎，將高溫的區域生長出來，因此不需要建構場景的背景模型。除此之外， 在切割出人體之後，我們進一步將頭部的位置給偵測出來。實驗結果顯 示，在大多數的情況下，我們能夠正確地將人體作切割，以及將頭部偵測 出來，並且達到即時處理的效果。. i.
(3) 英文摘要. Visual Surveillance Using Infrared Images Jen-Hui Chuang Department of Computer and Information Science National Chiao Tung University. Yu-Hsin Chen Department of Computer and Information Science National Chiao Tung University. Abstract. Infrared imagery offers a promising alternative to visible light imagery in various applications owing to its capability of sensing object heat emissions in the distance. It is thus particularly suitable for security surveillances in the dark and for temperature inspections. In this thesis, we first investigate the characteristics of infrared imaging. Then, for visual surveillance applications, we develop region growing-based methods to segment human bodies in real-time. Different from popular background subtraction techniques for separating foreground objects, the proposed methods are based on temperature distributions to grow target regions and do not need to maintain a background model of the view field. Besides, head positions can thereafter be located using the segmented shape information. Experimental results show our methods can segment human shapes and locate their heads correctly in most cases and achieve the real-time performance.. ii.
(4) 誌謝. 誌. 謝. 本篇論文能夠順利完成，首先要感謝我的指導教授莊仁輝老師以及博 士班的林泓宏學長。若是沒有老師和學長的熱心指導、建議以及協助，恐 怕無法如期完成論文並順利畢業。同時，也要感謝智慧型系統實驗室的各 位學長、同學、學弟妹，為我的研究所生涯，除了學習成長之外，更添增 了許多歡樂、美好的回憶。 我要感謝我的家人，總是給我支持與鼓勵，讓我能夠免除經濟上的壓 力，專心於課業之上。當然也要感謝我的女朋友如梅，在我不如意、生病 的時候，總是能夠陪伴著我，細心照料，無怨無悔的付出。最後，僅以此 篇碩士論文獻給所有關心我的人，謝謝你們！. iii.
(5) 目錄. 目錄 中文摘要……………………………………………………………………………….i 英文摘要……………………………………………………………………………....ii 誌謝……………………………………………………………………………...........iii 目錄…………………………………………………………………………......….... vi 圖目錄……………………………………………………………………….......…....iv 摘 要 ........................................................................................................................i 第一章 序論 ...........................................................................................................1 第二章 分析紅外線影像 .......................................................................................3 2.1 紅外線的輻射波段 ........................................................................................3 2.1.1 近紅外線..............................................................................................4 2.1.2 中紅外線..............................................................................................4 2.2 紅外線影像的特性 ........................................................................................5 2.3 影響紅外線影像成像對比的因素 ..............................................................10 2.3.1 物體表面的輻射率 ...........................................................................11 2.3.2 物體表面的溫度 ...............................................................................13 2.3.3 紅外線LED燈和電阻的效果、效應 ...............................................15 2.4 紅外線影像處理的特性 ..............................................................................18 第三章 偵測人體的方法 .....................................................................................19 3.1 人體切割 ......................................................................................................19 3.1.1 臨界值化（Thresholding）..............................................................19 3.1.2 區域生長（Region Growing） .......................................................24 3.1.3 溫度等高線圖（Temperature Contouring） ................................26 3.2 頭部偵測 ......................................................................................................28 3.2.1 找出人體切割結果的質心 ...............................................................28 3.2.2 頭部大小比例 ...................................................................................29 3.2.3 區塊比對............................................................................................30 第四章 實驗結果 .................................................................................................32 4.1 人體切割 ......................................................................................................32 4.2 頭部偵測 ......................................................................................................38 第五章 結論 .........................................................................................................45 參考文獻 .....................................................................................................................46. iv.
(6) 圖目錄. 圖目錄 輻射光譜分佈圖 ..................................................................................................3 手部按在汽車窗戶上的殘溫測試 ......................................................................5 紅外線原始影像壓縮成灰階影像及轉換成虛擬色彩影像 ..............................7 紅外線攝影機拍攝表面溫度均勻物體 ..............................................................7 在黑暗場景中的紅外線影像 ..............................................................................8 溫度擴散現象的局部放大圖 ..............................................................................8. 圖1 圖2 圖3 圖4 圖5 圖6. 圖 7 戴眼鏡的人 ..........................................................................................................9 圖 8 紅外線攝影機所捕捉的輻射 ............................................................................10 圖 9 觀察多種不同輻射率的材質 ............................................................................12 圖 10 物體和背景溫度差異較大的紅外線影像 ......................................................13 圖 11 紅外線影像.......................................................................................................14 圖 12 電源插座散發高溫的可見光及中紅外線影像 ..............................................15 圖 13 紅外線LED燈實驗的紅外線影像 ..................................................................17 圖 14 電阻實驗的紅外線影像 ..................................................................................18 圖 15 比較同一臨界值在不同環境溫度時的結果 ..................................................20 圖 16 比較固定臨界值和自動調整臨界值的結果 ..................................................22 圖 17 人體有外套遮蔽與否 ......................................................................................23 圖 18 將圖 17 利用論文所提出的人體切割方法之結果 ........................................23 圖 19 區域生長演算法的改良 ..................................................................................26 圖 20 找出人形切割結果中通過頭部的y軸.............................................................29 圖 21 頭部大小比例的結果 ......................................................................................30 圖 22 近似頭部的遮罩 ..............................................................................................31 圖 23 使用不同大小的遮罩做頭部偵測 ..................................................................31 圖 24 環境溫度為攝氏 22 度的結果 ........................................................................33 圖 25 環境溫度為攝氏 25 度的結果 ........................................................................34 圖 26 重新設定紅外線攝影機位置以及角度後的結果 ..........................................36 圖 27 圖 28 圖 29 圖 30 圖 31. 多人的人體切割結果 ......................................................................................37 單人時頭部大小比例方法的結果 ..................................................................40 單人時區塊比對方法的結果 ..........................................................................41 多人時頭部大小比例方法的結果 ..................................................................42 多人時區塊比對方法的結果 ..........................................................................43. v.
(7) 第一章、序論. 第一章. 序論. 近年來有越來越多人力投入紅外線感測方面的研究，這是因為紅外線 影像幾乎不受亮度的影響，可以在明亮或者黑暗的環境中工作。這項特 性，使得紅外線感測能夠在軍事、監控、保全、醫療、交通安全和工業製 程檢測等方面，提供更多以及更加完善的應用。 紅外線的應用主要分為分光應用與熱應用。分光應用的目的為測定、 解析物質的紅外線光譜，以瞭解物質的性質。而熱應用的目的又分為兩 種：一是利用紅外線進行加熱、加工等；二是利用紅外線感測器，捕捉物 體所散發出來的輻射熱，藉而測定溫度、監視、追蹤等。在本篇論文中所 探討的技術，都是屬於紅外線熱應用的感測部分。 在利用紅外線影像進行偵測人體、辨識人臉方面，其方法主要分為兩 種類型：一是直接使用紅外線影像做分析，利用人體溫度的對稱性及長寬 比例[1]，溫度範圍、邊緣偵測等以像素為基礎的分類法[2]，或者是使用樣 版比對[3][4]，背景相減[5][6]等不同方法找出候選目標物，再進行辨識； 二是將紅外線影像和可見光影像混合之後，再進行分析、辨識[7]。一般而 言，第二種類型的結果會較第一類型的結果好，但是需要多考慮到影像對 位（Registration）[8][9]以及資訊融合（Information Fusion）[10][11]等問題。 在本篇論文中，將提出幾個有效的人體分割方法以及偵測頭部的方 法。而這些方法和前面所提到的方法不同之處在於，所提出的方法不需要 訓練人形樣版、建立背景模型，是直接利用紅外線影像的原始資料（Raw 1.
(8) 第一章、序論. Data）做分析、辨識，將紅外線影像中的人體找出。而在紅外線影像中使 用區域生長（Region Growing）方法分割目標物，和在一般可見光影像中 使用區域生長方法[12][13]時相較，紅外線影像的分割結果不會受到物體和 背景顏色影響。這是因為紅外線影像是溫度的強弱資訊，即使是相同的顏 色，其材質、溫度不同，就會在紅外線影像中產生不同的對比。所以，在 紅外線影像中，相當適合使用區域生長演算法。 在分割出人體之後，其可能的應用包括安全監控方面，判斷是否有異 常人物的出現，或者是醫療方面，自動找出額頭所在，用以測量額溫等。 在接下來的論文中，第二章將會介紹紅外線的相關知識以及紅外線影像的 特性，並且分析紅外線影像；第三章則是對我們所提出的演算法做詳盡的 介紹；第四章將列出實驗的結果，並針對問題做分析與探討；第五章則是 結論以及提出對未來可以繼續深入研究的方向。. 2.
(9) 第二章、分析紅外線影像. 第二章. 分析紅外線影像. 紅外線攝影機的最大特色在於，其捕捉到的影像是屬於熱、溫度的資 訊，因此幾乎不受到光照的影響，不論是在明亮或者黑暗的的環境，都能 夠正常的工作。在這一章裡，我們除了會向大家介紹紅外線的相關知識以 及紅外線影像的特性，還會針對紅外線影像做分析。. 2.1 紅外線的輻射波段 圖 1為輻射光譜分佈圖，整個光譜中包括了Gamma射線、X光、紫外 線、可見光、紅外線及微波等。一般可見光的波長大約是在 0.4μm ～ 0.7μm 之間，而紅外線又分為近紅外線、中紅外線以及遠紅外線，其波長範圍大 約是在 1μm ～ 100μm之間。. 圖 1 輻射光譜分佈圖. 3.
(10) 第二章、分析紅外線影像. 2.1.1 近紅外線 近紅外線的波長範圍在 1μm ～ 3μm之間，因為其波長範圍接近可見 光的波長，所以近紅外線攝影機拍攝到的影像，和一般可見光攝影機拍攝 到的影像較為相似，如圖 2（a）。 近紅外線攝影機雖然可以在黑暗中使用，但是其可視的距離，和我們 主動發射出的近紅外線有關。這是因為物體本身需要達到相當的高溫，才 能輻射出近紅外線的波長[14]，在一般的情況下，物體很難達到如此高溫。 因此，近紅外線攝影機需要配合額外的近紅外線燈，才能夠在黑暗中使 用。再者，近紅外線攝影機所捕捉到的資訊無法推算出物體的溫度資訊。. 2.1.2 中紅外線 目前所使用來測量溫度的紅外線攝影機，其所擷取的波長範圍大多在 7.5μm ～ 13μm之間，是屬於中紅外線的部分。而取這段波長的原因在於， 此波段的輻射較不容易被地球的大氣給吸收。而中紅外線攝影機捕捉到的 影像資訊，是屬於熱輻射的強度值。如圖 2（b）中，所拍攝到的手印，是 人體的手部在車窗上所殘留下來的餘溫。 我們只要能夠得知物體表面的輻射率、反射率(反射率=1-輻射率)、大 氣的溫度、大氣的濕度、環境的溫度、攝影機到物體之間的距離等參數， 就可以藉由一些熱力學上的公式，將紅外線攝影機擷取到的輻射強度值推 導成物體表面的溫度。在章節 2.3 中，會對這些因素做更詳細的敘述。且. 4.
(11) 第二章、分析紅外線影像. 在本篇論文接下來的章節中，所提到的紅外線皆是指中紅外線。. （a）近紅外線影像. （b）中紅外線影像. 圖 2 手部按在汽車窗戶上的殘溫測試. 2.2 紅外線影像的特性 在這一個章節中，我們將會介紹紅外線影像的一些特性，包括有高動 態範圍、雜訊多、不受可見光照度影響、溫度擴散、無法穿透玻璃以及溫 度飄移等。. 高動態範圍 紅外線影像是一個廣範圍的動態影像空間，目前原始的紅外線影像大 都為 12 位元或者 14 位元的數位資料。所以，若要在監視器或電腦螢幕上 觀看，必定要將 12 位元或者 14 位元的數位資料轉換成 8 位元的灰階影像， 如圖 3（a） ；或者是轉換成 24 位元的虛擬彩色影像，如圖 3（b）。 5.
(12) 第二章、分析紅外線影像. 若是將紅外線影像的原始資料轉換成 8 位元的灰階影像，必定會造成 某些畫面中細節消失。但是，相較於虛擬色彩影像，8 位元的灰階影像， 和 12 位元或者 14 位元的紅外線原始影像相較，其強度階層的意義較接 近。因此，轉換成灰階影像較容易直觀的感覺出灰階深淺程度所代表的意 義。而目前業界中，常使用來轉換成灰階影像的方法，在[15]中有詳細的 介紹。 若是將紅外線影像的原始資料轉換成 24 位元的虛擬色彩影像，畫面 中所有的細節都可以被保留下來。但是，虛擬色彩影像不容易表示出原始 資料屬於能量強度的概念。因此在觀看時，可能無法直觀的看出色彩所代 表的意義。 在做紅外線影像分析、辨識時，若是使用已經處理過的影像，可能有 些資訊早已被破壞，造成後來分析、辨識時的錯誤。所以，使用紅外線影 像的原始資料作分析、辨識，是比較適合的。而本篇論文中，紅外線影像 的顯示，如無特別說明，則是採用 Min-Max 的方法[15]，將紅外線影像轉 換成灰階影像顯示。. 6.
(13) 第二章、分析紅外線影像. (a)灰階影像. (b)虛擬色彩影像. 圖 3 紅外線原始影像壓縮成灰階影像及轉換成虛擬色彩影像. 高雜訊 紅外線感測器的製程與技術至今仍尚未成熟，所以影像中每個點在紅 外線感測器的溫度響應曲線幾乎都不同，因此在紅外線影像中會產生相當 多的雜訊。圖 4（a）是使用紅外線攝影機拍攝一個表面溫度均勻物體的影 像，圖 4（b）是 8 × 8 矩形範圍內的輻射強度數值，我們可以很清楚的發 現到紅外線影像之輻射強度值並不均勻，大約會有 2～3 bit的誤差。. 975. 981. 979. 980. 978. 979. 982. 977. 975. 978. 978. 975. 981. 977. 978. 981. 977. 980. 979. 978. 979. 979. 977. 979. 979. 977. 977. 975. 975. 976. 981. 975. 976. 978. 978. 978. 977. 975. 976. 978. 979. 979. 979. 975. 979. 976. 982. 981. 974. 978. 981. 978. 976. 978. 981. 977. 981. 976. 977. 980. 977. 978. 978. 980. （a）表面溫度均勻物體的紅外線影像 （b）8×8 矩形範圍內的輻射強度值 圖 4 紅外線攝影機拍攝表面溫度均勻物體 7.
(14) 第二章、分析紅外線影像. 圖 5 在黑暗場景中的紅外線影像. 溫度擴散 紅外線影像中常會見到溫度擴散現象，如圖 6。這是因為在手部的周 圍，手的溫度和環境的溫度融合在一起，因而形成一個類似沒有聚焦的模 糊地帶，此現象會發生在畫面中較高溫或者較低溫的地方。溫度擴散現象 對於本篇論文所提出的方法，具有相當程度的正面以及負面影響。正面的 影響在於，會讓同質物體相鄰的點溫度較為接近，可以讓本論文中所提出 的方法能夠產生較好的結果；負面的影響在於，可能會造成本篇論文提出 的方法，成長出錯誤的結果。. 圖 6 溫度擴散現象的局部放大圖 8.
(15) 第二章、分析紅外線影像. 無法穿透玻璃 如圖 7，因為紅外線無法穿透玻璃，所以在紅外線影像中，眼鏡部分 會屬於比較低溫的部分。若人有戴眼鏡，紅外線影像中眼睛的部分就無法 提供正確的資訊，這個問題在偵測人體或者人臉辨識時，可能會造成誤 判。在此情況下，若一定要使用到眼睛部分的資訊，則需要利用可見光影 像中眼睛部分的資訊來做輔助判別。. （a）可見光影像. （b）紅外線影像 圖 7 戴眼鏡的人. 溫度飄移 在紅外線攝影機中，感測器所偵測到的溫度，若不做溫度補償，會隨 著時間而有所偏移。這是因為紅外線攝影機本身產生的溫度，影響到內部 感測器所捕捉到的輻射強度。所以，若要偵測到準確的溫度，需要啟動攝 影機的溫度補償機制。而補償的方式，是在攝影機內部設置溫度感應器， 針對不同溫度做不同補償。至於詳細的作法，則是屬於廠商的商業機密， 9.
(16) 第二章、分析紅外線影像. 我們無法得知。. 2.3 影響紅外線影像成像對比的因素 紅外線攝影機所捕捉到的輻射強度值，是由物體表面所散發的輻射、 環境中照射到物體表面再反射的輻射，以及大氣中的輻射等組合而成，如 圖 8 (節錄自[16])。. 1：環境. 2:物體 3:大氣. 4:攝影機. 圖 8 紅外線攝影機所捕捉的輻射 從圖 8我們可以得知，紅外線攝影機所捕捉到的輻射強度值為：. 其中ε代表的是物體表面的輻射率，τ代表的是大氣的傳播率，Wobj、Wrelf、 Watm 分別代表物體表面、環境、大氣中照射到紅外線攝影機的輻射能量 [16]。因此，若我們知道物體表面的輻射率、反射率、環境的溫度、大氣 的溫度、大氣的濕度、物體與攝影機之間的距離這些參數，就可以將紅外. 10.
(17) 第二章、分析紅外線影像. 線攝影機捕捉到的輻射強度資訊推導成物體表面的溫度資訊。換言之，物 體表面的溫度、輻射率、反射率、環境的溫度、大氣的溫度、大氣的濕度、 物體與攝影機之間的距離等因素，都會影響紅外線影像中的輻射強度值。 但是，環境的溫度、大氣的溫度、大氣的濕度這三個因素在同一個場 景中，理論上對紅外線影像的影響應該是固定的。所以，造成紅外線影像 中各物體對比不同的因素，主要是物體表面的溫度、輻射率和物體與攝影 機之間的距離。. 2.3.1 物體表面的輻射率 每種物體的輻射率，和其表面的材質有關。再者，就算是同一種材質， 也會隨著溫度或者表面狀況的不同(拋光與否、氧化與否…等)而有所改 變。這種改變並不是一個有固定趨勢的改變，比如說某種材質加熱之後， 其輻射率有可能突然變得很大或者變得很小，不過也有可能只有極小的改 變。所以，同一材質在不同情況下，輻射率的改變並沒有一種固定的方式。 為了得知何種因素對紅外線影像造成的影響較大，我們可以實際觀 察，在室內環境下，不同輻射率的材質對紅外線影像的影響，其中同一張 紅外線影像中的環境溫度、大氣溫度、大氣濕度等，皆處於相同的情況之 下。另外，物體與攝影機之間的距離這個因素，只要在 5 公尺之內，其影 響極小，所以我們可以將其忽略。又因為這些物體長時間處於相同的溫度 之下，根據熱平衡定理，我們可以得知這些物體的溫度應該是相同的。如 此一來，就只有物體輻射率的大小，會造成畫面中輻射強弱的對比不同。 11.
(18) 第二章、分析紅外線影像. 但是，我們從圖 9中的 2 組影像中，可以發現在紅外線影像中並無對比特 別明顯的物體。所以，在相同溫度的情況之下，即使輻射率有明顯的不同， 在畫面中的對比仍不足以讓我們能夠找到明顯的目標物。. (a)可見光影像. (b)紅外線影像. (c)可見光影像. (d)紅外線影像. 圖 9 觀察多種不同輻射率的材質. 12.
(19) 第二章、分析紅外線影像. 在前面一段敘述中，我們本來認為具有不同輻射率的物體，應該會在 紅外線影像中產生明顯的對比，讓物體能清楚的被看見。但是，觀察之後 發現，在物體具相同溫度以及環境溫度、大氣溫度、大氣濕度皆相同的情 況下，物體輻射率的差異並不足以讓影像產生明顯的對比。所以，當背景 的物體是處於熱平衡的狀態時，背景在紅外線影像中，應該是一個對比很 小的畫面。也因為紅外線影像的這個特性，使得背景只是要處於一個熱平 衡的狀態下，不同的背景景物對於特殊溫度物體偵測的影響是十分有限。. 2.3.2 物體表面的溫度 我們在拍攝紅外線影像時，發現場景中較高或者較低溫的物體，不論 是何種材質（不同輻射率） ，其在影像中的成像對比較為清楚。在圖 10（a） 、 （b）中，人臉和燈管的部分，因為其溫度都和環境溫度有相當程度的差 距，所以在紅外線影像中，呈現較高的對比，因此能夠清楚的被看見。. （a）人體. （b）開著的燈. 圖 10 物體和背景溫度差異較大的紅外線影像. 13.
(20) 第二章、分析紅外線影像. 從前面幾個例子中，我們發現到在相同溫度時，即使物體表面的輻射 率有很大的差異，在紅外線影像中也不會產生較明顯的對比。而不同溫度 的物體，在紅外線影像中對比則通常是相當清晰。所以，在紅外線影像中， 影響最大的應是物體表面溫度的這個因素。紅外線影像的這個特性，非常 適合使用在人體偵測方面。因為人體的溫度，在一般情況下，和背景都有 相當程度的差異，所以人體的部分在紅外線影像中會相當明顯。 從以上敘述可知，造成紅外線影像對比清晰與否的最大因素在於溫 度，以下我們再看幾個紅外線影像對溫度較敏感的例子。在圖 11（a）中， 可見光影像中不是很明顯的電線，卻因為它處在通電狀況，使得溫度比環 境溫度高，讓它在紅外線影像中對比相當的清晰；在圖 11（b）中，牆角 的部分在可見光影像中，能夠明顯被辨識，但是在紅外線影像中，卻變得 相當不明顯。. （a）牆角以及電線. （b）牆角 圖 11 紅外線影像. 14.
(21) 第二章、分析紅外線影像. 圖 12是另外一個例子，在可見光影像中看似正常的電源插座，在紅外線影 像中卻顯示出其散發出高溫。這是因為該電源插座有電器正在使用，而該 電器的電線越接近插座溫度就越高。這個例子也說明了紅外線影像，相當 適合在設備檢測方面做應用。. （a）可見光影像. （b）紅外線影像. 圖 12 電源插座散發高溫的可見光及中紅外線影像. 2.3.3 紅外線 LED 燈和電阻的效果、效應 在上一節中我們得知，造成紅外線影像中物體成像對比清晰與否的主 要因素在於溫度。所以，若是我們想要在紅外線影像中建立一個明顯可靠 的標記物，採用的物體應該是要相對於背景擁有較高或較低的溫度。因 此，我們選擇了紅外線 LED 燈以及電阻來做標記物，觀察其在紅外線影像 中的影響。 首先我們所選用的材質是紅外線LED燈，圖 13（a）-（c）是我們觀察 到的結果。每個圖中最右上角的數值代表十字標中心點的溫度，而十字標. 15.
(22) 第二章、分析紅外線影像. 的中心點是紅外線LED燈的位置。圖 13（a）中，紅外線LED燈還未通電， 其溫度和室溫沒有太大的差異；圖 13（b）中，紅外線LED燈通電後，其 點溫和背景有了明顯的差距；在圖 13（c)中，雖然紅外線LED燈仍然是通 電中，可是其溫度幾乎和背景沒有差別。造成圖 13（b） 、 （c）差異的原因 是紅外線攝影機的空間解析度較低和紅外線LED燈射出的輻射其截面積很 小。因此在遠距離時，偵測到的點溫是紅外線LED燈溫度和附近環境溫度 混合的結果，溫度差異變得較不明顯。 接著我們觀察通電後能產生較高溫度的電阻，而我們選用的電阻是 1KΩ的水泥電阻、碳膜固定電阻以及金屬氧化膜電阻，而電壓為 24V，電 流為 800mA。在圖 14（a）中，電阻插在麵包板上尚未通電，在紅外線影 像中，畫面中並無對比特別明顯的標記；但在圖 14（b）中，電阻接上電 源後，在紅外線影像中，產生了溫度較高的三個物體（電阻）。接著，我 們嘗試將攝影機和物體之間的距離拉遠。在圖 14（c）中，電阻尚未通電 前，也沒發現到特別明顯的標記物，但是，在圖 14（d）中，電阻接上電 源後，三個明顯和背景不同之物體（電阻）依然可以很輕易的就被發現。. 16.
(23) 第二章、分析紅外線影像. （a）紅外線 LED 燈未通電時，距. （b）紅外線 LED 燈通電時，距離. 離約 50 公分. 約 50 公分. （c）紅外線 LED 燈通電時，距離 約 200 公分 圖 13 紅外線 LED 燈實驗的紅外線影像. 從圖 14中可以觀察得知，若要在紅外線影像中，加入一個明顯且可靠 的標記物，提供自動車做導航方面的應用，使用較高溫或者低溫的物體， 是比較可靠的。而能產生高溫的電阻，就是一個相當不錯的選擇。. 17.
(24) 第二章、分析紅外線影像. （a）電阻未通電，距離約 50 公分 （b）電阻已通電，距離約 50 公分. （c）電阻未通電，距離約 200 公分 （d） 電阻已通電，距離約 200 公分 圖 14 電阻實驗的紅外線影像. 2.4 紅外線影像處理的特性 由本章的內容可以得知，在可見光影像中，即使是複雜的背景，在紅 外線影像中，卻變成相當簡單的背景。而這個特性，使得我們所要尋找的 目標物，如：高溫的人體或者標記物…等，能夠輕易地從影像中切割出來。 而在目標物分割出來之後，在後續的比對、辨識處理方面，因為限制的範 圍變得較嚴格，所以能夠更容易、更正確地進行處理。. 18.
(25) 第三章、偵測人體的方法. 第三章 偵測人體的方法. 本篇論文的研究動機在於，希望應用固定式的紅外線攝影機，作可靠 的人體偵測，使得在不同溫度的環境中，正確的找出室內人員所在。在本 章節中，首先會提出人體切割（Human Segmentation）的方法，我們利用 人體在紅外線影像中的一些特性，將人形的部分給分割出來。而這些切割 出來的人形結果，可以在安全、監控、醫療等方面作各種的應用。所以， 在人體切割的段落之後，我們將會提出頭部偵測（Head Detection）的方法， 以提供測量額溫等醫療應用行為做使用。. 3.1 人體切割 我們在觀察許多室內人體的紅外線影像之後，發現到兩個現象：一、 在室內時，人體的溫度通常較背景環境的溫度來得高，尤其是在頭部、手 部等沒有衣物遮蔽的地方。二、不論是背景或者是人體，只要是同一物體 中，同質的鄰近區域，如臉部、手部、同一衣物遮蔽的軀幹等，其溫度都 會相當接近。. 3.1.1 臨界值化（Thresholding） 若我們只考慮到上述的第一個因素，最直觀的想法是將紅外線影像利 用臨界值做二值化。. ⎧1, g ( x, y ) = ⎨ ⎩0,. if f ( x, y ) >T Thr. if f ( x, y ) ≤T Thr 19. （3.1）.
(26) 第三章、偵測人體的方法. 其中f（x, y）是原始影像中座標（x, y）的溫度值，TThr是臨界值，式（3.1） 的目的是將紅外線影像中屬於較高溫部分的人體給偵測出來。 而針對某種環境最佳化的臨界值TThr，若是遇到像空調變冷、變熱等 造成環境溫度改變的狀況時，該臨界值就不一定適用了。針對環境溫度攝 氏 25 度時，將臨界值做最佳化(此時的臨界值TThr為攝氏 26 度)，所找出的 結果都相當不錯，如圖 15 (a)、(b)。但是當環境溫度下降時，身體的某些 部分開始消失，如圖 15 (c)、(d)。. （a）環境溫度攝氏 25 度（TThr=26℃） （b）環境溫度攝氏 25 度（TThr=26℃）. （c）環境溫度攝氏 22 度（TThr=26℃） （d）環境溫度攝氏 22 度（TThr=26℃） 圖 15 比較同一臨界值在不同環境溫度時的結果. 20.
(27) 第三章、偵測人體的方法. 由上面的觀察中，我們發現若使用固定的臨界值TThr，無法在各種溫 度環境中，皆能夠正確找出人體部分。因此，我們分析造成圖 15中的（c）、 （d）結果不好的原因。在圖 15（c） 、 （d） ，人體某些部分無法出現，是因 為環境溫度較低，使得紅外線攝影機偵測到的物體溫度稍微下降，讓之前 針對環境溫度攝氏 25 度做最佳化的臨界值顯得太高，需要將其調降。所 以，如果我們能從紅外線影像中，得知目前的環境溫度，就可以利用這個 資訊自動調整臨界值，以獲得更好的人形結果。 另外，在前一章的實驗中得知，紅外線攝影機拍攝相同室溫的場景 時，即使是輻射率差異很大的物體，在影像中的溫度差異其實不大。因此， 我們在架設紅外線攝影機時，將攝影機的拍攝角度做了一些調整，讓畫面 上方的 1/N （N=10）處，並不會有人體或者其他高溫或者低溫的干擾物出 現。藉由這個設定，我們就可以用畫面上方 1/N處的平均溫度，來近似整 張影像的環境溫度。如此一來，就算環境溫度有所改變，也能自動將臨界 值TThr做最佳化。. T. Thr. =. T. BG. +. T. const. （3.2）. 式（3.2）是自動調整臨界值的方法，式子中加上一個常數的原因在於， 我們使用的背景環境溫度是利用畫面中一小部分的溫度資訊平均近似，若 只使用該值，仍會找許多屬於背景的點，所以再加上些許的溫度，可以將 結果大幅改善。根據觀察的結果，該常數的範圍在 1.0 ～ 1.5 之間，臨界 值化的結果是最好的，如圖 16（此時Tconst為 1.5） 。 上述的自動調整臨界值方式，使得在不同場景中，皆能較正確的找出 21.
(28) 第三章、偵測人體的方法. 人體。但是，如果遇到人體有穿外套等衣物遮蔽的情況，又或者是行人剛 從冷氣房出來造成體溫較低，這兩種使得人體溫度和環境溫度的接近情形 時，結果就變得不甚理想。如圖 17中，右邊的人沒有穿外套，分割出來的 結果良好；而左邊的人穿了外套，身體的某部分就無法偵測出來。. (a)環境溫度攝氏 22 度，固定TThr. (b)環境溫度攝氏 22 度，自動調整TThr. (c)環境溫度攝氏 25 度，固定TThr. (d)環境溫度攝氏 25 度，自動調整TThr. 圖 16 比較固定臨界值和自動調整臨界值的結果. 22.
(29) 第三章、偵測人體的方法. 圖 17 人體有外套遮蔽與否. 由上面的實驗中我們發現，只使用人體溫度通常較背景環境溫度來得 高的這個因素，仍會在某些情況中，無法正確的將人體分割出來。因此， 我們將第二個因素，也就是同一物體中鄰近的區域，其溫度都會相當接近 的這個因素納入考慮。所以，我們提出了以下兩種人體分割的演算法，希 望能夠將圖 17的結果做改進，如圖 18。. （a）區域生長. （b）溫度等高線圖. 圖 18 將圖 17利用論文所提出的人體切割方法之結果. 23.
(30) 第三章、偵測人體的方法. 3.1.2 區域生長（Region Growing） 在觀察紅外線影像之後，發現到雖然人體的溫度在一般情況下，都較 背景來得高溫，但是頭髮、臉部和脖子、四肢以及身體等各個區域的溫度， 仍有些許的差別。尤其是身體的部分，因為有衣物遮蔽，通常是屬於人體 中比較低溫的部分，而且衣服、外套的縐折處，其溫度可能低到跟背景溫 度相當接近。所以，在臨界值化的方法中，該處不易完全的找出。而此演 算法的用意在於，希望能找出紅外線影像中屬於溫度較高且相近的區域， 並且預期這些生長出來的區域將組合成一個人形，以下是該演算法的詳細 步驟。. 區域生長演算法： A. 檢查畫面中每個尚未屬於任何區域的點（Pixel），找出具有 M × M （M＝5） 區塊（block）最大平均值的點 P，且將初始的區域平均值 Ave 設為點 P 的周圍 M × M 區塊平均值 B. 將點 P 設成初始的區域，並執行以下步驟 甲、 檢查和區域相鄰的點，其溫度和 Ave 的值相差不到臨界值 Tsim時，將該點加入區域中。 乙、 當區域中新增 30 個點時，將 Ave 值更新成目前區域中所 有點的平均值。 丙、 重複步驟甲、乙，直到沒有點可以加入為止。 24.
(31) 第三章、偵測人體的方法. C. 重複步驟A和B，直到在步驟A找到的點P，其 M × M 區塊平均值小於 臨界值TThr. 在步驟A中，取 M × M 區塊平均值作為判定依據的原因在於，不希望 取到一個可能是屬於雜訊造成的高溫點，所以取M × M 區塊平均值可以避 免這種錯誤的發生。再者， M × M 區塊平均值較高的點，屬於人體部分 的機會也較高。而步驟B中的乙項，每 30 個點更新一次區域平均值的用意 在於，不希望區域在成長的初期（此時區域內僅擁有少數的點），遇到跟 目前區域平均溫度差異較大，但卻又在Tsim之內的點新加入，造成區域的 平均值容易被影響而偏向低溫，造成區域成長到背景的狀況。 臨界值Tsim和TThr 的設定方式，也是決定結果優劣的重要因素。臨界 值Tsim的設定越小，生長在同一區域內的點溫度越是接近，缺點是計算時 間會拉長，通常設定在 1.0 ～ 1.5 之間，效果就相當不錯，計算時間也 較少。而臨界值TThr 的設定方式，則是採用式（3.2）的設定方式。 另外，由於紅外線影像會有溫度擴散的現象，在人體的四周，其溫度 可能會和環境溫度中和，造成一個較背景高溫的區域。而這個區域的產 生，可能會造成區域生長這個方法，由此區域生長至屬於背景的部分，如 圖 19（a）。 而我們利用紅外線影像背景對比相近，也就是溫度相差不大的這個特 性，在區域生長演算法中加上一些限制。和之前改進臨界值化的方式相 同，我們在架設紅外線攝影機時，將攝影機的拍攝角度做調整，讓畫面上 25.
(32) 第三章、偵測人體的方法. 方的 1/N處，並不會有人體或者其他高溫或者低溫的干擾物出現。所以， 當區域生長至畫面上方 1/N處時，必定是錯誤的區域，而圖 19（b）就是增 加限制之後的結果。. （a）原本的演算法. （b）增加限制後的演算法. 圖 19 區域生長演算法的改良. 3.1.3 溫度等高線圖（Temperature Contouring） 此演算法是利用類似等高線圖的概念，由高溫區域漸漸地向低溫區域 擴展。不同之處在於，事實上此演算法並非使用等差的溫度擴展，而是利 用前一個生長出來的區域，其溫度平均值Ave，尋找溫度介於Ave和Ave Tsim2之間的點，形成新的區域，以下是該演算法的詳細步驟。. 26.
(33) 第三章、偵測人體的方法. 等高線圖演算法： A. 檢查紅外線影像中每個的點，找出其 M × M （M＝5）區塊具有最大 平均值的點 P，將初始的區域平均值 Ave 設定為點 P 的 M × M 區塊 平均值 B. 將畫面中尚未被切割出來，且溫度和區域平均值Ave差異小於臨界值 Tsim2的點找出來 C. 將 Ave 更新成所有在步驟 B 中，新切割出的點之平均值 D. 重複步驟B和C，直到步驟B中，沒有找到任何點。或者，步驟C中， 區域平均值Ave小於臨界值TThr. 在步驟A中，取 M × M 區塊的原因跟區域生長演算法中的原因相同， 是不希望取到一個由雜訊干擾所造成的錯誤初始溫度，且 M × M 區塊平 均值較高的點，通常是屬於人體的部分。而使用前一個生長出來的區域之 溫度平均值Ave，尋找溫度介於Ave和Ave - Tsim2之間的點，形成新區域的原 因在於，希望每一次新的切割區域之溫度，能夠和前一個切割出來的區 域，兩者之間的溫度較接近。如此一來，當人體部分全部找完之後，在最 後切割出來的區域溫度平均值Ave和Ave - Tsim2範圍之內，應該不會有任何 點的存在，也就是表示背景和人體有一段溫差，就符合了終止條件。 臨界值Tsim2和TThr 的設定方式，也和區域生長演算法中的設定方式相 似。若臨界值Tsim2的設定越小，其計算時間就越長，但且結果不一定比較. 27.
(34) 第三章、偵測人體的方法. 好。而臨界值Tsim2設定在 1.0 ～ 1.5 之間時，效果較佳。至於，臨界值 TThr 的設定，也是採用式（3.2）的方式。. 3.2 頭部偵測 在這個段落，將介紹如何利用人體切割的結果，更進一步將頭位置給 偵測出來的方法，在此提出兩種頭部偵測的方法，頭部大小比例（Head Size Ratio）方法，以及區塊比對（Block Matching）方法。而這兩種方法皆分 為兩個步驟。在第一個步驟中，所使用的方式是相同的。其作法為，從切 割出的人形結果裡，找出通過頭部的 y 軸（y-axis）。而第二個步驟中，頭 部大小比例方法，是沿著此 y 軸使用頭部長寬的比例將頭部偵測出來；區 塊比對方法，則是沿著此 y 軸利用一個近似頭部形狀的遮罩，找出頭部最 有可能出現的位置。. 3.2.1 找出人體切割結果的質心 在人體的特徵中，頭頂在一般的情況下，會是人體中最高的部分。因 此，我們在人體切割的結果中，找出垂直方向擁有最長距離的y軸。但是， 如果發生圖 20（a）中，手部高舉的情況時，就會發生誤判。因此，我們 考慮到人體的對稱性，推測出通過質心的y軸，應該也會通過人體的頭部。 而且，既使發生像圖 20中手部高舉的情況，會造成質心x座標改變的部分， 也只有高舉的手部。其所造成的影響相對於整個身體，僅僅是讓質心稍微. 28.
(35) 第三章、偵測人體的方法. 向右邊移動，如圖 20（b） 。所以，我們改採用找出人體切割結果中的質心 所在。而通過質心的y軸，在絕大多數的情況，也都會通過人體的頭部。. (a)垂直方向最長的 y 軸. . (b)通過區域質心的 y 軸. 圖 20 找出人形切割結果中通過頭部的 y 軸. 3.2.2 頭部大小比例 找出通過頭部的y軸之後，我們沿著此y軸將分割結果中，垂直方向最 長的線段偵測出來。而我們利用此線段上方 1/P（P＝8）的部分線段，計 算該部分線段，其水平方向的分割區域平均寬度，用來近似頭部的寬度， 將寬度乘上 1.5 倍近似頭部的長度，藉此將頭部給偵測出來，如圖 21。. 29.
(36) 第三章、偵測人體的方法. 圖 21 頭部大小比例的結果. 3.2.3 區塊比對 在找出通過頭部的y軸之後，我們利用一個近似頭部形狀的遮罩，如圖 22所示。沿著此y軸以及鄰近的y軸上每個點做計算，讓原始影像的資料和 此遮罩做迴旋積(convolution)，找出其迴旋積值最大的座標。而此座標就是 最有可能的頭部中心所在。 此遮罩的的大小 原始大小為 8 × 8 ，因為希望遮罩在頭部的時候， 得到最大的迴旋積值。故遮罩中頭部位置的值設定為+1，當遮罩的頭部和 原始影像的頭部重疊在一起時，能夠產生較大的迴旋積；頭部和環境周圍 的位置，因為會有溫度擴散的現象，為了不影響迴旋積，所以將遮罩中此 部分的值設定為 0；而遮罩中背景的部分值取為-1，是為了讓遮罩的背景 部分落在原始影像中的頭部時，能產生較低的迴旋積。. 30.
(37) 第三章、偵測人體的方法. 圖 22 近似頭部的遮罩. 而針對不同大小的頭部，需要將原始的遮罩縮放成不同大小做迴旋 積。若遮罩的大小和頭部不符合，就有可能產生配對錯誤的情況。如圖 23 （a） ，使用大小為 40 × 40 的遮罩，頭部偵測的情況良好；但是在圖 23（b） ， 使用大小為 32 × 32 的遮罩，卻配對成脖子的部分。. (a)遮罩大小為 40 × 40 . . (b) 遮罩大小為 32 × 32. 圖 23 使用不同大小的遮罩做頭部偵測. 31.
(38) 第四章、實驗結果. 第四章 實驗結果. 本章內容將依照前一章所提及的臨界值化、區域生長和等高線圖等三 個人體切割的方法，以及頭部偵測的方法，利用程式實驗其結果，而程式 的部分主要是利用 Microsoft Visual C++ 6.0 及 MFC 做開發。本實驗將測試 人體處於不同環境時，是否能夠被正確的分割出來。再利用人體切割的結 果，測試頭部是否能夠正確的被找出來。. 4.1 人體切割 首先，我們先來看環境溫度為攝氏 22 度，畫面中僅有 1 人時的人形 偵測結果，如圖 24。從圖 24中的實驗結果來看，三個方法偵測人體的結 果大致上都相當都不錯。但是，我們發現到區域生長演算法所偵測出來的 人形，容易受到溫度擴散的影響。在圖 24（e）中特別明顯，人體背部的 黃色區域，就是受到溫度擴散影響，而生成的錯誤區域。. 32.
(39) 第四章、實驗結果. （a）臨界值化. （b）區域生長. （c）等高線圖. （d）臨界值化. （e）區域生長. （f）等高線圖. （g）臨界值化. （h）區域生長. （i）等高線圖. （j）臨界值化. （k）區域生長. （l）等高線圖. （m）臨界值化. （n）區域生長. （o）等高線圖. 圖 24 環境溫度為攝氏 22 度的結果. 33.
(40) 第四章、實驗結果. （a）臨界值化. （b）區域生長. （c）等高線圖. （d）臨界值化. （e）區域生長. （f）等高線圖. （g）臨界值化. （h）區域生長. （i）等高線圖. （j）臨界值化. （k）區域生長. （l）等高線圖. （m）臨界值化. （n）區域生長. （o）等高線圖. 圖 25 環境溫度為攝氏 25 度的結果. 34.
(41) 第四章、實驗結果. 再來，我們來看環境溫度為攝氏 25 度，畫面中仍僅有 1 人時的人體 切割的實驗結果，如上一頁中的圖 25。從圖 25的實驗結果來看，在環境 溫度為攝氏 25 度時偵測人體的結果，依然相當穩定。但是，若將紅外線 攝影機設定在這個拍攝角度，很難保證在畫面上方的 1/N處不會出現人手 等高溫物體的干擾。因此，我們調整紅外線攝影機的位置以及角度，確保 畫面上方的 1/N處，在一般的情況下，絕對不會受到干擾。 在紅外線攝影機調整過位置以及角度之後，我們再來看偵測 1 人和多 人的人體切割實驗結果。在圖 26中，畫面上方 1/N處很難會有高溫或者低 溫的物體干擾，而畫面中出現的人數仍然是限制 1 人。 在圖 26中的前四組實驗結果，也都還算不錯。但是在圖 26（j）中， 出現了一小塊較明顯的破碎區域。可是，使用區域生長方法的結果，並無 此現象，如圖 26（k） 。而使用等高線圖方法的結果，雖然較臨界值化的結 果好，但卻依然存在著些許破碎的區域，如圖 26（l） 。在圖 26中的第五組 實驗結果，圖 26（m）臨界值化和圖 26（o）等高線圖兩種演算法對穿著 外套的人體，其偵測結果出現較多破碎的區域。但是，圖 26（n）使用區 域生長演算法的結果，卻能大大降低這種破碎的情況。. 35.
(42) 第四章、實驗結果. （a）臨界值化. （b）區域生長. （c）等高線圖. （d）臨界值化. （e）區域生長. （c）等高線圖. （g）臨界值化. （h）區域生長. （i）等高線圖. （j）臨界值化. （k）區域生長. （l）等高線圖. （m）臨界值化. （n）區域生長. （o）等高線圖. 圖 26 重新設定紅外線攝影機位置以及角度後的結果. 36.
(43) 第四章、實驗結果. （a）臨界值化. （b）區域生長. （c）等高線圖. （d）臨界值化. （e）區域生長. （f）等高線圖. （g）臨界值化. （h）區域生長. （i）等高線圖. （j）臨界值化. （k）區域生長. （l）等高線圖. （m）臨界值化. （n）區域生長. （o）等高線圖. 圖 27 多人的人體切割結果. 37.
(44) 第四章、實驗結果. 接著，我們將測試影像中有多人的情況下，人體切割的實驗結果，如 上一頁中的圖 27。在圖 27中，依然是因為是衣物遮蔽的情況下，影響著 分割結果的好壞。在人體沒有穿外套的時候，分割出的結果大部分都相當 良好；若人體有外套遮蔽時，被遮蔽的部分溫度下降至和環境溫度相差 1 度左右，造成被外套遮蔽的身體有某些區域無法偵測出，如圖 27（g） 、 （i） 、 （j） 、 （l） 、 （m） 。而區域成長演算法，較能夠應付此種狀況，如圖 27（h）、 （k）。 臨界值化和等高線圖兩個演算法的結果較為接近，對於衣物有遮蔽的 情況，較無法正確的偵測出人體。但是，等高線圖演算法所產生的區域， 是由高溫處開始往低溫處成長。因此，我們能由結果中的生長順序，清楚 分辦出物體溫度分佈的狀況。 區域生長演算法的結果，是三種方法中能夠對付較多種狀況的一個。 在衣物遮蔽的情況之下，依然能夠較正確的分割出人體，但是其區域生長 的順序，並非像等高線圖演算法中，是由高溫處往低溫處成長。這是因為 區域生長的初始點，雖然是尋找畫面中較高溫的點，但是在生長的過程 中，區域的平均溫度一直在改變，所以並不保證，越先生長出來的區域平 均溫度越高。. 4.2 頭部偵測 在本節中，區塊比對所使用的遮罩大小皆是使用 40 × 40。首先，我們 來看圖 26的單人人體分割結果，使用頭部大小比例以及區塊比對方法的頭 38.
(45) 第四章、實驗結果. 部偵測結果，如圖 29。在圖 28和圖 29中的實驗，不論是在人體正面或者 是側面對著攝影機時的分割結果，其通過質心所在的y軸，也都有通過頭部 的所在。而頭部大小比例方法以及區塊比對方法的結果也都相當不錯。即 使在圖 29（m） 、 （o） ，人體切割結果並不好的情況下，依然能相當正確的 找出頭部的所在。但是，在圖 28（g）、（h）、（i）的情況之下，手部高舉 的姿勢影響到頭部大小比例方法所偵測出來的結果；在圖 29（g） 、 （h） 、 （i） 中，區塊比對方法能較正確的找出頭部位置。 再來，我們利用圖 27的多人人體分割結果，再做進一步頭部偵測的結 果，如圖 30和圖 31。. 39.
(46) 第四章、實驗結果. （a）臨界值化. （b）區域生長. （c）等高線圖. （d）臨界值化. （e）區域生長. （f）等高線圖. （g）臨界值化. （h）區域生長. （i）等高線圖. （j）臨界值化. （k）區域生長. （l）等高線圖. （m）臨界值化. （n）區域生長. （o）等高線圖. 圖 28 單人時頭部大小比例方法的結果. 40.
(47) 第四章、實驗結果. （a）臨界值化. （b）區域生長. （c）等高線圖. （d）臨界值化. （e）區域生長. （f）等高線圖. （g）臨界值化. （h）區域生長. （i）等高線圖. （j）臨界值化. （k）區域生長. （l）等高線圖. （m）臨界值化. （n）區域生長. （o）等高線圖. 圖 29 單人時區塊比對方法的結果. 41.
(48) 第四章、實驗結果. （a）臨界值化. （b）區域生長. （c）等高線圖. （d）臨界值化. （e）區域生長. （f）等高線圖. （g）臨界值化. （h）區域生長. （i）等高線圖. （j）臨界值化. （k）區域生長. （l）等高線圖. （m）臨界值化. （n）區域生長. （o）等高線圖. 圖 30 多人時頭部大小比例方法的結果. 42.
(49) 第四章、實驗結果. （a）臨界值化. （b）區域生長. （c）等高線圖. （d）臨界值化. （e）區域生長. （f）等高線圖. （g）臨界值化. （h）區域生長. （i）等高線圖. （j）臨界值化. （k）區域生長. （l）等高線圖. （m）臨界值化. （n）區域生長. （o）等高線圖. 圖 31 多人時區塊比對方法的結果. 43.
(50) 第四章、實驗結果. 在圖 30及圖 31中，即使在人體切割結果並不好的情況下，如. 圖 30. （g） 、 （i）和圖 31（g） 、 （i） ，依然能相當正確的找出頭部的所在。但是， 如果人體有重疊時，頭部偵測的結果有可能會漏掉其中一個人，如圖 31 （j） 、 （k） 、 （l） 、 （m） ，甚至是偵測到錯誤的位置，如圖 30（j） 、 （k） 、 （l）、 （m）、（n）、（o）以及圖 31（n）、（o）。所以，此偵測頭部的方法並無法 使用於，人體和人體之間有重疊時的情況。. 44.
(51) 第五章、結論. 第五章. 結論. 在本論文的第二章，我們分析了紅外線影像的特性。瞭解到在室內 時，各種影響紅外線影像成像對比的因素中，溫度是最主要的原因。所以， 我們若要利用紅外線影像替自動車做導航方面的應用，需要選定一個溫度 較背景高或者低的物體，才是一個比較顯著的標記物，而電阻就是一個相 當不錯的標記物。 在本論文的第三章，提出了三個人體切割的演算法和二個頭部偵測的 方法，雖然這些方法都相當簡單，但是從第四章的實驗結果中，可以看出 來效果良好。 在偵測頭部的方法中，頭部大小比例方法，對於人體姿勢的限制較 多；而區塊比對方法，頭部遮罩的大小，也會影響偵測出來的結果。另外， 當人體之間有重疊的情況時，也會讓偵測的結果發生異常。再者，目前人 體切割的結果，僅是將紅外線影像中，可能是人體的部分給分割出來，尚 未做到確認分割出來的物體是人體以及辨識多人的功能。所以，未來希望 能夠將針對這些問題，做進一步的改良。. 45.
(52) 參考文獻. 參考文獻. [1]. M. Bertozzi, A. Broggi, P. Grisleri, T. Graf, and M. Meinecke, “Pedestrian Detection in Infrared Images,” IEEE International Intelligent Vehicles Symposium, pp. 662–667, June 2003.. [2]. U. Meis, W. Ritter, and H. Neumann, “Detection and Classification of Obstacles in Night Vision Traffic Scenes Based on Infrared Imagery,” IEEE International Intelligent Transportation Systems, vol.2, pp. 1140-1144, October 2003.. [3]. J. W. Davis and M. A. Keck, “A Two-Stage Template Approach to Person Detection in Thermal Imagery,” IEEE International Workshop on Applications of Computer Vision, vol.1, pp. 364-369, January 2005.. [4]. H. Nanda and L. Davis, “Probabilistic Template Based Pedestrian Detection in Infrared Videos,” IEEE Intelligent Vehicles Symposium, pp. 15-20, June 2002.. [5]. J. Davis and V. Sharma, “Robust Background-Subtraction for Person Detection in Thermal Imagery,” IEEE International Workshop on Object Tracking and Classification Beyond the Visible Spectrum, July 2004.. [6]. J. Davis and V. Sharma, “Robust Detection of People in Thermal Imagery,” International Conference on Pattern Recognition, pp. 713-716, August 2004.. [7]. J. Han and B. Bhanu, “Detecting Moving Humans Using Color and Infrared Video,” IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems, pp. 228-233, August 2003.. [8]. H.-M. Chen, P. K. Varshney, and M.-A. Slamani, “On Registration of Regions of Interest (ROI) in Video Sequences,” IEEE International Conference on Advanced Video and Signal Based Surveillance, pp. 313-318, July 2003.. [9]. J.-G. Wang, E. Sung, and R. Venkateswarlu, “Registration of Infra-red and Visible-spectrum Imagery for Face Recognition,” IEEE International Conference on Automatic Face and Gesture Recognition, pp. 638-643, May 2004.. [10] J. Heo, S. Kong, B. Abidi, and M. Abidi, “Fusion of Visual and Thermal Signatures with Eyeglass Removal for Robust Face Recognition,” IEEE International Workshop on Object Tracking and Classification Beyond the 46.
(53) 參考文獻. Visible Spectrum, July 2004. [11] A. Gyaourova, G. Bebis, and I. Pavlidis, “Fusion of Infrared and Visible Images for Face Recognition,” European Conference on Computer Vision, pp. 456-468, Prague, May 2004. [12] J. Fan, G. Zeng, M. body, and M.-S. Hacid “Seeded Region Growing：An Extensive and Comparative Study,” Pattern Recognition Letters, vol.26, pp. 1139-1156, June 2005. [13] S.-Y. Wan and W. E. Higgins, “Symmetric Region Growing,” IEEE Transactions on Image Processing, vol. 12, pp. 1007-1015, September 2003. [14] T. Michelle, D. Doris, H.-K. Linda, H. Robert, and K. Jim, “Infrared Astronomy,” http://coolcosmos.ipac.caltech.edu/cosmic_classroom/ir_tutorial/. [15] 王俊昌, “A Practical Infrared Image Contrast Enhancement Method,” 碩士論. 文, 交通大學電機資訊學院, June 2004. [16] FLIR Systems, “ThermoVisionTM SDK User’s Manual,” 2004.. 47.
(54)
數據
相關文件
Because simultaneous localization, mapping and moving object tracking is a more general process based on the integration of SLAM and moving object tracking, it inherits the
[3] Haosong Gou, Hyo-cheol Jeong, and Younghwan Yoo, “A Bit collision detection based Query Tree protocol for anti-collision in RFID system,” Proceedings of the IEEE
Kyunghwi Kim and Wonjun Lee, “MBAL: A Mobile Beacon-Assisted Localization Scheme for Wireless Sensor Networks,” The 16th IEEE International Conference on Computer Communications
C., “Robust and Efficient Algorithm for Optical Flow Computation,” Proceeding of IEEE International Conference on Computer Vision, pp. “Determining Optical Flow.” Artificial
Godsill, “Detection of abrupt spectral changes using support vector machines: an application to audio signal segmentation,” Proceedings of the IEEE International Conference
[16] Goto, M., “A Robust Predominant-F0 Estimation Method for Real-time Detection of Melody and Bass Lines in CD Recordings,” Proceedings of the 2000 IEEE International Conference
Jones, "Rapid Object Detection Using a Boosted Cascade of Simple Features," IEEE Computer Society Conference on Computer Vision and Pattern Recognition,
Kyunghwi Kim and Wonjun Lee, “MBAL: A Mobile Beacon-Assisted Localization Scheme for Wireless Sensor Networks”, the 16th IEEE International Conference on Computer Communications
