以肢體動作分析為基礎之新生兒意外監控系統

全文

(1)國立臺灣師範大學資訊工程研究所碩士論文. 指導教授：方瓊瑤博士. 以肢體動作分析為基礎之新生兒意外監控系統 An Infant Monitoring System Based on Behavior Analysis. 研究生：邵柏潤撰中華民國九十八年六月.

(2) 摘要科技日益更新，近年來基於人身的安全需求，自動化即時監控系統的相關研究正在快速的成長，一套監視系統可以幫助我們監控戶外與室內的環境狀況，甚至於面對現在少子化社會的到來，新生兒居家安全的監控與追蹤更顯得重要。新生兒常被認為是脆弱、無助且無法明確表逹自己的需求，因此比一般病人或老年人更需要仔細且長時間的照顧與看護，也較常因照顧者的微小疏忽而導致生病或意外事故，造成新生兒父母親或照顧者很大的壓力與負擔。本研究主要應用在分析新生兒的動作，在視覺式監控系統的監控下避免新生兒發生意外。監控攝影機架設於嬰兒床的正上方，系統讀入連續時間的新生兒動作影像，偵測新生兒肢體部位並與前一個時間的偵測結果追蹤比對，並利用新生兒肢體動作示意圖(posture map)來表示追蹤比對的結果。新生兒的動作關係圖是由連續的肢體動作示意圖所構成，可儲存於資料庫內。當異常的情況發生時，例如新生兒的肢體動作示意圖不存在動作關係圖內或是符合動作關係圖內危險的節點時，系統將會發出警告通知照顧者前來關心。. 0‐1 .

(3) Abstract This paper presents a vision-based infant-monitoring system based on infant behavior analysis approach to avoid the occurrence of the infant’s accidents. In this study the video camera is set above the crib to capture the video sequence of the infants. The system first preprocesses the input sequence to remove the noises and reduce the influence of lights and shadows. Second, the infant-monitoring system detects the infant’s limbs and matching them to the pre-defined posture maps. These posture maps can be regard as a node and be linked to construct a motion graph. The motion graph describes the current infant’s motion. All the motion graphs can be merged into a behavior graph to describe the infant’s behaviors ever occurring before. If some unusual situations happen, for example, an input limb map does not exist in the behavior graph or be matched to a danger node then the system then alerts the baby-sitter to take care of the infant immediately. Since the infants grow very fast and their growing processes are various, the behavior graph should be updated to fit the current behaviors of infants. The experimental results show that the method has the ability to work robustly in real-time.. 0‐2 .

(4) 致謝首先感謝指導教授方瓊瑤老師，在碩士兩年的研究生涯中，給予最大的指導與教學，並耐心的指導我模糊理論、機器學習與各相關技術上的問題，並給予正確的研究態度與方法，本篇論文才得以呈現。另外感謝陳世旺老師在我研究中遇到問題時給予協助與建議。感謝李忠謀老師帶領我們實驗室進行研究計畫，並適當的點出問題讓我了解論文的不足處，另外感謝台科大鍾國亮老師批閱本論文，並特地到師大參加我的研究口試，並給予寶貴的意見。最後謝謝貝利勃老師建立我的影像基礎以及批閱及修改英文投影片，使我了解英文用字與文法上的問題。感謝摯愛女友唯瑜，在碩士的這段期間陪伴著我，適時的給予鼓勵與打氣。另外感謝一起奮鬥的同學宗翰與漢威，碩士兩年的日子中一起研究、討論問題和相互幫忙。謝謝陳老師實驗室的同學士祺、亭凱、宗儒、志成、士翔和羿甫等，兩年中互相扶持與鼓勵。感謝景堂學長、北投保姆和堂妹志林提供我研究所需要的實驗影片，沒有你們的幫忙我的研究是無法完成的。另外感謝建富、雨農、柏諺、安鈞和博士班的允中學長，剛進研究所有你們的幫忙與指引，讓我的研究更加的進入狀況。最後謝謝明翰、宛甄、秋利、竹煖、婉雅、彥儀和之凡，謝謝你們讓我在忙翻的碩二生活增加了不少樂趣，未來希望你們也能順利的完成研究。最後，也是最重要的，我要感謝我的朋友、家人與妹妹們，支持我唸研究所並在我研究過程不順遂時給予最大的關心與鼓勵。. 0‐3 .

(5) 目錄圖目錄…………………………………………………………………….. 0-5. 第一章緒論…………………………………………………………….... 1-1. 1.1 研究背景與目的……………………………………………….... 1-1. 1.2 文獻探討……………………………………………………….... 1-2. 1.3 論文架構………………………………………………………... 1-4. 第二章新生兒意外監控系統………………………………………….... 2-1. 2.1 系統目的……………………………………………………….... 2-1. 2.2 系統流程……………………………………………………….... 2-2. 2.2.1 影像前處理………………………… ………………….... 2-6. 第三章新生兒的肢體動作示意圖…………………………………….... 3-1. 3.1 肢體動作示意圖……………………………………………….... 3-1. 3.2 新生兒肢體動作示意圖比對………………………………….... 3-5. 3.2.1 新生兒肢體部位特徵擷取………………………………. 3-5. 3.2.2 肢體部位對應……………………………………………. 3-9. 第四章新生兒動作分析……………………………………………….... 4-1. 4.1 分析系統流程………………………………………………….... 4-1. 4.2 動作關係圖的建構與分析…………………………………….... 4-3. 第五章實驗結果……………………………………………………….... 5-1. 第六章結論與未來工作……………………………………………….... 6-1. 6.1 結論……………………………………………………………... 6-1. 6.2 未來工作……………………………………………………….... 6-2. 參考文獻………………………………………………………………….. A-1. 附錄……………………………………………………………………….. A-5. 0‐4 .

(6) 圖目錄圖 2.1、系統流程圖……………………………………………………. 2-2. 圖 2.2、新生兒位置偵測分析圖………………………………………. 2-3. 圖 2.3、危險動作分析…………………………………………………. 2-4. 圖 2.4、新生兒前景擷取完成…………………………………………. 2-8. 圖 3.1、新生兒肢體部位無遮蓋的肢體動作示意圖…………………. 3-1. 圖 3.2、新生兒肢體部位遭受遮蓋的肢體動作示意圖………………. 3-3. 圖 3.3、不易發生的新生兒肢體動作…………………………………. 3-3. 圖 3.4、新生兒前景擷取完成…………………………………………. 3-4. 圖 3.5、新生兒肢體動作示意圖配對流程圖…………………………. 3-5. 圖 3.6、大字型肢體動作姿勢…………………………………………. 3-5. 圖 3.7、新生兒頭部與肢體部位特徵輸出流程圖……………………. 3-6. 圖 3.8、大字型肢體動作姿勢定位……………………………………. 3-7. 圖 3.9、新生兒身體特徵擷取與輸出流程圖…………………………. 3-8. 圖 3.10、新生兒肢體部位的追蹤流程圖…………………………..…. 3-9. 圖 3.11、色部位面積重疊狀況示意圖…………………………..……. 3-10. 圖 3.12、重疊部位重心距離與面積變化示意圖……………………... 3-11. 圖 3.13、新生兒肢體動作示意圖…………………………………….. 3-12 圖 3.14、新生兒輪廓擷取示意圖…………………………………….. 3-12 圖 3.15、新生兒重心與輪廓距離統計示意圖……………………….. 3-13 圖 3.16、新生兒頭部運動方向檢視圖……………………………….. 3-14 圖 3.17、新生兒整體輪廓變化統計圖……………………………….. 3-14 圖 4.1、分析系統流程圖………………………………………………. 4-2. 圖 4.2、相同意義的肢體動作示意圖…………………………………. 4-4. 0‐5 .

(7) 圖 4.3、資料庫內 35 種新生兒肢體動作示意圖……………………... 4-4. 圖 4.4、動作關係圖元件介紹…………………………………………. 4-5. 圖 4.5、新生兒動作關係圖……………………………………………. 4-6. 圖 4.6、新生兒的動作關係圖…………………………………………. 4-8. 圖 4.7、時間 t 資料庫新生兒動作關係圖……………………………... 4-9. 圖 4.8、時間 t + 1 與時間 t + 2 節點存在資料庫內的新生兒動作關係圖…………………………………………………………. 4-9. 圖 4.8、時間 t + 3 節點 31 與 24 連結不存的新生兒動作關係圖. 4-10. 圖 4.10、時間 t + 4 節點 32 不存在資料庫的新生兒動作關係圖. 4-10. 圖 5.1、實例一影片中擷取出的部分影像……………………………. 5-2. 圖 5.2，實例一影片膚色擷取的部分影像……………………………. 5-2. 圖 5.3、實例一新生兒肢體動作示意圖………………………………. 5-3. 圖 5.4、資料庫的動作關係圖…………………………………………. 5-3. 圖 5.5、實例二影片中擷取出的部分影像……………………………. 5-4. 圖 5.6、實例二影片膚色擷取的部分影像……………………………. 5-4. 圖 5.7、實例二新生兒肢體動作示意圖………………………………. 5-5. 圖 5.8、實例二部分新生兒動作關係圖………………………………. 5-5. 圖 5.9、實例二新生兒頭部位置距離示意圖…………………………. 5-6. 圖 5.10、實例二新生兒動作關係圖…………………………………... 5-7. 圖 5.11、實例三影片中擷取出的部分影像…………………………... 5-8. 圖 5.12、實例三影片膚色擷取的部分影像…………………………... 5-9. 圖 5.13、新生兒肢體動作示意圖……………………………………... 5-9. 圖 5.14、新生兒頭部位置距離示意圖……………………………….. 5-10 圖 5.15、實例三新生兒動作關係圖………………………………….. 5-10 圖 A-1、新生兒五個肢體部位動作示意圖………………………….... 0‐6 . A-1.

(8) 圖 A-2-1、新生兒肢體部位遭受遮蓋示意圖 part 1………………….. A-2. 圖 A-2-2、新生兒肢體部位遭受遮蓋示意圖 part 2………………….. A-3. 圖 A-2-3、新生兒肢體部位遭受遮蓋示意圖 part 3………………….. A-4. 圖 A-2-4、新生兒肢體部位遭受遮蓋示意圖 part 4………………….. A-5. 圖 A-3、新生兒肢體動作較不可能發生之示意圖………………….... A-6. 0‐7 .

(9) 第一章緒論 1.1 研究背景與目的新生兒常被認為是脆弱、無助且無法明確表逹自己的需求，因此比一般病人或老年人更需要仔細且長時間的照顧與看護，也較常因照顧者的微小疏忽而導致生病或意外事故，造成新生兒父母親或照顧者很大的壓力與負擔。根據行政院衛生署統計資料顯示[1,2]，意外傷害中的窒息是新生兒死亡的主要原因之一，歷年新生兒死亡率約千分之 2.5，新生兒的身體蠕動，可能導致外物掩蓋口鼻，且控制頭部轉動的頸部肌肉力量不足，又頭部相對於身體都比較重大，所以不容易靠自己的力量將遮蓋物挪開，或是奮力掙扎哭喊求救，一旦造成二、三分鐘的呼吸困難，就會全身癱軟無力而呼吸停止，導致窒息死亡。其次，新生兒與父母親同床就寢也可能導致窒息意外發生[3]，因為幼小的新生兒，常會被不經意的父母壓到，且也父母所使用的棉被容易在不覺中遮蓋到新生兒的口鼻，新生兒沒有能力去反抗，易造成窒息死亡。所以對新生兒最安全的地方是與父母同室而眠，而非同床就寢。另一方面，睡姿的問題也會導致窒息現象發生，現在的父母講究新生兒的頭顱形狀，刻意讓寶寶趴睡，但是近年來發生了很多不明原因的「嬰兒猝死症候群」[4]，通常是三、四個月內的寶寶，在熟睡中不明原因的死亡，原因不外乎是新生兒翻身或是轉頭等動作造成窒息情況發生。除了注意新生兒避免窒息情況發生，其次的課題是保護新生兒的身體安全，如頭部撞擊到嬰兒床的護欄，手腳被外物壓制或是卡住無法動彈等情況，當新生兒受到撞擊，可能沒有明顯外傷，但卻會造成內傷，像是血 1-1.

(10) 管破裂等。故本研究的目的在開發視覺式嬰兒監控系統，期望能在照顧者短暫離開的情況下，協助監控嬰兒的動靜，藉以預防意外事故的發生。本研究將攝影機架在嬰兒床上方來監控嬰兒可能發生的各種肢體行為，例如肢體擺動、身體扭動、異物進入等，並依各種情形發出不同程度的警示訊息告知照顧者，提醒照顧者檢視嬰兒的現況。舉例來說，若監控系統偵測不到嬰兒的臉部，則嬰兒可能有窒息的危險，系統就會發出緊急警告來警示照顧者。由於嬰兒自出生起至成長幾個月後，每天平均的睡眠時間長達十六至二十小時，照顧者無法一天二十四小時完全待在嬰兒身旁，因此嬰兒監控系統的開發是必需的。本系統的開發不僅可以主動提醒照顧者檢視嬰兒的狀況，降低嬰兒因照護疏失導致的意外事故發生率；也可以記錄並觀察嬰兒初期成長過程，提供醫學界對嬰兒行為的進一步研究，亦可剪輯後做為紀錄片留念。. 1.2 文獻探討雖然已經有許多人體或機器人肢體動作行為的研究發表，人體研究方面大部分都是以成人為主，針對嬰兒、新生兒或是小孩的相關研究並不多。加上本研究屬於一個較新穎的領域，目前尚未有足夠的相關研究可供參考，但是本人認為想要了解分析新生兒的動作行為並完成程式系統前，必須先偵測到新生兒肢體動作的變化，因此文獻探討著重在人體肢體動作的偵測與辨識技術。 Bobick 等人[Bob01]主要透過 temporal templates 來辨識肢體動作，利用 motion-energy image 與 motion-history image 記錄肢體動作的變化，前者為累積目標動作的連續變化影像，後者則透過像點灰階值變化表示動作的時間順序。由於 temporal templates 的優點在於較易辨識有順序與規律的肢體動作行為，例如體操動作等；若偵測物的動作行為較為複雜或是模糊等狀況，則無法利用此文獻提供的方式辨識。 1-2.

(11) Bhatt 等人[Bha03] [Bra00]主要研究六個月大的新生兒是否使用雙手拾起異物放入口中，利用膚色來偵測頭、手與腳，並追蹤雙手與嘴巴部位是否產生重疊現象，若有重疊發生再判定是否有異物靠進新生兒的嘴巴。 [Bha03]其缺點必須假設新生兒坐姿端正挺直軀幹，且臉部必須朝攝影機鏡頭，這些都並非新生兒的常態姿勢。其次 Kosta 等人[Kos08]透過膚色將身體部位分成頭、雙手及雙腳五個部位，並透過雙腳前後的動作頻率，來判定此人的動作是從走路到跑步或是跑步到走路，並可以透過重心點的移動方向來偵測此人的位置與速度。除了利用 temporal templates 或是膚色來擷取臉部與肢體部位，另外 [Che08] [Fuj98] [Jua09] 透過計算身體輪廓(contour)與中心點的距離統計圖，統計圖上的區域最大值為身體輪廓的凸起處，極有可能為頭、雙手或是雙腳所在位置。Fujiyoshi 等人利用輪廓統計圖變換的頻率，來偵測人體的動作是走路還是跑步等；而 Juang 等人則是利用輪廓統計圖辨識人體的姿勢為站立、彎腰或是躺平等的情況。其優點在於可以透過距離統計圖找到人體輪廓凸起處部位，但如果人體姿勢在影像上呈現圓狀或是凸起處不明則無法透過此方式辨識。 Juang 等人[Jua07]主要目的偵測居家照護環境中，被照護者是否發生跌倒等緊急事件發生，主要偵測人體站立、彎腰和平躺的姿勢，分別取得前景像點(pixel)累積的垂直與水平投影直方圖(histogram)，利用直方圖垂直與水平累積統計量的變化，可以得知人體目前的姿勢為站立或是平躺等。若偵測出為平躺姿勢則表示被照護者發生危險事件，則立即通報。由於新生兒身體比例較成人來的模糊，因此無法單純透過投影直方圖取得適合的資訊。透過上述文獻的研究方式，啟發本研究對於新生兒肢體部位偵測與追蹤的方向，往後的章節會有更多詳細的介紹與說明。本系統為了能夠預測出新生兒的連續動作行為是否會導致意外，在系統資料庫已獲得先前累積新生兒的動作行為關係圖(behavior graph)的前提 1-3.

(12) 下，分析系統透過肢體動作姿勢示意圖(posture map)表示新生兒肢體部位偵測與追蹤的結果，並和資料庫內的關係圖進行比對(matching)，根據比對的結果將能判定新生兒目前是否處於危險的狀態，並適時的告知。 Chen 等人[Che01]提到了兩種比對的演算法，為 goldsmith map matching 與 fuzzy map matching，差別在於比對的時候結點(node)與連結(link)前者視為同等重要，而後者則加入權重，使得每一個結點或連結有不同的重要程度。然而此兩種演算法只針對結點存在與否，而沒有考慮到時間的順序，而新生兒的肢體動作危險意外是有連續時間性的，故無法直接利用於本系統上。而本系統所提出的新生兒動作行為關係圖(behavior graph)，主要用途是表示著新生兒發生過的肢體動作，而權重關聯會隨著時間而增長變化，不會是固定的圖像(graph)。. 1.3 論文架構本論文接下來在第二章會詳細的介紹整個系統的目的與架構，以及詳細說明系統對於影像的前處理的方式，第三章則會介紹新生兒肢體動作示意圖(posture map)，並說明如何比對本論文所提出的新生兒肢體動作示意圖，最後並利用新生兒的身體輪廓定位出新生兒的頭部位置，以利於第四章系統分析之利用。第五章則是實驗的部分，第六章為結論與未來工作。. 1-4.

(13) 第二章新生兒意外監控系統 2.1 系統目的新生兒在自由活動的時候，肢體動作的變化相當繁多，除了正常的動作也包含危險的行為，本系統針對一個月至六個月大的新生兒，做偵測監控與動作行為分析，偵測時將新生兒的頭部與四肢分別處理，肢體動作示意圖(posture map)可以用來表示新生兒頭部與肢體五個部份的動作姿態，隨著新生兒年齡的增長，新生兒的肢體動作示意圖以及頭部的位置追蹤，可以建構出一套屬於新生兒的動作行為關係圖(behavior graph)，並將此關係圖儲存於資料庫。資料庫中存有新生兒隨著年齡增長而產生階段性的動作關係圖，例如新生兒在約二個月大的時候雙手與雙腳活動頻繁，約四個月大的時候會開始扭動脖子及嘗試翻身等階段性現象皆會表示於關係圖中。系統若要判定目前新生兒的動作行為正常與安全的，就必須將比對出來的肢體動作示意圖跟資料庫內的已儲存好的動作行為關係圖進行比對並計算其發生的機率。透過發生機率的大小可得知此肢體動作是否為新生兒經常表現的動作行為，若機率值過低則表示此肢體動作對於新生兒是很少發生的，因此系統必須作觀察並在適當的情況下給予警告通知照顧者前來關照。另外還有突發的意外或是新生兒隨著年齡變化而產生不同的肢體動作，使得目前比對出的肢體動作示意圖不存在資料庫內，此時系統則發出警告。. 2-1.

(14) 2.2 系統流程本系統的流程如圖 2.1 所示，首先將連續影像讀入，一開始會先對連續影像做分析，判斷此連續影像為動態畫面或是靜態畫面，當結果為靜態畫面的時候即會進入靜態子系統處理，同理可知，為動態畫面時則會進入動態子系統作處理。系統沒有偵測到 motion 時即進入左邊的子系統，主要在判定系統正常的執行運作下畫面是否發生異常，例如室內關閉燈光使得畫面呈現全黑狀態等；另外當新生兒處於睡眠狀態時畫面亦會呈現靜止，因此系統會根據一段時間內的畫面，偵測影像上是否有新生兒的動作發生或是新生兒的膚色區塊，若有偵測到新生兒動作則表示系統處於正常運作，若結果為偵測不到新生兒偵測或畫面異常時，系統將發出警告來告知照顧者。反之若偵測到新生兒的動作則進入偵測與分析的子系統，包含「肢體. 連續影像輸入 No. Yes. 是否有偵測到Motion?. ( 靜態處理 ). ( 動態處理 ) 新生兒肢體部位偵測. 膚色偵測. 是否有膚色的存在? Yes Yes. 是否偵測到新生兒?. No. 示意圖比對新生兒位置偵測. 是否為危險行為? 是否為危險狀態?. No 警告. 新生兒行為分析. Yes 警告. 圖 2.1、系統流程圖。 2-2. No. Yes 警告. No.

(15) 動作示意圖配對」、「新生兒位置偵測」和「新生兒行為分析」，系統利用肢體動作示意圖(posture map)來呈現新生兒肢體動作的姿勢，例如頭部與四肢沒有碰觸的大字型(Star posture)或是雙腳靠近的動作姿勢等。根據肢體動作示意圖的呈現，系統能得知當下新生兒的肢體動作姿勢，並透過某些肢體動作示意圖可以直接判定新生兒是否有潛在的危險行為發生。其次新生兒身體的蠕動，如果動作過大造成身體的位置位移而會離開攝影機的鏡頭畫面，超出畫面可能會造成意外事件發生，此時系統就會做出適當的警告，告知照顧者前來關心。當肢體動作示意圖配對完成後系統會執行新生兒位置的偵測，如圖 2.2 所示，主要分析新生兒的身體方位以及肢體部位的狀態。系統會透過影像畫面在連續的時間中判斷肢體部位是否有遭受遮蓋，例如翻身失敗手部遭受身體遮蔽壓制或是肢體部位擺動遭衣物卡住等都有可能造成意外，因此透過肢體動作示意圖的呈現，當身體部位遭受遮蓋，持續一段時間之後系統將會發出警告告知照顧者。當新生兒的身體若是離開鏡頭畫面時，本系統將無法發揮監控功能，此時若意外事件發生則系統將無法及時做出警告，故系統會立刻通知照顧者目前新生兒的肢體部位已離開監視畫面的現象發生。同時系統執行是否有異物接近新生兒，異物接近可能會提高新生兒發生危險事件的機率，例如當異物接近時新生兒抓取異物食之或是新生兒身體部位被異物壓制，都身體位置分析. 肢體消失遭遮蓋. 超出畫面. 警告. 警告. 身體方位正常. 偏移. 圖 2.2、新生兒位置偵測分析圖。 2-3. 偏斜.

(16) 是有可能發生危險的。最後，系統將新生兒肢體動作示意圖與位置偵測結果，並透過資料庫中建立完成的動作行為關係圖進行分析比對，由於資料庫中的關係圖是新生兒動作行為經過時間累積形成的。關係圖記錄著為新生兒最常表現的動作行為且其中大部分的行為是屬於安全的，因此系統在執行比對與分析時，可得知目前新生兒的肢體動作姿勢發生的機率，並依此判定該動作姿勢是否為新生兒經常表現的姿態。根據判定後的結果，若沒有立即的危險發生，表示新生兒肢體動作姿勢會隨著年齡月份的增加而改變，因此系統必須學習此動作姿態並更新資料庫內的動作行為關係圖。資料庫中動作行為關係圖，危險行為分為四種類別動作分析處理，如圖 2.3 所示分為頭部動作類、手部動作類、腳步動作類和身體動作類。每種類別依照不同的動作型態來分類，動作型態會依照動作程度的狀況值來判斷是否有危險的發生可能性。頭部動作類別中，系統透過連續影像與膚色來偵測與判斷，分析新生兒臉部是否正常朝上，若臉部朝下則立即發出警告通知照顧者；其次同時監控新生兒頭部的連續動作，是否發生在短時間內過度激烈擺動或搖晃等危險動作分析. 頭部動作. 手部動作. 腳部動作. 身體動作. 動作類別. 朝上朝下轉頭取異物搥打踢踹平擺翻身成功翻身失敗扭動. 激烈正常. 警告警告. 激烈輕微激烈正常無法翻回翻回激烈正常. 警告警告. 警告. 警告. 圖 2.3、危險動作行為分析。 2-4. 警告. 動作型態. 程度狀況.

(17) 現象，若是則發出警告通知照顧者前來關心。手部動作類別中，系統會判定雙手是否有過度激烈的揮動、捶打或遭受遮蔽等，同時根據異物偵測的結果來判定新生兒是否有拿取異物，造成吞食的危險事件發生，若有拿取異物則會立即發出警告通知照顧者。腳步動作下，系統偵測新生兒的雙腳在連續的時間內，是否有激烈的運動，例如踢腳或踹腳等狀況，若情況過於激烈容易導致肢體部位受傷，故系統亦會立即發出警告。身體動作類別中，主要是判定新生兒的身體是否有位移或是翻身的動作，當新生兒開始學習翻身的時候，若是翻身成功新生兒可能會離開原來安全的位置，同時也會離開攝影機的鏡頭畫面，因此為本系統將此行為列為危險狀況，並發出警告通知照顧者；若新生兒翻身失敗，由於新生兒本身力量不足很有可能當翻身失敗的時候，無法自行翻回，如此一來可能造成肢體部位的遮蔽，甚至是嚴重的扭傷，由於這是新生兒內在的傷害，故本系統將翻身失敗視為危險事件。. 2-5.

(18) 2.3 影像前處理本系統運作新生兒的偵測時，採用單一彩色攝影機。系統將即時進入的連續影像個別處理，將影像取得的 RGB 顏色系統轉換至 HIS 顏色系統， h 為色相(hue)，s 為飽和度(saturation)，i 為強度(intensity)，轉換公式如(1) 所示： ⎧ ⎧ 0.5 ⋅ [ (r − g ) + (r − b ) ] ⎫⎪ ⎪cos −1 ⎪⎨ , if h ∈ [0, π ] for b ≤ g 1 ⎬ ⎪⎪ ⎪⎩ (r − g )2 + (r − b )(g − b ) 2 ⎪⎭ h=⎨ ⎧ 0.5 ⋅ [ (r − g ) + (r − b ) ] ⎫⎪ ⎪ −1 ⎪ 2 π cos , if h ∈ [π ,2π ] for b > g − ⎨ ⎪ 1 ⎬ 2 2 ⎪ ⎪ ( ) ( )( ) − + − − r g r b g b ⎩ ⎭ ⎩⎪. [. ]. [. ]. s = 1 − 3 ⋅ min (r , g , b ) ; s ∈ [0,1]. i = (R + G + B ) (3 ⋅ 255) ; i ∈ [0,1]. (1). 其中 r = R (R + G + B ) ， g = G (R + G + B ) ， b = B (R + G + B ) 。系統在做影像處理時只使用色相(Hue)與強度(Intensity)；其它的顏色系統中，像是 RGB 與 YCbCr 皆可以用來區分顏色或是強度，本系統使用 HIS 主要是因為色相(Hue)能在影像中取得最正確的膚色區塊。此顏色系統的轉換，使用在系統擷取出前景後用來判定膚色區域。. 2.3.1 擷取前景新生兒由於無法行動自如，必須由照顧者適時的看護，像是新生兒要在嬰兒床上休息或是睡覺，都必須由照顧者來幫忙將新生兒抱上床，故系統在初始化時必須先建立背景，首先系統將會執行與觀察 frame 與 frame 之間每個 pixel 值的變化，若 pixel 值的變化小於一個門檻值並持續一段時間，系統就會將此 pixel 視為背景，公式如(2)所示： FDn ( x, y ) = f n ( x, y ) − f n −1 ( x, y ). 2-6.

(19) ⎧1, if FDn ( x, y ) ≤ ThFD FDTn ( x, y ) = ⎨ ⎩0, if FDn ( x, y ) > ThFD. (2). 其中 f n (x, y ) 表示第 n 個 frame 中的某個 pixel 值，FDn (x, y ) 為第 n 個與第 n-1 個 pixel 值的差異程度，差異程度小於某個門檻值 ThFD，就會將 FDTn (x, y ) 值設為 1，若此 pixel 差異程度的累積次數超過門檻值 N f 就視為此 pixel 為背景，如公式(3)所示： ⎧ PC (x, y ) + 1, if FDTn ( x, y ) = 1 PCn ( x, y ) = ⎨ n if FDTn (x, y ) = 0 ⎩0, ⎧ f ( x, y ), if PCn ( x, y ) ≥ N f PCTn ( x, y ) = ⎨ n if PCn ( x, y ) < N f ⎩− 1,. (3). PCTn ( x, y ) 表示累計至第 n 個 frame 的背景程度值，當累計達到系統設定的. 時間 t 秒後，系統將 PCTn (x, y ) 背景 pixel 程度值設為背景 BG (x, y ) ，並在時間 t+1 開始執行背景相減取得前景物，並透過 BGDn (x, y ) 紀錄第 n 個 frame 與背景的差異值，當高於門檻值 ThBD 就設定為前景，如公式(4)所示： BGDn ( x, y ) = f n ( x, y ) − BG ( x, y ) ⎧1, if BGDn ( x, y ) ≤ ThBD FGn ( x, y ) = ⎨ ⎩0, if BGDn ( x, y ) > ThBD. (4). 取出前景 FGn (x, y ) 後，系統利用 erosion 與 dilation 將前景執行去除雜訊動作，在前景上新生兒的身體區域面積 pixels 值與區域周長必為最大值，所以系統可利用前景的區塊面積值與區塊周長來判定為新生兒身體區塊，如圖 2.4 所示為背景相減後並執行雜訊處理及篩選區塊的結果。. 2-7.

(20) 圖 2.4、新生兒前景擷取完成。 2.3.2 肢體部位偵測新生兒的 posture map 比對，必須由新生兒的形狀特徵(shape)與膚色特徵(color)做為基礎，再透過新生兒肢體部位的相對位置關係與 posture map 執行比對的動作。形狀特徵包含新生兒身體重心、肢體部位相對關係與身體外型輪廓。新生兒的身體重心位置可以幫助系統在執行初始化時，提高預估新生兒頭部的所在位置。找出重心位置後並執行偵測膚色的動作找出其他的膚色部位，最後根據人體四肢的關係與位置比例就可以正確的初始化完成新生兒肢體部位的相關位置。. 2.3.3 新生兒身體重心系統利用二值化的前景 FGn (x, y ) 與幾何動差(geometrical moment)公式 m p ,q 取得新生兒身體重心 (xτ , yτ ) ，如公式(5)所示：. m p ,q = ∑∑ FGn ( x, y )x p y q x. y. ⎛ m1, 0 m0,1 ⎞ ⎟ , ⎟ m m 0, 0 ⎠ ⎝ 0, 0. (xτ , yτ ) = ⎜⎜. (5). 重心特徵值取得，系統可透過重心位置與新生兒身體膚色部位關係完成大字型的初始化。詳細內容在後面的章節會陸續說明。. 2-8.

(21) 第三章新生兒肢體動作示意圖 3.1 新生兒的肢體動作示意圖(Posture map) 由於會造成新生兒危險事件發生的動作相當繁多，例如翻身、拿取異物食用或是肢體部位遭受遮蓋導致內傷等，這些都會產生立即的危險意外。危險動作的發生可以藉由連續的動作來做分析，分析判斷是否新生兒會在下一個時間做出危險的姿勢或是行為，例如當新生兒準備往右翻身的時候，新生兒的身體會先向右側彎曲，此時左手與左腳也會往新生兒的身體右邊使力，作勢要往右邊翻轉的動作。所以系統可以透過連續的時間動作得知，當新生兒要產生翻身動作前，會先有同手腳往同一方向的動作的出現。每一個危險事件的發生是由一連串的動作產生，每一個動作的產生是由新生兒身體不同的肢體部位組合而成的，因此本系統在讀取每一個時間的動作時，將使用一個肢體動作示意圖來表示此動作的組合方式。. 圖 3.1、新生兒肢體動作示意圖。. 3-1.

(22) 表 3.1、新生兒肢體動作示意圖總數。 CC. #DP=5. #DP=4. #DP=3. #DP=2. #DP=1. #DP=0. Sum. 0. 0. 0. 0. 0. 0. C =0. 1. 1. C =1. C C =5. C =5. C C C = 20. C C = 10. C C C / 2 = 15. 5. 0. 5. 2 3. 5. 2. 3. 2. 5. 2. 2. C C = 10. C C =5. 0. 31. C C = 30. C C = 10. 0. 0. 90. C C C = 30. C C = 10. 0. 0. 0. 65. 4. 4. 1. C C = 10 3. C C = 10. 5. 1. 5. 4. C C C / 2 = 15 5. 3. 1. 2. 2. 1. 0. 0. 5. 1. 4. 3. 3. 3. 4. 2. 2. 2. 5. 4. 2. 1. 2. 2. 5. 3. 2. 3. 5. 3. 2. 3. 5. 3. 2. 3. 5. 2. 3. 2. 5. 2. 3. 2. 5. 1. 4. 1. 4. C C = 10. C C =5. 0. 0. 0. 0. 15. 5. C =1. 0. 0. 0. 0. 0. 1. 5. 3. 2. 3. 5. 5. 5. 4. 1. 4. DP: Detected parts. (#: the number of parts detected.) Total: 203. CC: Connected component.. 本系統新生兒肢體動作姿勢示意圖如圖 3.1 所示，肢體動作示意圖有 203 種組合如附錄 A 所示，每一張肢體動作示意圖皆由一至五個肢體部位的組合而成，排列組合後產生 202 種如表 2.1 所示，其中含有肢體部位完全遭受遮蓋的肢體動作示意圖，共 203 種。 203 種的肢體動作中示意圖共分成 3 種類別，第一種類型共有 51 個肢體動作示意圖，如圖 3.2 所示新生兒的肢體部位皆沒有遭受遮蓋，五個部位可組成一種新生兒的肢體動作示意圖，圖片上半張為肢體動作示意圖，下半張為新生兒肢體動作圖的對照。如圖 3.2 (a)所示，新生兒的肢體皆沒有與其他肢體接觸或是重疊，所有肢體動作中新生兒最容易出現此肢體動作的狀態，本系統認定此狀態為安全狀態並且以此肢體動作狀態為連續動作的起點，當系統偵測到此肢體動作狀態時連續動作關係圖就會重新開始；如圖 3.2 (b)所示，新生兒的五部位的肢體完全接觸並靠近頭部；如圖 3.2 (c)所示，新生兒雙腳接觸，根據觀察記錄新生兒雙腳與雙手相較之下力量較大且活動力高，所以在非睡眠的情況下最容易產生此種肢體動作狀態；如圖 3.2 (d)所示，新生兒肢體 3-2.

(23) 圖 3.3、新生兒肢體部位遭受遮蓋的肢體動作示意圖。動作除了頭部外，雙手與雙腳是處於互相接觸的情況。如圖 3.3 所示，新生兒部分肢體遭受遮蓋或是系統無法正確偵測，遭受遮蓋的原因可能是新生兒身體翻身或是移動將肢體部位壓制遮蓋，系統無法正確偵測的狀況因素可能是受到劇烈的光線影響，例如監控環境熄燈或是系統攝影機被移動等，皆有可能造成無法順利偵測新生兒肢體部位。如圖 3.3 (a)所示，只有偵測到新生兒頭；而 2.6 (b)則表示只有腳部遭受遮蓋或是消失；當新生兒肢體部位遭受遮蓋持續一段時間時，發生危險事件的機會就會提高，像是頭部遭受遮蓋就有可能是因為異物進入或是新生兒移動了棉被等物品導致新生兒的臉部遭受遮蓋，若沒有即時的處理新生兒有可能會發生窒息的危險事件，頭部遭受遮蓋的肢體動作示意圖如 2.6 (c)所示，當系統偵測到此狀況時則發出警告告知照顧者前來關心。如圖 3.3 (d)所示，新生兒肢體動作示意圖為空白則表示新生兒肢體完全遭受遮蓋、系統攝影機遭受移動或是監控環境光線劇烈變化等，此時系統亦將會發出警告。. 圖 3.4、不易發生的新生兒肢體動作示意圖。. 3-3.

(24) 新生兒 203 種肢體動作示意圖中，除了肢體沒有遭受遮蓋和部分遭受遮蓋的肢體動作姿勢外，還有一種肢體動作的組合如圖 3.4 所示，這些肢體動作示意圖所表示的新生兒動作姿勢是不會發生的。如圖 3.4 (a)所示，新生兒的頭部與雙腳接觸但是雙手卻沒有觸碰，而圖 3.4 (b)則是雙手有碰觸，這樣的肢體動作姿勢根據人體工學是不會自然發生的，其次如圖 3.4 (c) (d) 也是一樣的情況，這樣的肢體動作姿勢新生兒是無法自然的發生的。所以本系統並不會將這些違反人體工學的肢體動作姿勢存入系統的資料庫內。. 3-4.

(25) 3.2 新生兒肢體動作示意圖比對新生兒的動作是由連續時間身體部位的姿勢組合而成，身體的姿勢是由新生兒頭部與四肢所構成的，所以系統在分析新生兒行為時，必須透過連續時間產生出來的肢體動作示意圖(posture map)達成分析的目的。 Posture map 的輸出如圖 3.5 所示，首先將連續影像經過前處理得到新生兒整體輪廓前景，接著系統計算取得新生兒肢體部位特徵，並與前一個 Frame 相互比較與對應，最後將結果以肢體動作示意圖的方式輸出並更新紀錄新生兒肢體部位特徵值。連續影像輸入. 新生兒肢體部位特徵擷取. 肢體部位對應. Motion Map輸出. 圖 3.5、新生兒肢體動作示意圖比對流程圖。 3.2.1 新生兒肢體部位特徵擷取運作新生兒肢體部位特徵擷取時，會分為兩個部分，第一部分是系統的初始化，另一個是系統完成初始化後的執行部分。系統初始化中，由於新生兒四肢的肌肉尚未發展完全，故新生兒肢體在運動的時候是無法長時間維持某一種姿勢，例如雙手緊握或四肢與頭部的互動，所以對於新生兒協助，由於照顧者不太可能長時間的抱著新生兒所以在正常的情況下，照顧者必定會將新生兒放置於嬰兒床或是其他平坦的地方且臉部朝上，讓新生兒休息或自行活動，因此系統初始化為新生兒臉部朝上和大字型姿勢。. 圖 3.6、大字型肢體動作姿勢。 3-5.

(26) 連續影像輸入. 新生兒整體輪廓擷取. 重心計算. 膚色擷取. 大字型肢體部位定位. 初始化是否成功 ?. no. yes 五大部位特徵值輸出. 圖 3.7、新生兒頭部與肢體部位特徵輸出流程圖。系統大字型初始化的流程圖如圖 3.6 所示，首先將連續影像輸入並取得新生兒整體輪廓前景，計算出新生兒整體的重心座標值 g (x, y ) ，同時透過 HSI 色域取得膚色的區塊，並計算各區塊的重心座標值 Cg n (x, y ) ，最後將新生兒身體重心與各膚色區塊中心記錄與標記如圖 3.8 (A)所示。標記完成後執行大字型肢體部位的定位，新生兒在照顧者的照料之下，影像上面新生兒的身體位置必為頭上腳下且肢體部位不會有遮蔽或是超出影像範圍的現象發生。根據人體構造可以得知，當新生兒呈現大字型的姿勢時，頭部區塊的位置一定高於身體四肢的區塊，因此系統可透重心將新生兒身體分為上下兩部分如圖 3.8 (B)所示，接著計算位於上半部分的區塊座標位置重心與新生兒身體重心的垂直距離，系統將距離最遠的膚色區塊座標視為新生兒的頭部區塊，並記錄頭部區塊的重心特徵值與面積特徵值。 3-6.

(27) 圖 3.8、大字型肢體動作姿勢定位。(A) 標記新生兒身體、頭部和四肢部位的重心；(B) 根據距離定位新生兒頭部位置；(C) 利用身體重心點劃分出新生兒的四肢部位所在區域；(D) 大字型肢體動作姿勢定位完成。取得新生兒頭部後，系統忽略頭部膚色區塊並利用新生兒身體重心將身體劃分為四個區域如圖 3.8 (C)所示，將各膚色區塊重心與身體重心和頭部重心做比較，若有唯一膚色區塊的重心位置落在頭部的右方與身體重心的上方，系統將判定此膚色區塊為新生兒的右手部位，同樣地系統透過此方式可以找出唯一的左手膚色區塊、右腳膚色區塊和左腳膚色區塊，一旦某個身體部分區塊無法取得或是取得兩個以上，系統視此次大字型肢體部位定位初始化視為失敗，並重新執行初始化，直到初始化成功的標記定位出大字型姿勢如圖 3.8 (D)所示，系統將會記錄並輸出新生兒頭部與四肢部位的重心與面積的特徵值。完成第一部分大字型肢體定位初始化後，系統就會開始運作新生兒肢體部位特徵擷取的第二部分，第一部分與第二部分的差別在於前者系統已 3-7.

(28) 連續影像輸入. 新生兒整體輪廓擷取. 膚色擷取. 各區塊重心計算. 肢體部位確定. yes. 是否確認成功 ?. 五大部位特徵值輸出. no. 各區塊特徵值輸出. 圖 3.9、新生兒身體特徵擷取與輸出流程圖。經完成大字型姿勢的初始化，而後者必須等待前者完成後才能執行，其中後者在執行肢體部位確認時，出現屬於大字型姿勢的狀態時，系統會將此現象等同於前者初始化完成，流程如圖 3.9 所示。在順利取出新生兒整體輪廓前景後，系統將進行膚色區塊擷取並計算各膚色區塊的重心座標位置，此時系統透過肢體部位確定來比對是否與大字型姿勢特徵相似，若結果為肯定則系統立即將新生兒頭部與四肢部位的重心與面積的特徵值更新並記錄在資料庫中；判定時，若膚色區塊與大字型姿態不符的時候，例如膚色區塊少於或多於五塊等，系統將會把各膚色區塊的重心與面積記錄起來並輸出。 3.2.2 肢體部位對應在新生兒肢體部位特徵擷取中，若判定為非大字型姿態時，系統將會把各膚色區塊的特徵值取來做比對，追蹤各膚色區塊位置變化、消失、或 3-8.

(29) 單區塊特徵值輸入時間t-1秒的各部位特徵. 尋找最近距離特徵部位. 特徵面積位置檢測. 區塊面積位置是否與t-1時間有重疊？. no. yes 距離差值< α ?. no. yes yes. 面積差值< β ?. no. 保留t-1時間特徵值. 部位特徵值更新. Motion Map輸出. 圖 3.10、新生兒肢體部位的追蹤流程圖。是與別的膚色區塊合成一體，特徵追蹤與比對如圖 3.10 所示。系統取得 t-1 時間五個部位重心點、面積範圍與面積值的特徵，並將五個部位逐一處理。首先將 t-1 時間的部位區塊與 t 時間輸入的各膚色區塊執行重心點距離的計算，排序後可依序取得 t 時間下距離較小的膚色區塊，此時系統將從距離最小的膚色區塊開始比對，並判定此膚色區塊是否為 t-1 時間身體部位位移後的區塊部位，若結果為否定，系統將比對距離次小的膚色區塊，依此類推。比對追蹤分為兩個步驟，依序為： 3-9.

(30) step1: t-1 與 t 時間膚色面積範圍位置檢測 step2: t-1 與 t 時間膚色面積與重心距離計算由於新生兒的肢體動作必為連續，所以新生兒的肢體膚色區塊會隨著的時間的變化在影像上位移，且不可能在間隔極小的時間內位移過大，一旦位移過大則表示此肢體部位遭受遮蔽，除此之外光線的變化也會造成系統無法順利偵測膚色的部位，因此系統會根據部位消失的時間長度來判定結果。執行步驟 step1，t-1 與 t 時間膚色面積範圍位置檢測時，系統可透過時間 t-1 的肢體膚色區塊來追蹤時間 t 的肢體膚色部位，如圖 3.11 所示，黃色區塊表示時間 t-1 的膚色區塊，藍色區塊表示時間 t 的膚色區塊，綠色區塊則表示時間 t-1 與 t 的膚色區塊重疊部分。面積範圍追蹤檢測有三種狀況，第一種狀況如圖 3.11 (A)所示，例如新生兒身體某個部位作輕微的移動，稱此為一對一重疊(one to one)；第二種狀況為一對多重疊(one to many)，如圖 3.11 (B)所示，時間 t-1 時的膚色區塊與時間 t 時的多數膚色區塊重疊，當新生兒肢體部位與其他部位相接觸時較容易發生此現象，第三種狀況如圖 3.11 (C)所示，時間 t-1 時的膚色區塊並沒有與時間 t 時的任何膚色區接觸，同時系統亦可得知時間 t-1 膚色區塊在時間 t 時為消失的狀態。系統透過面積範圍位置的檢測，可得知時間 t-1 與時間 t 的膚色區塊的重疊狀況，但是卻無法得知時間 t-1 時的膚色區塊，在時間 t 時是否與其他. 圖 3.11、膚色部位面積重疊狀況示意圖。 3-10.

(31) 圖 3.12、重疊部位重心距離與面積變化示意圖。部位的膚色區塊接觸，因此系統會透過步驟 step2，計算時間 t-1 與時間 t 面積範圍有相互重疊區塊重心的距離以及個別的面積值。當 t-1 與 t 時間膚色重疊情況為一對一時，系統將會計算時間 t-1 區塊重心與時間 t 區塊重心的距離，一旦距離大於新生兒肢體部位平均位移的值，且面積差大於設定的面積變化浮動量，系統將認定時間 t-1 的膚色區塊在時間 t 時與其他部位結合，並記錄時間 t 時的膚色區塊重心座標值，同時若時間 t-1 其他區塊部位追蹤的結果重心座標相同時，系統就會判定此兩塊膚色區塊時間 t 時互相接觸，並合為一塊較大的區塊部位如圖 3.12 (A)所示，時間 t-1 時的膚色區塊 P1 與 P2 在時間 t 時同時與膚色區塊 N1 。若重疊情況如圖 3.12 (B)所是為一對多的時候，系統將計算在時間 t-1 時的膚色區塊 P1 與時間 t 時的區塊 N1 與 N 2 重心的距離 d1 與 d 2，取得最短距離區塊時 N1 ，並判定重心距離變化是否小於新生兒肢體部位平均位移的值，若結果為肯定則表示時間 t-1 時的膚色區塊 P1 在時間 t 時位移至區塊 N1 的位置。若為否定則表示時間 t 時的膚色區塊有結合其他區塊的現象。. 3-11.

(32) 圖 3.13、新生兒肢體動作示意圖。經過膚色區塊面積範圍的檢測、重心距離和面積差，系統可得知新生兒頭部與四肢共五個部位在時間 t-1 與 t 時的變化，並使用 posture map 來呈現目前新生兒肢體動作姿勢。如圖 3.13 (A)所示，影像中的新生兒將雙腳舉起並與雙手接觸，經過前景處理的結果如圖 3.13 (B)所示，接著追蹤新生兒頭部和四肢的變化，最後順利取得動作姿勢示意圖如圖 3.13 (C)所示。. 3.3 新生兒頭部位置追蹤除了利用Posture map來分析新生兒的動作外，系統並透過新生兒輪廓變化特徵輔助分析。因為新生兒身體在蠕動或是翻轉時，會造成新生兒的身體位置移動，只有根據Posture map變化是無法分析新生兒的行為動作是. 圖3.14、新生兒輪廓擷取示意圖。(A)新生兒影像；(B)新生兒整體前景擷取畫面；(C)新生兒整體輪廓擷取畫面。 3-12.

(33) 否產生移動，因此系統加入了新生兒輪廓變化定位新生兒的頭部位置，並隨著時間更新記錄與追蹤。如圖3.14所示，系統取得二值化新生兒整體前景影像如圖3.14 (B)，透過索貝爾濾波器(Sobel filter)可將新生兒的整體輪廓邊界(edge)擷取出來，如圖3.14 (C)所示。如圖3.15 (A)所示，系統計算新生兒整體輪廓重心與輪廓邊界的直線距離值，若直線上同時存在兩點以上的邊緣像點時，系統以距離最近的邊緣像點為主，距離計算公式如公式(6)所示： Dist (σ ) =. Epσ (x, y ) − Centroid( x,y ). (6). 如圖3.15 (B)所示，系統將整張新生兒影像以中心點為圓軸，水平方向往右至底為平面逆時針旋轉的起點，旋轉角度 0° 至 360° ，此外系統將 360° 分為 80個區間，因此 1 ≤ σ ≤ 80 ；每區間包含數個輪廓邊緣像點，距離新生兒重心點最短的像點與重心點的距離，則代表此區間與重心點的距離值。由於新生兒頭部動作的範圍與四肢部位相較之下，伸展度低且常保持於平躺狀態，根據新生兒的整體動作變化輪廓圖，如圖3.16 所示，系統計算出重心點與輪廓邊緣的距離值，產生新生兒輪廓變化的統計圖，如圖3.17 所示。連續影像中Frame 400時區域最大值(local maxima)位於第18個區間，. 圖3.15、新生兒重心與輪廓距離統計示意圖： (A)距離定義示意圖；(B)以逆時針方向計算距離。. 3-13.

(34) 圖3.16、新生兒頭部運動方向檢視圖。 Frame 405時落在第17個區間，Frame410時區域最大值座落在第16個區間，因此系統可透過區域距離最大值與角度變化量，得知新生兒的頭部位置與新生兒整體重心的相對位置關係。根據統計圖取得新生兒頭部位置與方向後，系統將鎖定頭部位置的移動變化，並記錄頭部位置在影像上的相對位置。因此在分析新生兒的動作時，須透過Gesture map與輪廓變化統計來輔助，前者可得知新生兒肢體部位的組合狀況，後者則可以明確鎖定新生兒頭部位置。 80 60 40 20 0 1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 67 70 73 76 79 Frame 400. Frame 405. Frame 410. 圖3.17、新生兒整體輪廓變化統計圖。. 3-14.

(35) 第四章新生兒動作分析 4.1 分析系統目的與流程新生兒會發生的肢體動作相當繁多，主要可歸納成安全與危險兩大類。新生兒在床上揮動雙手、擺動雙腳或轉頭等動作，只要不造成新生兒身體受傷或生命遭受威脅等都列為安全的動作，若新生兒的動作使得身體移動至邊緣等，例如翻身或蠕動動作都是可能發生意外事件，一旦偵測到意外的事件發生系統會立即發出警告。新生兒的動作是由一連串的動作所組成，在 3.3 節中曾介紹到系統是利用新生兒肢體動作示意圖(posture map)來表示新生兒的肢體動作，若是把每一個肢體動作示意圖當成一個節點(node)，可以藉由肢體動作示意圖的先後順序建構出一個新生兒動作關係圖(behavior graph)，此動作關係圖記錄著新生兒所有發生過的肢體動作關係性，並預測判斷此動作是否有機會造成危險事件的發生。由於新生兒的動作是會隨著年紀的增長而改變，大部分的嬰兒在一個月至三個月大的時候只會擺動自己的雙手與雙腳，頭部肌肉較沒有力氣轉動或抬起；四個月大的新生兒肢體部位的運動更為旺盛，除了雙手與雙腳的動作，新生兒的頭部也開始會左右轉動與輕微的抬起；隨著肌肉與骨骼的發展，五個月至六個月大的新生兒開始出現身體的運動，像是側身、翻身和蠕動，這些動作將可能帶來新生兒的意外發生，因此照顧者必須更加的注意與照顧。接著俗話說「七坐八爬九站十走」，也就是說七月大的新生兒會開始坐起，八個月大則開始爬行，九個月與十個月分別是會學習站立與走路。因此隨著新生兒年紀的增長，資料庫內新生兒的動作關係圖(behavior 4-1.

(36) posture map 輸入. 新生兒動作行為資料庫. 行為關係圖比對. 是否曾經出現此動作行為？. 資料庫學習. no. yes 危險程度機率值計算檢測. no. 是否發生危險？ yes 警告. 圖 4.1、分析系統流程圖。 graph)也會跟著變動。本研究分析系統的流程圖如圖 4.1 所示，系統在執行分析比對時會先建立好新生兒動作關係圖(behavior graph)的資料庫，資料庫包含屬於新生兒在這個年紀會發生的動作與危險的動作等。系統讀取本研究第三章產生比對出的新生兒肢體動作示意圖(posture map)後，會將此肢體動作示意圖與之前產生出來的肢體動作示意圖建構出一個動作關係圖。接著系統將進行動作關係圖的發生機率值統計，將目前形成的新生兒動作關係圖與資料庫內已建構好的動作關係圖進行機率值統計。由於資料庫內儲存的動作關係圖，主要是新生兒成長至目前所會發生的動作，因此系統在執行肢體動作示意圖比對時，若目前的肢體動作示意圖不存在資料庫則會立刻發出訊息告知照顧者，因為此動作可能是新生兒因年齡增長而發生新的肢體動作或是此肢體動作可能造成意外的發生。倘若新生兒的肢體動作已存在資料庫內，此時系統將目前的動作關係圖與資料庫內的比對，比對出一個相似的動作關係圖，取得發生機率值並 4-2.

(37) 判定是否有機會發生危險的動作，若是發生機率值大於臨界值就會警告照顧者，反之系統則繼續讀取下一個時間點的肢體動作示意圖繼續運作。本系統分析的目的，主能分為兩種，第一種是新生兒的動作分析，第二種是新生兒的成長發展狀況檢測。前者新生兒的動作分析是本系統主要的目的，主要是透過比對新生兒的肢體動作示意圖與資料庫內的動作關係圖，最後根據比對的結果判斷新生兒是否會發生危險的動作；而後者是新生兒的成長發展狀況檢測，主要是將某新生兒的成長過程，透過系統建立完整的資料庫，再將此資料庫套用在另一個新生兒的系統上，如此一來可以透過資料庫分析的結果判定此新生兒是否發展過動或遲緩。. 4.2 系統資料庫新生兒隨著年齡的增長，在每一個階段皆有不同的肢體動作表現，因此資料庫內的動作關係圖也會跟著變化。新生兒受到照顧者的照顧以及身體的本體反射反應，成長過程所表現的動作幾乎都是安全的，因此資料庫內所儲存的肢體動作示意圖與動作關係圖是以安全的動作為主。由於新生兒在每一個階段有不同的肢體動作表現，甚至危險動作也會因為不同的成長階段賦予不同的危險程度，因此資料庫內的動作關係圖會隨著新增的肢體動作示意圖擴大或是移除機率極小的肢體動作示意圖，另外也會因為危險事件的發生狀況對資料庫內的動作關係圖進行變更。動作關係圖的每一個節點(node)是由新生兒不同的肢體動作示意圖所構成，在 2.3 節提到新生兒的肢體動作示意圖共有 203 種，屏除不太可能發生的肢體動作示意圖及有具有相同意義的肢體動作示意圖，如圖 4.2 所示，取得一張新生兒膚色區塊的擷取結果，經過肢體部位的追蹤與比對可得知新生兒的動作姿態可以透過圖 4.2 (A)或(B)來表示，因為針對示意圖(A) 與(B)來說，皆分為上下兩塊 components，唯一差別在於上面區塊組合而成的 component 大小；由於新生兒肢體動作變化多端，當新生兒雙手同時靠 4-3.

(38) 圖 4.2、相同意義的肢體動作示意圖。. 圖 4.3、資料庫內 35 種新生兒肢體動作示意圖。近頭部時會導致膚色區塊相互重疊，另外當新生兒的右手遭受遮蓋或是光線影響導致消失時，此時所形成的膚色區塊圖是相似的，因此在資料庫中，圖 4.2 (A)與(B)視為同類型的示意圖。經由上述可得知資料庫內用來 4-4.

(39) 表示新生兒肢體動作的示意圖，整理歸納後可分為 35 種如圖 4.3 所示，並設置編號。資料庫是由肢體動作示意圖與示意圖間發生的機率所組成，其中新生兒的肢體動作示意圖為節點(node)，而節點與節點的發生機率值為連結 (link)；如圖 4.4 所示為新生兒動作的一個實例，節點代表新生兒肢體動作姿勢如上述所示，節點與節點之間的連結值表示節點下一個狀態(state)發生的機率。由此新生兒的動作關係圖，得知圖中示意圖(A)為節點 31 是大字型的姿態，而示意圖(B)為節點 3 是雙手接觸頭部的姿態。節點 31 時，轉移 (translate)到下一個的狀態本身節點 31 的機率為 0.875，轉移到節點 3 的機率為 0.125；同理可知，節點 3 的狀態會轉移到本身節點 3 和節點 31，而發生機率前者為 0.833 後者為 0.167。上述可得知，新生兒姿態為大字型或是雙手靠近頭部區域的時候，較常持續保持一樣的動作姿勢。透過連結上的數值可得知節點轉移至下個節點的發生機率，因此系統可計算新生兒連續時間動作關係圖的發生機率，隨著時間的增加，資料庫內新生兒動作關係圖也會變動，例如新增節點或是節點轉移的機率值變化等。每一個節點對於下一個狀態所產生的機率值總和為 1，如圖 4.5 所示，節點 28 的下一個狀態為節點 28、節點 31、節點 30、節點 24 和節點 16， 75. 0. 83 3. 8 0.. 31. 0.125 0.167. 3. (B). (A). 圖 4.4、動作關係圖元件介紹。 4-5.

(40) 0.42. 0.2 5. 0.04 0.03. 0.42 0.03. 0.89. 0.0 4. 16. 28. 0.03 0.04. 24. 0 0.4.16. 0.04 0.1. 34. 0.01 0.05. 0.25. 0.84. 0.0 5. 0.96. 30. 0.95. 31. 圖 4.5、新生兒動作關係圖。發生機率分別為 0.89、0.01、0.03、0.03 和 0.04，總和為 1。節點與節點之間的連結發生機率如公式(7)所示： LPp,c =. Ψ p,c n. ∑Ψ m =1. p,m. (7) +ε. 其中Ψ p,c 表示從節點 p 至節點 c 的發生次數(times)， ε 為一常數避免分母值為零， LPp,c 則表示節點 p 至下一個狀態的節點 m ( m = 1 to n )存在的時候，出發至節點 c 的發生機率。資料庫新生兒關係圖中節點與節點之間的連結發生機率，除了在資料庫新增節點時建立，當新生兒重複相同的肢體動作時，此肢體動作示意圖本身的發生機率也會隨之增加改變，另外節點與節點之間的連結發生機率會隨著時間提升或降低，當新生兒時常出現一樣的動作姿態時，此節點的發生機率就會逐漸遞增，同理可之，當節點出現次數停滯的時候，受到鄰居節點的機率增加影響，本身節點的發生機率即會降低，公式如(8)所示：. 4-6.

(41) LPp,m. ⎧ Ψ p,m + 1 if m = c , ⎪ n ⎪1 + ε + ∑Ψ p,q q =1 ⎪ =⎨ Ψ p,m ⎪ , if m ≠ c n ⎪ ⎪ (−1) + ε + ∑Ψ p,q q =1 ⎩. (8). 其中 LPp,m 表示父節點 p 與全部子節點 m ( m = 1 to n )的個別發生機率。當節點 c 發生次數增加時會造成節點與節點之間的連結機率提升，其餘的鄰居節點連結的發生機率則會降低。由於新生兒的肢體動作會隨著年齡的增加而改變，因此更新資料庫的同時，若節點與節點之間的連結發生機率低於門檻值，系統則將此節點與節點之間的連結刪除，並重新計算鄰近節點與節點之間的連結機率值。上段描述說明了資料庫中節點與節點的發生機率變化，在此先舉例說明，目前資料庫內的新生兒動作關係圖如圖 4.5 所示，系統在運作時會將動作關係圖轉換成表格的形式如表 4.1 所示，橫向節點表示為縱向節點的下一個狀態，表格內的數值為節點與節點之間的節點發生機率。新生兒的動作如圖 4.6 所示，時間 t 至時間 t + 4 肢體動作的順序分別是節點 31、節點 28、節點 31、節點 24 和節點 32。 Node 16. Node 24. Node 28. Node 30. Node 31. Node 34. Node 16. 0.42. 0.42. Non. Non. Non. 0.16. Node 24. 0.03. 0.84. 0.04. Non. 0.05. 0.04. Node 28. 0.04. 0.03. 0.89. 0.03. 0.01. Non. Node 30. Non. Non. 0.04. 0.96. Non. Non. Node 31. Non. Non. 0.05. Non. 0.95. Non. Node 34. 0.4. 0.1. Non. 0.25. Non. 0.25. 表 4.1 資料庫動作關係圖轉換. 4-7.

(42) 時間為 t 的時候，新生兒呈現節點 31 的肢體動作示意圖，此時系統將會比對資料庫內的新生兒動作關係圖的節點，檢測時間 t 的肢體動作示意圖是否存在資料庫，當結果為存在的時，系統將此節點視為新生兒在這個時間階段的起始點如圖 4.7 所示，且保留資料庫內動作關係圖的發生機率關係。如圖 4.8 所示時間為 t + 1 時，新生兒的肢體動作呈現雙手與雙腳接觸頭部區域如節點 28 所示，系統將會比對資料庫內節點 31 的所有子節點，比對結果節點 28 存在，此時系統將會透過機率的調配重新計算節點與節點的發生機率，原本節點 31 至節點 28 的發生機率值約為 0.05 將更新約為 0.06。依此類推，時間 t + 2 時新生兒的肢體動作又回到了節點 31 的狀態，節點的發生機率也從 0.01 轉變至 0.02。如圖 4.6 所示當時間為 t + 3 時，新生兒的肢體動作雖然存在於資料庫內，但是依照系統比對的原則，檢查時間 t + 2 父節點包含的所有子節點，如圖 4.8 所示，父節點 31 所包含的子節點只有節點 31 與節點 28，並沒有. .. 31. 28. 31. 24. 32. t. t+1. t+2. t+3. t+4. 圖 4.6、新生兒的動作關係圖。 4-8.

(43) 0.2 5. 0.42. 0.42 0.03. 28. 0.03 0.04. 24. 6 0.10.4. 0.04 0.03 0.89. 0.0 4. 16. 0.04 0.1. 34. 0.01 0.05. 0.25. 0.84. 0.0 5. 0.96. 30. 0.95. 31. 圖 4.7、時間 t 資料庫新生兒動作關係圖。. 0.2 5. 0.42. 0.42 0.03. 28. 0.03 0.04. 24. 0.02 0.06. 0.84. 6 0.10.4. 0.04 0.03 0.88. 0.0 4. 16. 0.0 5. 0.96. 30. 0.04 0.1. 34. 0.25. 0.94. 31. 圖 4.8、時間 t + 1 與時間 t + 2 節點存在資料庫內的新生兒動作關係圖。包含節點 24，因此系統必須建立節點 31 與節點 24 的連結，並透過公式計算節點與節點之間的連結發生機率。若新生兒的肢體動作示意圖存在資料庫內，則表示新生兒曾經出現此肢體動作，由於新生兒的動作會隨著時間改變，因此節點間連結的新增與刪除是必要的，一旦資料庫內不存在當下新生兒的肢體動作示意圖節 4-9.

(44) 0.2 5 16. 0.42 0.03. 28. 0.03 0.04. 24. 6 0.10.4. 0.04 0.03 0.88. 0.0 4. 0.42. 0.96. 30. 0.04 0.1. 34. 0.02 0.06. 0.25. 0.84. 5 0.0 .01 0. 0.93. 31. 圖 4.8、時間 t + 3 節點 31 與 24 連結不存的新生兒動作關係圖。點時，則表示新生兒產生新的肢體動作，而新的肢體動作可能是因為新生兒的成長而產生或危險動作，此時系統必須作出警告。根據例子在時間 t + 4 時，新生兒除了雙腳接觸外左手也碰觸到雙腳，此時所對應的肢體動作示意圖並不存在資料庫內，如圖 4.10 所示，警告的同時系統將建立節點 32 並計算發生的機率為 1，並根據節點發生的原因分類節點屬性。. 0.2 5 16. 0.42 0.03. 28. 0.03 0.04. 24. 0.02 0.06. 0 0.0 .05 1. 0.04 0.03 0.88. 0.0 4. 0.42. 0.96. 30. 0.93. 31. 0 0.4.16. 0.04 0.1. 0.84. 1. 34. 0.25. 32. 圖 4.10、時間 t + 4 節點 32 不存在資料庫內的新生兒動作關係圖。 4-10.

(45) 節點的屬性主要分為三類，第一類為新增的節點、第二類為危險的節點和第三類為異常的節點。第一類新增的節點可以透過上述的例子了解到資料庫新增新生兒的肢體動作過程，由於新增的肢體動作系統無法判定是否為危險動作，因此將統一發出警告，預防不必要的危險事件發生；資料庫除了存在新生兒會發生的肢體動作外，也記載了曾經發生過危險的動作關係圖。第二類危險的節點在章節 3.3 中說明過，系統透過新生兒的肢體動作示意圖是無法確實的判定是否有危險動作產生的跡象，因此必須透過新生兒頭部位置的追蹤來輔助幫忙，除此之外當新生兒的肢體部位遭受遮蓋時，系統會鎖定節點並記錄發生時間，若持續時間超過系統設定的門檻，系統將此現象視為危險狀況並發出警告通知；最後一類為節點的異常狀況，例如系統沒有偵測到新生兒或是系統出錯，使得肢體動作示意圖無法比對成功。最後根據系統的分析，除了可以判定新生兒是否有立即的意外危險發生，也可以透過資料庫中的動作關係圖的變化得知新生兒是否有遲緩與過動的跡象。. 4-11.

(46) 第五章實驗結果本論文在第三章介紹了如何透過新生兒肢體動作示意圖(posture map) 來表示新生兒的動作姿勢，並隨著時間的變化建立新生兒的動作關係圖 (behavior graph)，也在第四章說明如何將新生兒動作示意圖與資料庫中的動作關係圖比較，最後系統視分析的結果適時發出警告並更新資料庫內的行為動作關係圖。系統使用 Borland C++ Builder 編譯器，並在架設 Windows 的 PC 上處理連續影像。輸入的影像為利用架在嬰兒床上的數位攝影機 Panasonic PV-GS200 所攝得的彩色影像，影像大小為 640*480(像素)，不過為了節省處理時間及處理器之工作量，系統會先將影像縮減為 176*176(像素)後才開始做後續的處理。本研究實驗主要分為兩部分，第一部分是檢測肢體動作示意圖來表示新生兒的動作姿態的正確性，第二部分則是實驗新生兒動作關係圖分析與動作姿態之間的轉移機率的演算過程。. 5-1.

(47) 實例ㄧ：本例子的實驗對象為兩個月大的新生兒，圖 5.1 (a)-(j)所示為新生兒影片中擷取的影像，影片長度約為一分鐘，每一秒有 30 個 frames，圖 5.2 (a)-(j) 為圖 5.1 (a)-(j)新生兒膚色的擷取結果，最後系統根據新生兒膚色區塊變化的結果比對肢體動作示意圖，對照的肢體動作示意圖如圖 5.3 所示，根據. (a). (b). (c). (d). (f). (g). (h). (i). (e). (j). 圖 5.1、實例一影片中擷取出的部分影像。. (a). (b). (c). (d). (e). (f). (g). (h). (i). (j). 圖 5.2，實例一影片膚色擷取的部分影像。. (a). (b). (c). (f). (g). (h). (d). (i). 圖 5.3、實例一新生兒肢體動作示意圖。 5-2. (e). (j).

(48) 觀察可得知新生兒在一個月至兩個月大的時候動作較為簡單且變化性較低，在圖 5.1 中除了(c)與(e)外，其他的新生兒肢體動作都呈現大字型的姿態，而(c)與(e)是呈現雙腳靠攏的姿態。資料庫內原先建立好的動作關係圖如圖 5.3 (a)所示，節點 31 大字型的肢體動作改變至節點 28 雙腳靠攏的情況轉移率為 0.057，以此類推節點 28 改變至節點 31 轉移率為 0.122。資料庫中的動作關係圖隨著圖 5.2 新生兒的肢體動作示意圖變化順序，改變節點與節點之間的轉移機率，最後資料庫內的動作關係圖如圖 5.3 (b)所示，根據關係圖的變化可得知此實驗的新生兒肢體動作與資料庫內的肢體動作是一樣的，表示在新生兒在這個階段是沒有新的肢體動作表現。 76 9. 31. 0.133 0.231. 28. 31. 0.208 0.239. 28. 92. (a). 0. 76 1. 7 0.. 67. 0.. 8 0.. (b). 圖 5.4、資料庫的動作關係圖。將圖 5.3 (b)節點與節點之間的轉移機率圖轉換如表 5.1 所示，透過機率值的變化可以得知，新生兒從大字型姿態轉換至雙腳靠攏的情況較為之前容易發生，由此可驗證新生兒在一個月大與兩個月大的時候，肢體動作的變化較為單純。表 5.1 圖 5.3 節點與節點之間的轉移機率 Node 28. Node 31. Node 28. 0.761. 0.239. Node 31. 0.208. 0.792. 5-3.

(49) 實例二：有別於實例一，實例二的新生兒年紀約為四個月大，肢體動作的變化較前面三個月來的豐富，例如圖 5.4 (f)-(j)所示，新生兒可以將雙腳舉起並與雙手或是頭部碰觸，另外如圖 5.4 (l)與(m)所示新生兒的腰部開始可以使力作勢要翻身。本實例影片長度約為一分鐘，畫面擷取間隔為 10 個 frame，擷取的片. (a). (f). (k). (b). (c). (d). (g). (h). (i). (l). (m). (n). (e). (j). (o). 圖 5.5、實例二影片中擷取出的部分影像。. (a). (b). (c). (d). (e). (f). (g). (h). (i). (j). (k). (l). (m). (n). (o). 圖 5.6、實例二影片膚色擷取的部分影像。 5-4.

(50) (a). (b). (c). (d). (e). (f). (g). (h). (i). (j). (k). (l). (m). (n). (o). 圖 5.7、實例二新生兒肢體動作示意圖。段如圖 5.4 所示，而經系統前處理所擷取出來的膚色結果對照圖如圖 5.5 所示，最後透過肢體動作示意圖比對的演算法可以取得如圖 5.6 所示的對應圖。資料庫內已建立好的新生兒動作關係圖如 5.3 (b)所示，實例二影片前半段新生兒的肢體動作示意圖經過系統分析與資料庫更新，結果如圖. 0.75 0.11 1. 0.077. 33 3 . 0. 19. 0.063 0.25. 0. 0.0 045 77. 0.864. 0.2 5. 31. 8. 88 0.6. 33. 25. 圖 5.8、實例二部分新生兒動作關係圖。 5-5. 0.75. 0.091 0.333. 0.077 0.6 67. 14. 0.25 0.5. 24. 0.0 3 0.0 1 63. 0.75 0.25. 0.25. 23. 0.14 8 0.25. 0.6 92. 0.0 19. 18. 0.25. 0.063. 0.077. 28. 15. 0.5. 0.111 0.063. 0.833. 0.222 0.333. 31 0.0. 3. 33 0.3. 56 0.5.

(51) 表 5.2 圖 5.7 節點與節點之間的轉移機率 N03 N03 0.556. N08. N14. N15. N18. N19. N23. N24. N25. N28. N31. N33. 0. 0. 0.222. 0. 0.111. 0. 0. 0. 0.111. 0. 0. N08. 0. 0.25. 0. 0. 0.25. 0. 0. 0. 0. 0. 0. 0.5. N14. 0. 0.25. 0.5. 0. 0.25. 0. 0. 0. 0. 0. 0. 0. N15 0.333. 0. 0. 0.333. 0. 0.334. 0. 0. 0. 0. 0. 0. N18. 0. 0.75. 0. 0. 0.25. 0. 0. 0. 0. 0. 0. N19 0.063. 0. 0. 0. 0. 0. 0. 0.063. 0. N23 0.077. 0. 0. 0. 0. 0. 0. 0.077. 0. N24. 0. 0. 0. 0. 0. 0. 0. 0. 0. N25. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. N28. 0. 0. 0. 0. 0. 0. 0.034. 0. 0. 0.966. 0. 0. 0. 0. 0. 0. 0.031. 0. 0. 0. 0.25 0.688. 0.25. 0. 0. 0. 0. 0. 0. 0. 0. N31 0.031 N33. 0. 0.063 0.75 0.063. 0.077 0.692 0.077. 0.045 0.864 0.091 0.333 0.667. 0. 0. 0 0.75. 70 60. 距離. 50. 頭部位置. 警戒線. 40 30 20 10 圖 5.9、實例二新生兒頭部位置距離示意圖。. 5.7 所示，節點與節點之間的轉移機率對照表如表 5.2 所示，其中 N 為 node 之意，除了原先資料庫的節點 28 與 31，新增了節點 3、8、14、15、18、 19、23、24、25、33，節點對照請參閱圖 4.3，當節點不存在資料庫內的 5-6.