視覺式嬰兒身體活動量監測系統

全文

(1)國立臺灣師範大學資訊工程研究所碩士論文. 指導教授：方瓊瑤博士. 視覺式嬰兒身體活動量監測系統 A Vision-Based Infant Physical Activity Monitoring System. 研究生：羅巧珊撰中華民國一百零三年六月.

(2) 摘要過去近二十年，肥胖已被世界衛生組織列為一種慢性疾病，隨著兒童肥胖的比例逐漸上升，促進身體活動量成為肥胖管理重要的一環。基於預防勝於治療的道理，在嬰兒時期學習各種動作時就應同時培養健康的活動習慣，進而做好體重控制使身心皆能健康發展。準確的測量嬰兒活動量不僅有助於長期記錄嬰兒的活動狀況，還能從活動量的評估中了解到下列幾項影響身體健康的重要因素，如飲食與活動熱量消耗之間是否達到平衡、活動量是否足以達到健康的標準以及嬰兒個人的活動習慣是否優良。針對成人已有許多的身體活動量測量方法，如問卷調查、代理人填表、加速度感測器、心跳記錄器、計步器與雙標水標示法等等。上述問卷填寫之作法不適用於長期且對象為嬰兒之活動量紀錄，而常用來測量日常活動量的所有接觸式設備皆不適合佩戴在嬰兒身上，因接觸式設備的佩戴會造成嬰兒活動時的諸多干擾。有鑑於此，本研究提出了視覺式嬰兒身體活動量監測系統，將接觸式設備改為 PT IP camera，且提供的主要功能為監測嬰兒每個當下活動的代謝當量、估計其活動時間的熱量消耗與每個當下活動量的等級。本研究不僅著重於解決上述的問題達到活動量的監測功能，系統還引入了一般視覺式監視系統具備的基本功能。本研究所提出的視覺式嬰兒活動量監測系統主要是透過 tracking object initialization, infant tracking, PT IP camera control 以及 physical activity measurement 四個步驟來監測其活動量。首先，系統會利用 codebook background subtraction 演算法建立嬰兒的追蹤特徵，接著利用追蹤特徵在相鄰影格間搜尋嬰兒的所在位置。在嬰兒可能離開監控畫面時系統會控制鏡頭轉動，確保嬰兒長期存在監控畫面中。實驗時本研究架設一台 PT IP camera 於嬰兒的遊戲空間的至高處，拍攝其日常活動影像，活動影像包含嬰兒躺、坐、趴、爬行、學步以及身體各部位之運動，不同活動量等級之動作都在實驗結果中完整呈現。最後，系統從追蹤的影像上擷取多種嬰兒活動特徵，將特徵值經過整合與轉換得到嬰兒活動時每個當下的代謝當量值，此代謝當量值經由公式計算嬰兒活動的總消耗熱量，並評估當下的活動等級。 I.

(3) 本研究改善了過去接觸式設備的缺點，使用視覺的方式監測嬰兒之活動量，同時具備了追蹤與控制鏡頭的功能讓系統能監控的範圍更廣。另外，針對不同鏡頭狀態所使用的活動量特徵也不相同，多元的活動量特徵讓系統在測量活動量時能更加準確。本研究設計了同嬰兒在同月齡之不同動作的活動量分析、不同嬰兒相同動作的活動量分析、同嬰兒不同月齡之相同動作的活動量分析、嬰兒與成人互動之活動量分析以及長時間活動量分析共五個實驗。實驗結果證實本系統可實現室內追蹤且控制鏡頭的能力且提供可靠且正確的身體活動量測量結果。在未來，長期記錄嬰兒身體活動狀況並建立常模，可以幫助照護者與醫師快速判斷嬰兒身體與動作發展的情形，以便得到正確的診斷與治療。. 關鍵字：嬰兒監控系統、肥胖管理、身體活動量監測、遠距照護、能量消耗、視覺式室內監控系統、視覺追蹤、影像處理。. II.

(4) Abstract Over the past 20 years obesity has been considered to be a chronic disease. One useful way to avoid obesity is to manage and control individual physical activity, especially for the infants. Thus to developing reliable physical activity monitoring systems has been the issue of the study in recent year. To monitor physical activity accurately not only can record individual energy expenditure for obesity management, but also can figure out the significant factors affecting the personal health. The significant factors include the balance between energy intake and energy expenditure, the achievement of required physical activity to keep personal healthy, and the measurement of the quality of individual physical activities. Currently, various measurement methods have been developed to measure the individual physical activity. One kind of these methods is to make a report, including self-report, proxy-report, and diary-report. However, the method cannot monitor the infant physical activity accurately since they cannot make a report themselves. Moreover, some sensors and techniques are also developed to help to record or calculate. the. physical. activity,. including. heart. rate. monitor,. pedometers,. accelerometers and doubly labeled water. These sensors and techniques will make the infants very uncomfortable. Therefore, this study proposes a vision-based infant physical activity measurement system to estimate the infant metabolic equivalent, energy expenditure and activity levels. The proposed system not only measures the infant physical activity automatically, but also embeds some general functions of in-home monitoring systems. The input videos of the proposed system is obtained from one PT IP camera which is set on the ceiling. And the proposed system consists of four major stages: tracking object initialization, infant tracking, PT IP camera control, and physical activity measurement. First, a codebook background subtraction algorithm is applied to extract the infant from the input frames and to construct a tracking feature model. Once the infant has been extracted, the system then tracks the infant by using the tracking feature model. Moreover, the system also predicts infant behaviors and controls the PT IP camera movement to avoid the infant crawling or walking out of the monitoring scope. Finally, the infant physical activity is evaluated automatically. In this study, the infant physical activity is divided into four levels, each of which may III.

(5) correspond to some infant behaviors such as lying, sitting, standing, kicking, limbs movement, torso movement, crawling, walking. A series of experiments is designed to show the correctness and robustness of the proposed system. They are (1) the physical activity analysis of an infant doing different kinds of activities during a month; (2) the physical activity comparison between two infants doing the same kinds of activities; (3) the physical activity analysis of an infant doing the same kind of activities in different months; (4) the physical activity analysis of two infants which are interacting with adults; (5) the one-day physical activity analysis of two infants. The proposed system can help the construction of the norm of infant physical activity to help the doctors to diagnose the infant's health in the future.. Index terms─Infant monitoring, obesity management, physical activity monitoring, telehealth, energy expenditure, in-home monitoring, vision-based tracking, image processing.. IV.

(6) 誌謝在論文完成之際，回顧著與大家相處的點點滴滴，還真是讓人覺得捨不得離開。首先，此本論文得以完成，要感謝我的指導教授方瓊瑤老師，一次又一次不厭其煩的和我討論並給予諸多寶貴的意見。老師總在我迷失方向時給我正確的導航；在我沮喪時捎來幾句溫暖的話語，讓我重拾研究的熱情；此外，更讓我學著從獨立解決問題的過程中獲得許多成就感。接著要感謝陳世旺老師以及吳炳飛老師悉心審查此論文，在口試時給予指正與建議，使本論文得以更臻完善。另外，也謝謝實驗室的學長姊宗翰、智婷、俊麟、瑞宏、欣紘、瑋鴻、侑廷…，不管你們在世界的哪一個角落，總會在我需要你們的時候幫助我，一步又一步地陪著我走過汗水與淚水交織的研究過程。當然還要謝謝陪我一起在實驗室辛苦奮戰的學弟妹亦鈞、仲文、雯婷，謝謝你們在我煩悶時透過搞笑、聊八卦和網購來放鬆我的心情，你們的笑聲總能把我頭上的烏雲趕走，變成晴朗的太陽。當然還要謝謝 CVIU 的同學良謙，雖然人在國外，但總在我慌亂的時候陪我禱告、推薦我好聽的詩歌。也很感謝所有同屆的同學懿真、美琪、庭瑋、貞佑、祐生、鈺新、軒嘉、俊宇…(族繁不及備載)，謝謝你們時常與我討論不同的技術、聆聽我的抱怨、安撫我的情緒，甚至陪著我扛著重重的器材到處去拍攝嬰兒的實驗影片。更感謝幫助我完成這本論文的小嬰兒們綺軒、續恩、懷謙以及各位的爸爸媽媽，謝謝你們對我的信任，讓我能自由地拍攝嬰兒實驗影片，成全我做這份研究的夢想，你們的祝福與讚美是我能堅持到最後的動力。當然不能忘了系辦的良谷、香玲、姿婷、麗華姊和春美姊，在師大有你們的陪伴和支援讓我覺得既溫馨又有安全感。最後，感謝我的家人無限的包容和體諒，讓我可以將生活的重心都放在研究上。也謝謝我最愛的天父，一路上安排這麼多的良師益友在我身邊呵護著我成長，和你們一起寫下這兩年的故事，將是我生命中最美麗的回憶。謹以此論文獻給每一位支持、鼓勵、愛護我的人，獻上我最誠摯的謝意!. 羅巧珊謹致國立臺灣師範大學資訊工程研究所中華民國 103 年 6 月 V.

(7) 目錄摘要.................................................................................................................................. I Abstract ......................................................................................................................... III 誌謝................................................................................................................................ V 目錄............................................................................................................................... VI 圖目錄........................................................................................................................ VIII 表目錄..........................................................................................................................XII 第一章. 緒論......................................................................................................... 1. 第一節. 研究動機......................................................................................... 1. 第二節. 嬰兒動作發展與活動量之評估..................................................... 5. 第三節. 研究困難......................................................................................... 9. 第四節. 論文架構....................................................................................... 10. 第二章. 文獻探討............................................................................................... 11. 第一節. 活動量測量方法分析................................................................... 11. 第二節. 動作辨識技術之發展與應用....................................................... 15. 第三章. 嬰兒身體活動量監測系統................................................................... 22. 第一節. 系統目的....................................................................................... 22. 第二節. 研究環境與設備........................................................................... 22. 第三節. 系統流程....................................................................................... 25. 第四章. 室內環境之視覺追蹤........................................................................... 30. 第一節. 偵測追蹤目標區塊....................................................................... 30. 第二節. 基於動態三步搜尋法的視覺追蹤............................................... 42. 第三節. 動態攝影機自動控制................................................................... 52. 第四節. 追蹤結果....................................................................................... 60 VI.

(8) 第五章. 嬰兒身體活動量分析........................................................................... 62. 第一節. 嬰兒活動量特徵........................................................................... 62. 第一項. 影像前處理........................................................................... 64. 第二項. 活動量特徵值計算............................................................... 67. 第二節. 計算嬰兒活動總代謝當量........................................................... 76. 第三節. 評估活動量等級與總熱量消耗計算........................................... 79. 第六章. 實驗結果............................................................................................... 82. 第一節. 同嬰兒在同月齡之不同動作的活動量分析............................... 84. 第二節. 不同嬰兒相同動作的活動量分析............................................... 93. 第三節. 同嬰兒不同月齡之相同動作的活動量分析............................. 105. 第四節. 嬰兒與成人互動之活動量分析................................................. 120. 第五節. 長時間活動量分析..................................................................... 126. 第七章. 結論與未來工作................................................................................. 137. 第一節. 結論............................................................................................. 137. 第二節. 未來工作..................................................................................... 138. 參考文獻..................................................................................................................... 140 附錄 A PT IP Camera 規格 ..................................................................................... 144. VII.

(9) 圖目錄圖 1.1 World map of obesity-children ......................................................................... 1 圖 1.2. 男孩年齡別體重圖........................................................................................... 3. 圖 1.3. 女孩年齡別體重圖........................................................................................... 3. 圖 1.4. 全球造成死亡與疾病的因素排名圖............................................................... 4. 圖 1.5 0 到 6 個月嬰兒的動作發展............................................................................ 6 圖 1.6 6 到 12 個月嬰兒的動作發展.......................................................................... 7 圖 2.1. 儀器及電子監測設備..................................................................................... 14. 圖 2.2. 動作辨識主要流程......................................................................................... 15. 圖 2.3. 形狀特徵之特徵值擷取方法示意圖............................................................. 16. 圖 2.4 Action spotting 之流程圖 .............................................................................. 18 圖 3.1. 系統架設與實驗環境示意圖......................................................................... 22. 圖 3.2. 架設固定式攝影機實驗環境圖..................................................................... 23. 圖 3.3. 架設 PT IP camera 環境與設備圖 ................................................................. 24. 圖 3.4. 不同鏡位的拍攝畫面..................................................................................... 24. 圖 3.5. 視覺式嬰兒身體活動量監測系統總流程圖................................................. 25. 圖 4.1. 背景相減法結果圖......................................................................................... 31. 圖 4.2 Codebook 結構圖 ........................................................................................... 32 圖 4.3 Color distortion 之範例 .................................................................................. 33 圖 4.4 Codebook construction algorithm ................................................................... 34 圖 4.5. Background subtraction algorithm .................................................................. 36. 圖 4.6. 偵測嬰兒追蹤區塊......................................................................................... 37. 圖 4.7. 嬰兒區塊選擇過程......................................................................................... 38. 圖 4.8. 追蹤時移動物體偵測..................................................................................... 40 VIII.

(10) 圖 4.9 YCrCb 統計直方圖 ........................................................................................ 41 圖 4.10. 原始實驗影像與移動估測示意圖............................................................... 42. 圖 4.11. 區塊比對法示意圖 ....................................................................................... 43. 圖 4.12 3-step search 與 dynamic 3-step search 示意圖 ........................................... 45 圖 4.13. 移動物體偵測與追蹤重疊面積示意圖....................................................... 47. 圖 4.14. 影片 2013_9_12_24 嬰兒追蹤時 detection window 的形狀調整 .............. 48. 圖 4.15. 移動物體與追蹤結果相對距離示意圖....................................................... 49. 圖 4.16. 影片 2013_11_4_3 追蹤片段一 ................................................................... 50. 圖 4.17. 影片 2013_11_4_3 追蹤片段二 ................................................................... 51. 圖 4.18. 影片 2013_11_4_3 追蹤片段三 ................................................................... 51. 圖 4.19. 影片 2014_1_9_1 的追蹤結果圖................................................................. 52. 圖 4.20. 監控畫面中的安全範圍標示圖................................................................... 53. 圖 4.21. 嬰兒與鏡頭移動方向示意圖....................................................................... 53. 圖 4.22. 鏡頭移動示意圖........................................................................................... 55. 圖 4.23. 二階段嬰兒移動方向預測統計圖............................................................... 56. 圖 4.24. 鏡頭向上移動之連續影像範例................................................................... 58. 圖 4.25. 鏡頭向下移動之連續影像範例................................................................... 58. 圖 4.26. 鏡頭向右移動之連續影像範例................................................................... 59. 圖 4.27. 鏡頭向左移動之連續影像範例................................................................... 59. 圖 4.28. 統計正確率的判斷標準............................................................................... 60. 圖 5.1 The feature analysis of MET........................................................................... 63 圖 5.2. 追蹤與特徵擷取執行結果............................................................................. 65. 圖 5.3. 嬰兒質心位移結果圖..................................................................................... 68. 圖 5.4 Segmenting local regions of motion in the MHI ............................................ 69 圖 5.5. MHI 分割並標記的範例 ................................................................................ 70 IX.

(11) 圖 5.6. 產生 MHI 折線圖的範例 ............................................................................... 71. 圖 5.7. 嬰兒與鏡頭同時移動範例............................................................................. 73. 圖 5.8. 特徵 average value of angle difference 執行結果圖 ..................................... 74. 圖 5.9. 計算 motion 方向示意圖 ............................................................................... 75. 圖 5.10 Membership functions of each physical activity level .................................. 79 圖 5.11 監測嬰兒活動量的連續影像範例 ................................................................. 81 圖 6.1. 影片 2014_1_9_2 嬰兒靜坐時的活動影像範例........................................... 87. 圖 6.2. 影片 2014_1_24_10 嬰兒翻身時的活動影像範例....................................... 88. 圖 6.3. 影片 2014_1_9_4 嬰兒坐著玩玩具時的活動影像範例............................... 89. 圖 6.4. 影片 2014_1_24_8 嬰兒手扶椅子移動腳步時的活動影像範例................. 90. 圖 6.5. 影片 2014_1_24_5 嬰兒手扶桌子慢速行走時的活動影像範例................. 91. 圖 6.6. 影片 2014_1_9_2 嬰兒爬行時的活動影像範例........................................... 92. 圖 6.7. 影片 2013_11_4_1 嬰兒坐著遊戲時的活動影像範例 ................................. 95. 圖 6.8. 影片 2014_1_23_15 嬰兒坐著遊戲時的活動影像範例............................... 96. 圖 6.9. 影片 2013_11_4_1 嬰兒拱起且晃動身體時的活動影像範例 ..................... 97. 圖 6.10. 影片 2013_1_23_2 嬰兒拱起且晃動身體時的活動影像範例................... 98. 圖 6.11. 影片 2013_11_4_13 嬰兒練習站立時的活動影像範例 ........................... 101. 圖 6.12. 影片 2014_1_23_16 嬰兒練習站立時的活動影像範例........................... 102. 圖 6.13. 影片 2013_11_4_4 嬰兒爬行時的活動影像範例 ..................................... 103. 圖 6.14. 影片 2014_1_23_9 嬰兒爬行時的活動影像範例..................................... 104. 圖 6.15. 影片 2013_8_28_4 嬰兒爬行時的活動影像範例..................................... 108. 圖 6.16. 影片 2013_9_12_14 嬰兒爬行時的活動影像範例................................... 109. 圖 6.17. 影片 2013_10_11_9 嬰兒爬行時的活動影像範例 ................................... 110. 圖 6.18. 影片 2013_11_4_5 嬰兒爬行時的活動影像範例 ..................................... 111. 圖 6.19. 影片 2013_11_20_3 嬰兒爬行時的活動影像範例 ................................... 112 X.

(12) 圖 6.20. 影片 2014_1_9_1 嬰兒爬行時的活動影像範例....................................... 113. 圖 6.21. 影片 2014_1_24_7 嬰兒爬行時的活動影像範例..................................... 114. 圖 6.22. 影片 2013_9_12_12 嬰兒學步時的活動影像範例................................... 116. 圖 6.23. 影片 2013_11_20_4 嬰兒學步時的活動影像範例 ................................... 117. 圖 6.24. 影片 2014_1_9_5 嬰兒學步時的活動影像範例....................................... 118. 圖 6.25. 影片 2014_1_24_5 嬰兒學步時的活動影像範例..................................... 119. 圖 6.26. 影片 2014_1_24_9 嬰兒與成人互動時的活動影像範例......................... 122. 圖 6.27. 影片 2014_1_24_7 嬰兒與成人互動時的活動影像範例......................... 123. 圖 6.28. 影片 2014_1_23_15 嬰兒與成人互動時的活動影像範例....................... 124. 圖 6.29. 影片 2014_1_23_15 嬰兒與成人互動時的活動影像範例....................... 125. 圖 6.30. 成人與嬰兒互動的活動影像序列............................................................. 128. 圖 6.31. 綺軒整日活動影片選取的活動影像序列................................................. 129. 圖 6.32. 續恩整日活動影片選取的活動影像序列................................................. 130. 圖 6.33. 實驗對象之體重於女孩年齡別體重圖上的落點位置圖......................... 136. XI.

(13) 表目錄表 1.1. 台灣兒童與青少年肥胖定義........................................................................... 2. 表 1.2. 嬰兒動作發展................................................................................................... 5. 表 1.3 Children’s activity rating scale (CARS) ........................................................... 8 表 1.4. Infant’s activity rating scale (IARS) ................................................................. 8. 表 2.1 Table of activity, energy costs, and corresponding categorical values ........... 12 表 4.1 Codeword 個數比較表 .................................................................................. 35 表 4.2 Dynamic 3-Step Search 執行時間比較表...................................................... 46 表 4.3. 各主要方向角度範圍對照表......................................................................... 54. 表 4.4. 各子區域與其對應的候選移動方向............................................................. 57. 表 4.5. 視覺追蹤之準確率......................................................................................... 61. 表 5.1 Some value of features and the score on each assessment .............................. 77 表 5.2 Some value of sigmoid function g() .............................................................. 78 表 6.1. 電腦之硬體配備規格..................................................................................... 82. 表 6.2. 實驗影片拍攝行程......................................................................................... 83. 表 6.3. 綺軒七個月至十二個月爬行時活動量監測結果總表............................... 107. 表 6.4. 實驗對象基本資料與生活作息調查表....................................................... 127. 表 6.5. 綺軒活動影片與消耗熱量對照表............................................................... 131. 表 6.6. 續恩活動影片與消耗熱量對照表............................................................... 131. 表 6.7. 綺軒整日的總消耗熱量估算總表............................................................... 133. 表 6.8. 續恩整日的總消耗熱量估算總表............................................................... 133. 表 6.9. 嬰兒熱量參考攝取量................................................................................... 134. 表 6.10. 嬰兒整日攝取量紀錄................................................................................. 135. XII.

(14) 第一章. 緒論. 第一節研究動機西元 1996 年，世界衛生組織 (world health organization, WHO) 正式將肥胖列為慢性疾病。之後在 2005 年估算出全球約有 16 億成人屬於體重過重，且有超過 4 億人屬於肥胖。近年來兒童及青少年肥胖在世界各國都有增加的趨勢，如圖 1.1 所示，該地區顏色越深表示其兒童肥胖率越高，由圖中得知台灣屬於深色地區，可見台灣地區的兒童肥胖率相較於其他鄰近國家高。根據聯合國肥胖監測小組 (international obesity task force, IOTF) [1] 公布的資料顯示，我國肥胖盛行率是 59 個被監測國家中排名第 16，且 6-18 歲兒童及青少年的肥胖盛行率更高達 26.8%。各國對於肥胖的定義皆有不同，台灣兒童與青少年的肥胖定義如表 1.1 [張 07] 所示，測量的方法為計算身體質量指數 (body mass index, BMI)。表中體重過重之兒童，其 BMI 值大於等於 85%同年齡且同性別兒童；屬於肥胖之兒童，其 BMI 值則大於等於 95%同年齡且同性別兒童。此外，世界衛生組織更以跨國合作的方式，針對符合良好健康因素與環境的 0-5 歲兒童，分析其生長發育之過程並繪製男女生的生長標準曲線圖，分別如圖 1.2 與 1.3 所示。在該圖中，將兒童的足月齡或年齡，對應縱座標的體重值，就可以知道其體重在同年齡層兒童的百分位。. 圖 1.1. World map of obesity-children [2]。 1.

(15) 表 1.1 年齡 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18. 正常範圍 (BMI 介於) 15.2-17.7 14.8-17.7 14.4-17.7 14.0-17.7 13.9-17.9 14.7-18.6 15.0-19.3 15.2-19.7 15.4-20.3 15.8-21.0 16.4-21.5 17.0-22.2 17.6-22.7 18.2-23.1 18.6-23.4 19.0-23.6 19.2-23.7. 台灣兒童與青少年肥胖定義 [張 07]. 男生過重 (BMI≧) 17.7 17.7 17.7 17.9 18.6 19.3 19.3 19.7 20.3 21.0 21.5 22.2 22.7 23.1 23.4 23.6 23.7. 肥胖 (BMI≧) 19.0 19.1 19.3 19.4 19.7 21.2 22.0 22.5 22.9 23.5 24.2 24.8 25.2 25.5 25.6 25.6 25.6. 正常範圍 (BMI 介於) 14.9-17.3 14.5-17.2 14.2-17.1 13.9-17.1 13.6-17.2 14.4-18.0 14.6-18.8 14.9-19.3 15.2-20.1 15.8-20.9 16.4-21.6 17.0-22.2 17.6-22.7 18.0-22.7 18.2-22.7 18.3-22.7 18.3-22.7. 女生過重 (BMI≧) 17.3 17.2 17.1 17.1 17.2 18.0 18.8 19.3 20.1 20.9 21.6 22.2 22.7 22.7 22.7 22.7 22.7. 肥胖 (BMI≧) 18.3 18.5 18.6 18.9 19.1 20.3 21.0 21.6 22.3 23.1 23.9 24.6 25.1 25.3 25.3 25.3 25.3. 一般而言，兒童的體重落在第 3 及第 97 百分位二條線之間均屬於正常，否則就要考慮是否有體重過高或過低之情形。肥胖兒童可能會面臨到一些健康問題及相關疾病 [Xav02][Fie01]，祝年豐醫師在兒童肥胖症報告 [祝 04] 中提及，兒童吸收過多的營養，常會引起脂肪細胞形狀變大及數量增多，造成體重過重，也使得他們成年後繼續肥胖的機會增高。在兒童時期就肥胖的成年人，更容易引發不同程度的高血壓，且有罹患心血管疾病的危險。另外，兒童發育時期因骨骼尚未發育成熟軟骨組織較多，肥胖容易造成骨骼負荷過重，引致骨架異常。例如兒童骨骼脫位 (slipped capital epiphyses)，其中約有 6 成是肥胖的兒童；腸胃系統方面，肥胖的兒童因為膽固醇的膽道分泌增加，容易造成膽囊結石。且大約 1/4 的肥胖兒童，會有脂肪變性型肝炎，若情況更為嚴重者可能出現肝功能異常、肝硬化以及肝臟纖維化等現象；內分泌系統方面，在嬰兒期體重快速上升，若有胰島素抗性現象，則容易出現血脂異常、高血脂等疾病，罹患第二型糖尿病的機率也明顯提高；肺功能方面，體重超重的兒童，胸、腹部堆積脂肪較多，影響呼吸及心臟舒張，睡眠時血液中氧的飽和度不足。有 4 成的嚴重肥胖兒童出現換氣不足，甚至在睡覺時有呼吸終止的現象。肥 2.

(16) 圖 1.2. 男孩年齡別體重圖 [3]。. 圖 1.3. 女孩年齡別體重圖 [3]。. 胖對兒童的身心健康影響甚大，若引發重大慢性病，所花費之醫療成本也相當可觀。由此可見，兒童肥胖的問題已成為公共衛生的重要課題。本論文所指之兒童，根據生長發育階段的不同區分為三個時期，分別為出生後至 1 歲的嬰兒期、學齡前 1-6 歲的幼兒期與 6-12 歲學齡期。肥胖的預防勝於治療，學齡期的重度肥胖，導因於家長對嬰兒時期肥胖的置若罔聞，因此健康的生活型態應從嬰兒時期就開始建立。欲解決嬰兒肥胖之問題，應先探討導致嬰兒肥胖的因素。嬰兒肥胖的成因十分複雜，但大致歸因於遺傳與環境二個主要因素。環境因素中又以不良的飲食習慣與缺乏身體活動量 (以下簡稱活動量) 為導致肥胖的關鍵，因此家長可從飲食習慣調整 [Wal14] 與提升活動量 [Edg13] 二方面來控制嬰兒的體重。一般來說，嬰兒飲食習慣的調整可由控制奶量或減少攝取副食品等方式來控制體重。但因為嬰兒時期是成長發育的關鍵，需要充足的營養。若是僅以限制飲食的方式，所能改善肥胖的效果並不明顯。因此，以增加活動量的方式來控制嬰兒的體重成為較佳的手段。根據世界衛生組織於 2012 年的死亡與疾病主要因素報告 [Who12] 中，針對造成死亡的主要因素的排名，如圖 1.4 (a) 所示，其中紅色框線處顯示因活動量不足這項因素而導致死亡，已在所有導致死亡因素中排名第四；另外，圖 1.4 (b) 所示為該組織發布的造成疾病的主要因素的排名，紅色框線處顯示活動量不足這項因素也在所有因素中排名第十一。因此，父母更應著重於培養嬰兒身體活動的興趣，來達到健康減重的目的。總而言之，搭配飲食習慣的控制且提高嬰兒身體活動的能力，使嬰兒每日攝取的熱量與消耗的熱量都能控制在正常範圍內，不僅能有效的解決嬰兒肥胖的問題，讓嬰兒遠離疾病、增強抵抗力；嬰兒動作能力的訓練，也能促進身體運動智 3.

(17) (a). (b) 圖 1.4. 全球造成死亡與疾病的因素排名圖. (a) 全球造成死亡的因素排名；(b) 全球造成疾病的因素排名。 4.

(18) 能有良好的發展，是嬰兒成長的過程中維持身心健康的重要關鍵。有關嬰兒動作發展與活動量之評估，將在下一節有更進一步的探討。. 第二節嬰兒動作發展與活動量之評估體能是從事身體活動時表現出來的能力。對於嬰兒的體能訓練有助於加強其活動能力，也能提高對外界溝通以及適應的能力。惟需注意不能過度訓練，過度訓練身體活動，可能傷害嬰兒的身體發展。因此，若能開發一套適合嬰兒的活動量監測系統，則能幫助嬰兒在訓練身體與肢體活動的過程更加有效且安全。身體活動的訓練要重質也要重量。從表 1.2 可得知，嬰兒的動作發展有其順序性，主要為由頭部到腳、從身體中心大軀幹往外到四肢。動作從簡單到複雜依序是抬頭、翻身、坐、爬、站立、行走。每一個階段的動作尚未成熟時，不可過於急躁的訓練嬰兒進入下一個發展階段，並且應注意不同時期的肢體動作發展是否達到一定水平，才能提早判斷其發育是否超前、滯後或是否有其它疾病；此外，也須藉由活動量的評估，知道嬰兒活動的熱量消耗以便調整體能訓練的強度。本表 1.2. 嬰兒動作發展 [3]. 粗動作. 細動作. 4 個月. 1.俯臥時頭、胸部可抬離床面。 2.拉扶坐起，只有輕微頭部落後。 3.坐姿扶持，頭部幾乎一直抬起。. 1.手會自動張開。 2.常舉手來凝視手部。 3.手中會握住搖鈴約 1 分鐘。. 6 個月. 1.抱直時脖子豎直頸保持在中央。 2.會自己翻身(由俯臥成仰臥)。 3.可以自己坐在有靠背的椅子上。. 1.雙手互握在一起。 2.手能伸向物體。 3.自己會拉開在他臉上的手帕。. 9 個月. 1.不需扶持，可坐穩。 2.腹部貼地、匍匐前進。 3.會移動身體挪向所要的物體。. 1.將東西由一手換到另一手。 2.用兩手拿小杯子。 3.自己會抓住東西往嘴裡送。. 12 個月. 1.雙手扶著家俱會走幾步。 2.拉著父母雙手能移動腳步。 3.拉著物體自己站起來。. 1.拍手。 2.會把一些小東西放入杯子。 3.會撕紙。. 18 個月. 1.可以走得很快。 2.走得很穩。 3.扶著欄杆可以走上樓梯。. 1.會用筆亂塗。 2.會把瓶子的蓋子打開。. 24 個月. 1.會自己上下樓梯。 2.會自己由椅子上爬下。 3.會踢球。. 1.重疊二塊積木。 2.會一頁一頁翻書。 3.會將杯子的水倒到另一個杯子。 5.

(19) 節分為 (A) 嬰兒動作發展及 (B) 活動量之評估二個部分，做更詳細的探討。 (A) 嬰兒動作發展嬰兒在 0-4 個月時，仍以哭聲以及臉部表情來反應其需求，如圖 1.5 (a)、(b) 所示。而 4 個月大的嬰兒，則開始學著協調動作和想法，利用動作來表達需要。由圖 1.5 (c) 的左、右二張圖可以觀察得知，4 個月大的嬰兒，頸、背部肌肉已具有支撐頭部的力量，為翻身做好準備。因為翻身動作比較複雜，所以不同嬰兒學會翻身的時間也有差異，基本上是在 4-6 個月大這段期間。此期間照顧者需要注意嬰兒隨時有翻落地面的危險，不能將嬰兒單獨放置於有高度的家具上。 6 個月大的嬰兒翻身已經相當熟練，經常的翻滾有助於左右腦統合能力與肌肉關節的發展。腰背部肌肉力量的訓練，可使身體的靈活性增加、並提高認知能力 [4]。同時，如圖 1.6 所示，6 個月大的嬰兒可以完成數秒以雙手撐坐的動作，直至 7 到 8 個月大則可以自己支撐身體，從平躺到坐起。但這時候嬰兒仍不宜久坐，否則容易因脊椎骨尚未發育完全造成日後脊椎側彎。. (a). (b). (c) 圖 1.5 0 到 6 個月嬰兒的動作發展 (a) 新生兒；(b) 滿月至 3 個月；(c) 4 至 6 個月-翻身。. 6.

(20) (a). (b). (c). (d). 圖 1.6 6 到 12 個月嬰兒的動作發展 (a) 蠕行；(b) 坐；(c) 爬行；(d) 站立。接著，藉由翻滾到蠕行不斷的訓練，嬰兒的四肢和軀幹越來越有力量。8 到 10 個月大的嬰兒已有獨自爬行的能力，訓練爬行的能力可以刺激腦部發育，增加身體的平衡性，建立獨立行走的良好基礎。從爬行到學會站立的過程中，嬰兒身體平衡的能力尚且不足，很容易摔倒，需要特別小心注意。約莫 1 歲的嬰兒，行走技能逐漸成熟，此階段的行走訓練有助於促進運動系統與神經系統的發展。 (B)活動量之評估在流行病學與健康促進的相關研究領域所定義之身體活動，通常是指大肌肉群的收縮而形成的移動，像是四肢和軀幹的移動 [卓 02]。具體來說，身體活動在定義時需具有下列四種定義特性：(1) 經由骨骼肌導致任何身體移動；(2) 會造成能量的消耗；(3) 能量消耗本身是由低到高的連續狀態；(4) 與體能成正相關。根據上述之定義，Greaves [Gre90] 依照身體活動的強度與能量消耗程度，將兒童活動量歸類為五個層次，即兒童的活動量計分表 (children’s activity rating scale, CARS) 所描述，該強度水準與心跳率以及代表性活動項目之詳細對應關係如表 1.3 所示。由於本研究之研究對象為 4 個月至 1 歲的兒童，此時期的兒童不會出現中高度以上激烈的身體活動，因此本系統將嬰兒活動量的強度重新區分成 7.

(21) 表 1.3. Children’s activity rating scale (CARS)[Gre90]. Level/Description. Expected Heart Rate (b∙min-1). Stationary- no movement. ＜100. Stationary- with movement. 100-119. Translocation- slow/ easy. 120-139. walk 2.5 mph, 0% grade. Translocation- medium/moderate. 140-160. walk 2.5 mph, 5% grade walk 2.5 mph, 10% grade. Translocation-fast, very fast/ strenuous. ＞160. walk 2.5 mph, 15% grade. 表 1.4. Representative Activities lying, sitting standing/coloring, standing/ball activity. Infant’s activity rating scale (IARS) METs Mean SD. Level. Description. Representative Activities. 1. Stationary- no movement. lying, sitting. 1.0. 0.1. 2. Stationary- with movement. limbs movement, kicking, torso movement. 1.6. 0.3. 3. Translocation- slow/ easy. crawling, walking (slow). 2.7. 0.3. 4. Translocation-medium/moderate. crawling, walking (medium). 3.5. 0.5. 四種強度水準分別為: (1) 不移動：無動作，如趴、坐、躺。 (2) 不移動：有動作，如手腳搖動、擺動、撐起身體、翻身、蠕動。 (3) 慢速身體移動：如爬行。 (4) 慢速身體移動：如慢走、散步。即嬰兒的活動量計分表 (infant’s activity rating scale, IARS)，如表 1.4 所示。表 1.4 中最末欄 METs 所指的是代謝當量 (metabolic equivalent，簡稱 MET)，用來測量身體活動的強度，可表示運動的強度或能量消耗量。一個 MET 定義為安靜坐著時的能量消耗，大人平均為每分鐘每公斤消耗 3.5mL 的氧氣，或者每小時每公斤體重消耗 1 仟卡的熱量 [江 09]。能量的消耗多以此方式表示，但是每個人的基礎消耗率其實是有差異的，考慮個別體重的估計方法是較好的方式。令 W 為嬰兒之體重， T 是以小時為單位之活動時間， c 為一常數值表示基礎消耗率，定義為每小時每公斤體重消耗 1 仟卡，M 為總代謝當量 (METs)，則計算總消耗熱量 K (仟卡) 之公式如下: K  W T  c  M. (1-1) 8.

(22) 其中，輕度活動量約為 1.0 至 2.9 METs 而中度活動量約為 3.0 至 5.0METs [江 09]，此活動量的範圍已包含上述活動量中所有等級的強度水準。目前在研究上測量兒童活動量等級的工具有許多，較為常見的有問卷法、儀器及電子監測法、直接觀察法等。問卷法較經濟且方便，只需要受訪者或代理人填寫測驗題目即可。但若填表人為 10 歲以下兒童，則此方法會受到認知能力的影響；若測驗題目出現回顧性問題則易受記憶能力影響。因此，這種方法的準確性與信效度較受人質疑。在儀器及電子監測法中，目前常用的設備有計步器、心跳計、加速度計等，皆為接觸式的設備。雖輕巧方便攜帶，但接觸式的設備放置於嬰兒身上，可能導致嬰兒害怕而不敢活動或設備被輕易拆除等狀況，一般家長對於此方法的接受度也相對較低。直接觀察法須以人工的方式耐心收集資料，優點是不受環境影響、不妨礙嬰兒身體活動，但耗費人力又費時，且不同的觀察者容易有偏差。綜上所述，本研究提出視覺式嬰兒活動量監測系統。以攝影機拍攝嬰兒活動實境後，系統會自動分析紀錄嬰兒活動之情形，如：嬰兒活動量的相對強度、頻率及活動時間，並判定嬰兒的活動量等級與估算消耗熱量。取代傳統須透過訓練有素之專業人員以人工的方式監測，不僅節省人力成本，同時達成活動量之評估。. 第三節研究困難六個月大的嬰兒開始學習控制身體運動，大腦中樞神經功能日漸成熟，使其對周遭環境產生強烈的好奇心，活動範圍也就開始擴增。此時，採用一般固定式攝影機已無法進行適當的監控，而 PT IP camera 為動態網路監控攝影機，具有上下移動鏡頭 (Pan) 與左右轉動鏡頭 (Tilt) 的功能，此功能可使鏡頭在監控過程中改變拍攝角度，擴大監控範圍，亦可將監控畫面傳入行動裝置達到即時運算的功效。因此，捨棄固定式攝影機改用 PT IP camera 利用追蹤技術以達到更準確的活動量測量的確有其必要性。早期的追蹤系統因採用固定式攝影機拍攝，可透過固定背景的建立，不斷使用背景相減法切割出移動目標物，進行靜態監測。但 PT IP camera 在進行活動量測量時，需轉動鏡頭的角度，以達到動態追蹤的目的，卻也因此產生了動態的背景，使系統無法在背景固定的假設前提下，擷取影像中的嬰兒進行追蹤。另外， 9.

(23) 嬰兒遊戲空間中的牆壁或地墊多半色彩鮮豔且有著豐富的圖案。在此複雜背景的狀態下，加上環境中光線變化的干擾，以及嬰兒活動過程中追蹤目標本身特徵有可能不斷產生變化的現象，皆使視覺系統在進行嬰兒追蹤時的難度大幅增加。本系統還需考量到成人與嬰兒活動方式的不同，成人的活動模式有固定的節奏，能長時間持續相同動作，可透過動作或姿態辨識得知其活動內容；相較於此，嬰兒的活動模式則呈現間歇性且無明確而完整的動作，再加上活動的過程中與攝影機之間的關係並不固定，也就是說嬰兒不一定正對、背對、或側對攝影機。因此，為使嬰兒活動量的估算有其可信度，觀察出嬰兒特有的活動特徵，用以估算其活動頻率以及活動強度，也是本系統需要處理的問題之一。另外，系統在攝影機的架設與控制鏡頭追蹤嬰兒的階段，還有二項值得研究的課題。第一項為系統運作時，為避免有過多的拍攝死角，須特別留意攝影機的架設方式；第二項為系統的動態追蹤的模式，是希望能考慮到不同嬰兒可能具有不同的活動模式，將嬰兒自身活動模式納入預測鏡頭移動的考量因素，以便將此資訊回授給控制單元，進而判斷出鏡頭的運動方向，使系統更能順利預測嬰兒行為且控制鏡頭運動。. 第四節論文架構本論文共分為七章，第一章說明本研究的動機與研究困難；接著第二章為文獻探討，此章將比較各種測量活動量工具的優劣，以及採用視覺系統監測活動量可能使用到的技術與基礎理論；後續會在第三章說明本研究的目的與研究環境以及設備架設方式，並包含系統流程之概述；第四章則詳細解說本系統如何從畫面中準確的找出嬰兒追蹤區塊來建立嬰兒追蹤模型，並在系統執行的過程中以追蹤模型所建立的特徵為依據，利用動態三步搜尋 (dynamic 3- step search) 演算法來進行追蹤。繼而細述系統如何預測嬰兒的動向，作為動態攝影機進行控制的方法，確保嬰兒長期存在監控畫面中；而第五章將分別闡述本研究所擷取的嬰兒活動量特徵，以及將特徵值換算為 METs 值的方法。此外，依照 METs 來計算出活動時間內嬰兒的整體熱量消耗的方式也會在此章一併敘明；第六章則是實驗結果展示，探討系統流程中每一個主要步驟的必要性與正確率；最後，第七章為結論和未來工作。 10.

(24) 第二章. 文獻探討. 在活動量的自動監測系統開發前，一方面需先了解現今採用的活動量測量方式，並分析其可行性。另一方面，動作特徵的自動擷取技術亦需多方探討。因此本研究的文獻探討部份，分為活動量測量方法分析與動作特徵擷取二節進行討論。本章中第一節將針對目前研究上使用的各種活動量測量工具進行分析，說明各種活動量測量方式的優缺點。另外，由於自動監測系統所選擇的動作特徵必須具有好的動作解釋能力，才能提高活動量測量的正確率。因此第二節將詳細探討並比較成人與嬰兒的各種動作辨識技術發展與應用。. 第一節活動量測量方法分析由於成人的諸多疾病皆是由兒童時期根植形成。因此兒童之身體活動情形已逐漸受到重視，同時也發展出許多種測量兒童活動量的工具。在 Loprinzi [Lop11] 以及 Sirard [Sir01] 發表的論文中，皆曾針對各種測量工具進行探討與比較。目前較常用來測量兒童活動量的方法，大致可分為三種：(A) 問卷法、(B) 儀器及電子監測法與 (C) 直接觀察法。以下就此三種類型加以說明。 (A)問卷法問卷法可以分成訪視者填寫、受訪者自行填寫或代理人填寫三種形式。常使用於檢測的問卷有二種，一種是 Bouchard [Bou83] 在評估兒童及成人能量支出的研究中所使用的三日身體活動日誌 (3-d physical activity log)；另一種是 Sallis [Sal85] 提出的七日身體活動回憶問卷 (7-d physical activity recall)。如表 2.1 [Bou83] 所示，三日身體活動日誌是將身體活動種類分為 9 個等級，此 9 個等級由 1 至 9 代表活動量的程度由低到高。1 代表睡覺，2~9 分別代表不同程度的活動量，也分別對應到各活動等級所消耗的熱量。1~9 各等級的能量消耗量依序為：0.26、0.38、0.57、0.69、0.84、1.2、1.4、1.5、2.0，其單位為受試者每十五分鐘每公斤體重的能量消耗 (kcal/kg/15min)。七日身體活動回憶問卷則是將活動的程度訂定成中度、重度、非常重度三種。此一問卷設計的優點為，問 11.

(25) 表 2.1. Table of activity, energy costs, and corresponding categorical values [Bou83]. Categorical value 1 2 3 4. 5. 6. 7. 8. 9. Example of activity Sleeping Resting in bed Sitting: eating, listening, writing, etc. Light activity standing: washing, shaving, combing, cooking, etc. Slow walk (< 4 km/h), driving, to dress, to shower, etc. Light manual work: floor sweeping, window washing, driving a truck, painting, waiting on tables, nursing chores, several house chores, electrician, barman, walking at 4 to 6 km/h Leisure activities and sports in a recreational environment: baseball, golf, volleyball, canoeing or rowing, archery, bowling, cycling (< 10 km/h), table tennis, etc. Manual work at moderate pace: mining, carpentry, house building, lumbering and wood cutting, snow shoveling, loading and unloading goods, etc. Leisure and sports activities of higher intensity (not competitive): canoeing (5 to 8 km/h), bicycling (> 15 km/h), dancing, skiing, badminton, gymnastic, swimming, tennis, horse riding, walking, (> 6 km/h), etc. Intense manual work, high intensity sport activities or sport competition: tree cutting, carrying heavy loads, jogging and running (> 9 km/h), racquetball, badminton, swimming, tennis, cross country skiing (> 8 km/h), hiking and mountain climbing, etc.. Median energy cost used METs kcal/kg/15min 1.0. 0.26. 1.5. 0.38. 2.3. 0.57. 2.8. 0.69. 3.3. 0.84. 4.8. 1.2. 5.6. 1.4. 6.0. 1.5. 7.8. 2.0. 卷中的問題多強調在提問受試者睡眠及中度以上的活動內容，使受訪者更容易回憶起曾進行過中度以上的活動與睡眠的總時數。因此，統計受試者每天的活動量大小與總消耗熱量時，需將一天的時間扣除中度、重度、非常重度活動以及睡眠所花費的時間，得到輕度活動量所花費的時間後，才能將輕度、中度、重度以及非常重度活動所消耗的熱量加總，計算出每日的總熱量消耗。使用問卷法可評估受試者每日的能量消耗，也可預測受試者中度與重度以上的活動量。若是屬於回憶式問卷法，不需要隨時記錄活動量，節省時間與人力，適合用於短時間內做大規模的研究調查。因此，以流行病學角度來考慮，活動量 12.

(26) 之量測方式仍以問卷法較為有效率。惟須注意填表人的記憶是否正確，若是記憶不正確，極可能出現高估或低估自己活動量的狀況。 (B)儀器及電子監測法相較於主觀的問卷法，儀器及電子監測法是一種較為客觀的測量方法。目前使用於兒童活動量研究的儀器大致以計步器 (pedometer)、心搏率監測器 (heart rate monitor，HRM) 以及加速度計 (accelerometers) 較為常見。計步器 (如圖 2.1 (a)[6]) 佩戴在使用者身上，能用來計算走路步數。其優點為價格便宜、攜帶方便。在 Bravata [Bra07] 的研究報告中，使用計步器來記錄門診的病人身體活動，結果發現計步器的使用增加了活動量，同時身體質量指數與血壓也都有明顯的下降，但還不能確定是否長期有效。計步器原理是利用機械運動帶動一個可以隨意移動的小型重鎚，佩戴的使用者在運動的時候，會使得這個機構產生上下震動或是左右移動，造成計步器中的感測器與重鎚之間相互運動，藉由重鎚之重心的上下位移運動驅動感測器，並啟動計數器的計數功能，進而計算步數。因為人體行走時腰部重心會有上下位移的運動，所以計步器通常佩戴在腰上。不同款式的計步器有不同的搭配功能，有些款式能記錄行走步數、行走距離以及計算消耗的卡路里等。但相較於其他的電子儀器，計步器無法偵測坐式的活動、上肢伸展性運動或者上坡等動作，也無法測量出活動的頻率、持續時間及活動強度等資料。另一項測量活動量的電子儀器為心搏率監測器，Neil[Nei98] 在研究心搏率監測器使用於評估青少年活動量的論文中提到，1970 年代初期發展出監控心臟速率的工具。心搏率監測器 (如圖 2.1 (b)[7]) 是一種適用於測量與記錄心跳變化的工具，可配置於胸前測量心電圖 (electrocardiogram, ECG) 或置於手腕部測量較弱的 ECG，也可置於手指或耳垂測量血流情形。受試前須確定心跳偵測正常且於測試期間不得任意調整儀器，以免影響心跳偵測。心搏率監測器主要藉由心跳與耗氧量的關係估算出能量的消耗，當受試者的心跳大於每分鐘 140 次的中度費力活動才可有效測量其身體活動的整體能量消耗。缺點在於無法準確測量極低強度的運動，亦會受到環境中馬達、微波的干擾，或年齡、心肺功能與情緒焦慮等影響。除了上述二項電子儀器外，近年來最常被用來估計活動量的電子儀器還有加速度計。加速度計通常佩戴在腰部及大腿上，它可以察覺受試者的身體移動、肢 13.

(27) (a). (b) 圖 2.1. (c). 儀器及電子監測設備. (a) JW-005T 三功能健康計步器 [5]； (b) TIMEX 心跳卡路里計測運動錶 [6]；(c) RT3 Tri-axial [7]。體活動並估計活動量，將收集到的資料轉換為熱量的消耗或活動的強度。加速度計包含平面單軸加速度器 (uniaxial accelerometer) 、雙軸加速度器 (biaxial accelerometer) 以及三軸加速度器 (tri-axial accelerometer)。平面單軸加速度器只能測量軀幹的垂直動作；雙軸加速度器可用來測量動作強度與持久度；三軸加速度器有二種，分別為：RT3 tri-axial 與 tritrac-R3D accelerometer，目前 RT3 tri-axial (如圖 2.1 (c)[8]) 已經逐漸的取代 tritrac-R3D accelerometer。受試者移動身體時，儀器會求出其在三度空間 (x、y、z 軸) 中移動的最大向量，換算成每單位時間之淨活動能量。加速度器可設定記錄時間，連續記錄數天的活動量，但容易低估長期處於靜態活動狀態者之活動量，也無法獲得活動時的背景和特殊活動的資料。儀器及電子監測法在採用時需要小心遵循各種設備的限制，才能獲得較正確的活動量資訊。能使用在嬰兒活動量檢測的工具，有一個關鍵的條件為：設備佩戴在嬰兒身上後，不能阻礙其身體正常活動。儘管現今電子監測儀器皆經過改良，體積變小且重量變輕，但上述的接觸式設備要長時間佩戴在嬰兒身上，仍會因為嬰兒覺知有儀器的存在而影響身體的活動。 (C)直接觀察法直接觀察法為利用實地觀察或者檢視身體活動的錄影帶，來估計受試者活動量的一種方法。採用錄影的方式可以準確的紀錄受試者的身體活動種類、性質、活動背景與持續時間。身體活動的影片內容由人工的方式，記錄每段時間間隔的運動量後，再根據兒童的活動量計分表 (children’s activity rating scale, CARS) 換算其身體活動產生的能量消耗。此方法不會受到時間與環境的影響，也不會妨礙 14.

(28) 兒童身體活動。Tremblay [Tre01] 等人分析了各種不同的活動量測量工具，用來探討加拿大人身體活動、身材與生活方式的論文中，總結出直接觀察法對受試者來說是負擔最小的一種方式，對於嬰兒特別有用。唯獨需要大量受過訓練的人力來分析這些影片，是直接觀察法的一大限制。綜合以上之文獻探討可以知道，不同活動量測量方式都有其優缺點，適用的條件應依其準確度、研究內容、經濟因素等方向作為考量的依據。本系統之研究對象為嬰兒，若使用問卷法則需要照護人代為填寫，獲得的資訊較不精確；又若使用儀器及電子監測法中的接觸式設備進行活動量的測量，其困難為將這些電子設備安置於嬰兒身上，卻要不影響其正常肢體活動。較佳的方式是將直接觀察法中的錄影法進行自動化，利用電腦視覺與影像處理之技術研發活動量監測系統，判斷並記錄影片中每段時間的運動頻率、運動強度、持續時間及運動類型。使系統根據影片內容即可自動監測受試者身體活動所造成的能量消耗與活動等級。. 第二節動作辨識技術之發展與應用近年來，自動動作辨識技術已廣泛的被應用在日常生活中，如：監控系統、居家安全照護系統、虛擬實境和人機介面等。目前常見的動作辨識技術可分為視覺式與非視覺式二種，由於本系統是以電腦視覺為基礎所開發，因此以下探討視覺式之動作辨識技術。視覺式的動作辨識技術主要以電腦視覺與影像處理的技術來擷取動作特徵並進行分類與辨識，來理解影片中人體活動的狀況。本節依照擷取動作特徵之對象有所不同，分為：(A) 成人動作辨識之應用與特徵擷取及 (B) 嬰兒動作分析之應用與特徵擷取二種類型說明。 (A) 成人動作辨識之應用與特徵擷取一般視覺式之動作辨識流程如圖 2.2 所示，主要分為 human body detection、 feature extraction 與 action classification 三個階段。從許多動作辨識的相關論文中可以發現，影響動作辨識正確率的因素，首重於動作特徵之擷取。系統必須先排. Input Video. Human Body Detection. 圖 2.2. Feature Extraction. Action Classification. 動作辨識主要流程。 15. Output Result.

(29) 除畫面中出現的雜訊，若畫面中同時出現多人時，則系統須區分出不同的動作辨識對象，再分別進行動作特徵的擷取。系統所擷取之動作特徵，必須擁有良好的動作解釋能力，能完整描述動作內容，如：克服從不同的視角拍出的動作影片其特徵仍保留不變性等。又若儲存過多的特徵，會耗費大量的記憶體空間，因此必須慎選需儲存的特徵，才能在花費最小記憶體空間的前提下，得到最高的正確率。從目前動作辨識的相關研究中可以發現，系統在進行動作辨識時，會有各種不同的情境，而單一種特徵並不能適用於所有的情境。因此 Guo 等人 [Guo13] 在針對影片中的人進行動作辨識的實驗時，結合了二種不同的動作特徵，分別是形狀特徵與運動特徵。此系統所擷取之形狀特徵稱為 silhouette tunnel shape features，此特徵向量共有 13 個特徵值，如下 (2-2-1) 式所示： f S ( x1 , y1 , t )  [ x1 , y1 , t , d E , dW , d S , d N , d NE , d SW , d SE , d NW , dT  , dT  ]T. (2-2-1). 如圖 2.3 所示，該研究先利用背景相減法擷取出人的剪影，得到 t 時間該剪影的中心座標 ( x1 , y1 ) ，為上式中的前 3 個特徵值。接下來的 8 個特徵值 d E 至 d NW ，為由該剪影的中心往 8 個箭頭方向出發，直到碰到剪影的輪廓邊緣為止的距離。最後的 2 個特徵值 dT  與 dT  則是該剪影所在的時間 t，分別到影片結束的時間與影片開始時間的時間間隔。除了形狀特徵外，此系統所擷取之運動特徵為 optical flow features，此一特徵向量共有 12 個特徵值，如下 (2-2-2) 式所示： f O ( x2 , y2 , t )  [ x2 , y2 , t , I t , u, v, ut , vt , Div,Vor , Gten, Sten ]T. (2-2-2). 其中，前 3 個特徵值 ( x2 , y2 , t ) 分別為光流法中擷取出的特徵點座標位置，以及該. 圖 2.3. 形狀特徵之特徵值擷取方法示意圖 [Guo13]。 16.

(30) 特徵點出現的時間，而 I t 則是該特徵點的灰階值。另外，特徵值 u 與 v 分別為光流法中，特徵點在 x 方向與 y 方向的位移量。而 ut 和 vt 則分別為特徵值 u 和 v 對時間微分的結果。此特徵向量的最後 4 個特徵值出自於 Ali 等人 [Ali10] 研究 human action recognition 的論文中，這幾個特徵值主要用來記錄特徵點在光流場 (optical flow field) 中的發散程度 (spatial divergence)、旋轉方向 (vorticity) 與. Gten 及 Sten 兩個 tensor invariant。計算方式分別如式子 (2-2-3) 至 (2-2-8) 所示。 Div( x2 , y2 , t ) . u ( x2 , y2 , t ) v( x2 , y2 , t )  x2 y2. (2-2-3). Vor ( x2 , y2 , t ) . v( x2 , y2 , t ) u ( x2 , y2 , t )  x2 y2. (2-2-4). Gten ( x2 , y2 , t ) . 1 2 (tr (u( x2 , y2 , t ))  tr ( 2u( x2 , y2 , t ))) 2. (2-2-5). Sten ( x2 , y2 , t ) . 1 2 (tr ( S ( x2 , y2 , t ))  tr ( S 2 ( x2 , y2 , t ))) 2. (2-2-6). 其中， u( x2 , y2 , t ) 與 S ( x2 , y2 , t ) 分別為  u ( x2 , y2 , t )  x2 u( x2 , y2 , t )    v( x2 , y2 , t )  x2 . u ( x2 , y2 , t )   y2  v( x2 , y2 , t )   y2 . (2-2-7). 1 S ( x2 , y2 , t )  (u( x2 , y2 , t )  T u( x2 , y2 , t ) 2. (2-2-8). 此系統最後會將特徵值以 covariance matrices 來存放，以表示整個動作。之後，該研究選擇以下兩種不同分類器: nearest-neighbor classification、sparse linear approximation classification 的其中一種來辨識一段影像中人體的動作。 Derpanis 等人 [Der13] 在 2013 年針對動作辨識系統的研究，改良了傳統的動作辨識系統，使其不僅能做到 action recognition 的功能，還能在影片中偵測、定位而且辨識人的動作，此研究將其稱為 action spotting and recognition。此系統用來 training 的動作影片(template) 如圖 2.4 (a) 所示，而 testing 的動作影片則如圖 2.4 (b)。系統先利用由三維高斯函數的三階導數 G3 ˆ ，不同的 ˆ 值代表不同的 orientations，不同 . 的 orientations 會產生多個 steerable filters，將這些 steerable filters 分別與 training template 和 testing video，經傅立葉轉換轉到頻率域後再進行 convolution。此系統進 17.

(31) 圖 2.4. Action spotting 之流程圖 [Guo13]。. 行 convolution 的運算結果會得到不同的 oriented energy volumes 如圖 2.4 (c) 所示。因為此研究使用了 5 個不同的 orientations，因此輸入一段影像序列後，系統會. 計算出 5 種 oriented energy volumes，分別是 unstructured、static、rightward and leftward motion 及 flicker，每一種 oriented energy volumes 都含有某種原始輸入影像序列的獨特性。也就是說不同輸入影像序列中人物的動作越不相似，則彼此的 5 種 oriented energy volumes 也會相差越大。在比較相似度時，先將 oriented energy volumes 中的灰階值相加得到能量值 Eˆ ( x) ，再統計不同 orientations 的能量值成為原始輸入影像的特徵直方圖。最後，如圖 2.4 (d) 所示，利用 Bhattacharyya coefficient 之方法，比對 training template 與 testing video 特徵直方圖的相似程度。輸出與測試影像序列相似度最高的 training template，作為動作辨識的結果。利用上述方式擷取出的特徵，優點是對於複雜的前景和背景的影響極小；缺點則是計. 算複雜度過高。因此系統須使用平行化處理，例如：CUDA 運算，才能實現即時運算的理想。上述以成人動作辨識為主的研究文獻，其實驗影片都使用了 Weizmann dataset 或. 是 KTH dataset 兩個常見的動作影片資料庫，此類動作影片的資料庫通常用來幫助系統 training 某些特定動作，如：彎腰、跳、跑、揮手等。但在日常生活中，人類的動作不見得會局限於這些特定的動作。因此還有許多研究則是偏重於應用導向，利用動作特徵進行行為辨識，如：[Bru12] [Mir13] 皆為老人跌倒偵測系統的應用，透過行為辨識判斷是否為跌倒。 18.

(32) 由於使用單一動作特徵進行行為辨識，也同樣會受限於研究環境，而無法滿足在所有情境下皆能有準確的行為辨識結果。因此 Wang 等人 [Yu12] 先使用 codebook 的演算法去除背景，並用最適大小的橢圓框出前景 (human body) 範圍，再分別擷取出全域與區域的動作特徵。其中，全域的動作特徵是利用統計學中動差的公式計算橢圓的質心、長軸與短軸；另外，系統會統計出二個直方圖作為區域的動作特徵，此二個直方圖為影像上橢圓中標記為前景的像素點 (pixel) 分別投影至長軸與短軸的累積量，再經過正規化後得到的結果。在老人居家安全的照護系統中，該研究藉由整合全域與區域兩種動作特徵的特徵向量，可以將人體的姿態描述得更加完整，提高跌倒偵測的正確率。動作特徵除了能應用在動作辨識與行為辨識外，也可以應用在步態辨識的系統上，記錄人類走路姿勢，如：步幅、步長、步速、步行之週期等等。透過步態辨識與分析可以了解人體健康情形，而且基於每個人的步態都有其獨特性，步態辨識也可以應用於生物識別。擷取人的動作特徵進行步態辨識的方法有許多種，如：透過人體骨幹的偵測，判斷頸幹與軀幹的傾角；偵測行走時重心的高度變化，觀察步行時的穩定程度，或透過步伐寬度等波形圖作為動作特徵之分析，並判斷走路姿勢正確與否。其中，Boulgouris 等人 [Bou13] 提出了從 labelled silhouettes 擷取動作特徵並進行步態辨識。Labelled silhouettes 是將整個影像切割成不同大小的矩形區塊且每個區塊不會重疊，然後系統會將落在不同區塊內的前景區塊各自擷取三個特徵，分別是 component area、component center 與 component orientation。Component area 是影像上不同區塊內所含前景區塊的面積；Component center 則是影像上不同區塊內所含前景區塊的質心；而 component orientation 為影像上不同區塊內前景區塊像素值經過主成份分析後得到的 principal orientation。最後，系統利用所擷取的動作特徵，從影像序列中透過 hidden Markov models 建構人類步態模型，進行步態辨識與分析。前述文獻探討了一般動作辨識技術的研究現況，及其在行為辨識與步態辨識系統上的應用。其中可發現目前對於成人動作辨識技術之研究已達到一定的水平，惟較少有關於嬰兒動作分析之文獻。不同於成人有較一致的身型比例，不同月齡的嬰兒體型個體差異較大，且對於不同肢體動作的熟練度也不盡相同，無法 19.

(33) 利用已知的動作影片與其特徵值建立分類模型進而預測未知影片的動作。另外，嬰兒的動作變化較大，移動時的軌跡也較複雜，例如嬰兒會在地上翻滾或在房間中四處爬行；相較於此，大人的動作幅度通常較小也較固定，移動的路徑也較一致，例如運動時會反覆做出相同的動作且行走時通常靠走道的右側。由此可見，不論是收集嬰兒肢體動作之影片，或在動作分析技術上，嬰兒動作辨識的困難度都相對於大人的動作辨識提高許多。本論文主要的研究對象即為 4 個月至 1 歲的嬰兒，因此接下來將針對已開發之嬰兒動作分析技術與應用詳加討論。 (B)嬰兒動作分析之應用與特徵擷取關於嬰兒動作分析之技術與應用，邵柏潤 [邵 09] 已開發出以肢體動作分析為基礎之新生兒意外監控系統。此系統針對 1 至 6 個月的嬰兒，經輸入影像偵測其頭部與肢體五個部份的動作姿態，且透過長期對嬰兒身體部位的追蹤建構出屬於該嬰兒的動作行為關係圖。在資料庫中儲存由連續的肢體動作示意圖構成嬰兒動作關係圖，當嬰兒的肢體動作異常時，系統會發出警告通知照護人員。蕭宛甄 [蕭 10] 也開發出以前景物動態機率模型為基礎之嬰兒危險程度評估系統。首先建立前景物模型，統計前景物的顏色與影像中所有顏色出現的次數。接著根據 motion-history image，以運動變化量與前景物模型計算前景物的機率，完成嬰兒偵測。最後，擷取代表性的特徵：motion 量、motion 區域之重心位置、前景物面積、前景物之顏色分布、重心位置與移動速度，用以判斷危險程度，並依照嬰兒的月齡調整，整合所有特徵得到危險程度值，此系統將危險程度分為五個等級，若是超出系統設定之安全範圍就會發出警告通知照護者。除了透過辨識翻身、趴睡、跌落等動作來監控嬰兒的動靜，以及藉著辨識不同的肢體動作來判斷危險程度的嬰兒意外監控系統外，一般嬰兒日常的身體活動與其身體狀況也息息相關。Osawa 等人 [Osa09] 針對還在保溫箱的新生兒，以錄影的方式記錄其身體的活動。系統透過影像的二值化找出嬰兒的輪廓，並定位嬰兒身體的各個部位，包含左半身、右半身、上半身、下半身、左上身、右上身、左下身、右下身與全身共九個區塊。接著計算各區塊嬰兒活動的變化量以及重心的位移量作為特徵，分析活動量的大小；並透過 Butterworth 低通濾波器將 motion 變化量平滑化，進而分析身體活動的對稱性。醫生不需長期觀察即可透過分析的結果評估嬰兒的生長發育狀況，可望大幅的減輕醫生的負擔。 20.

(34) 身體活動的量化結果能判斷嬰兒的生長發育狀況，同時也在相關實驗中發現，運動模式的不同，也能反應出可能罹患疾病的警訊。根據發育神經學研究報告指出健康的新生兒早期會有兩種運動的模式，分別是 general movements (GMs) 與 fidgety movements (FMs)。General movements 初始出現在妊娠九週的胎兒，爾後會持續出現到出生後 5-6 個月，是種自發性的運動，神經系統若是受損則 general movements 的品質會發生改變；Fidgety movements 的缺乏更可能是罹患 cerebral palsy 的具體表現。這種慢性疾病若能及早發現就可以盡早治療，醫師能由此兩種運動模式觀察出是否有可能罹患 cerebral palsy，但一般家長沒有專業知識背景難以用肉眼判斷。因此 Stahl 等人 [Sta12] 提出從拍攝新生兒的影片中，利用 optical flow 擷取運動變化的軌跡，再將移動軌跡用小波函數轉換至頻率域進行分析。找出不同波形的頻率、振幅與距離，透過 SVM 分類器將不同的波形分成可能罹患 cerebral palsy 與沒有罹患 cerebral palsy 兩種類別。承上所述，嬰兒的活動狀況與其生長發育與身體健康息息相關。一般而言， 0-6 個月的嬰兒移動範圍不大，適合使用不移動鏡頭的固定攝影機，進行近距離的運動模式監控，來觀察嬰兒不同運動模式的品質，判斷是否有罹患疾病的可能。然而目前的研究仍缺乏有關 6-12 個月嬰兒活動狀況的居家監控系統，6-12 個月的嬰兒動作量開始逐漸變大、活動範圍也擴增許多，因此本研究有別於 Osawa 等人只針對在保溫箱的嬰兒監測其身體活動量，而是利用可以移動鏡頭的 PT IP camera 研發一套 4-12 個月嬰兒皆適用的身體活動量監測系統，這項生理資訊可提供醫療院所在遠距照護時觀察使用。在鏡頭移動的前提下，本研究除了學習成人動作辨識，利用去背景的技術擷取嬰兒的剪影外，還要設法記住嬰兒的特徵，在本系統加上追蹤的功能，才能在 PT IP camera 移動鏡頭後，持續追蹤嬰兒的位置並擷取其動作特徵。動作特徵的擷取則是採用了前文提到的 motion 量與質心移動的位移量，但本研究所欲監測的活動量大小並不完全取決於動作種類的不同，還包括動作的幅度、強度與頻率，因此本系統還加入更多的動作特徵來達到嬰兒活動量量測之目的。. 21.

(35) 第三章. 嬰兒身體活動量監測系統. 第一節系統目的本論文所提出之視覺式嬰兒身體活動量監測系統，目的在於針對 4 個月至 1 歲的嬰兒，架設動態攝影機於嬰兒活動空間，並利用攝影機自動追蹤技術的開發，長期觀察其日常活動量，監控嬰兒的行為習慣。藉此得知嬰兒每日的活動量等級、活動的時間與能量消耗的多寡，幫助嬰兒在訓練身體與肢體活動的過程更加有效且安全。此外，也有利於及早發現嬰兒是否具有過動症 (attention deficit hyperactivity disorder)、發展協調障礙 (developmental coordination disorder) 以及動作發展遲緩等疾病，以便在就醫時提供正確的治療資訊，使醫師做出正確的診斷。. 第二節研究環境與設備本系統架設與實驗環境如圖 3.1 所示，為嬰兒作為主要遊戲空間的客廳環境，圖中淺灰色區域即為可被監控的嬰兒活動範圍，相當於整個客廳的大小，而. 185cm x 130cm. 195cm x 148cm. equipment laptop. 圖 3.1. 系統架設與實驗環境示意圖。 22. Table.

(36) (a). (b). 圖 3.2 架設固定式攝影機實驗環境圖 (a) 固定式攝影機與活動空間相對位置圖；(b) 最大範圍監控畫面。深灰色部分為活動空間中常出現的各種家具。由於嬰兒遊戲空間通常會在地板上鋪有彩色地墊，地墊大小與擺設方式如圖上彩色方格所示。地墊一方面具有保護的作用，另一方面彩色的地墊有助於刺激嬰兒感覺統合之發展。本研究所需的設備 (含筆電與攝影機) 架設在圖上紅色橢圓區域，即在室內嬰兒活動空間的一隅。本研究使用了二種設備，第一種為架設一臺固定式攝影機，第二種為架設一臺筆電與一臺 PT IP camera 來拍攝嬰兒的活動實況。圖 3.2 (a) 為固定式攝影機與活動空間的相對位置圖，攝影機架設高度約為 1.5 公尺，但因鏡頭無法移動，導致監控範圍受到限制，圖 3.2 (b) 即為固定攝影機所拍攝到的最大範圍監控畫面。當嬰兒的活動量逐漸變大，活動範圍也跟著擴大後，本系統改為架設一臺 pan/tilt internet protocol camera (以下簡稱 PT IP camera) 來監控嬰兒活動量。之所以選用 PT IP camera，原因如下: (A) 相較於一般傳統攝影機不能遠端操控，PT IP camera 能透過網路與行動裝置連線，將監控畫面傳入行動裝置達到即時運算的功效。 (B) PT IP camera 可將影像直接儲存於硬碟或其他網路空間中，容易備份和搜尋，不會出現影像退化或不清楚等現象。 (C) PT IP camera 採用 MJPEG 格式儲存數位影像，影像傳輸時不會發生品質降低的情形。 (D) PT IP camera 具有上下移動鏡頭 (pan) 與左右轉動鏡頭 (tilt) 的功能。藉此優點，鏡頭能在監控過程中改變拍攝角度，不僅擴大了監控範圍且能確保嬰兒長時間存在畫面中。本系統使用第二種設備 (PT IP camera) 時，為了能自動控制鏡頭移動，架設筆記 23.

(37) 型電腦來執行並控制程式。圖 3.3 (a) 為 PT IP camera 與筆記型電腦於活動空間中的架設圖，圖中粉紅色方框即為本系統使用的筆記型電腦，而藍色方框則是架設在客廳至高處的 PT IP camera，實驗時實際的架設高度約為 2.5 公尺。將 PT IP camera 架設在高處有二個原因，其一是擴大攝影機所能監控的範圍。該範圍將從一個地墊擴大至整個客廳，圖 3.4 則為 PT IP camera 在不同鏡位所拍攝到的畫面範例。第二個原因則是在攝影機具相當高度的情況下，提升嬰兒追蹤的正確率。無論鏡頭移動到哪裡，嬰兒占整個畫面的大小比例會較一致，不會因其面積忽大忽小導致追蹤困難。本系統所使用之 PT IP camera 如圖 3.3 (b) 所示，該設備之詳細規格請參閱附錄 A。本研究藉由上述 PT IP camera 的各項優點，經由預測嬰兒的活動行為模式來預測並控制鏡頭移動，改進透過搖桿控制攝影機轉向與人力監看的缺點，使研發出兼具自動化追蹤與監控的智慧型系統。. (b). (c) (a) 圖 3.3 架設 PT IP camera 環境與設備圖 (a) PT IP camera 與筆記型電腦架設圖； (b) PT IP camera；(c) 筆記型電腦 (DELL Vostro V5460R-2528TWS)。. 圖 3.4. 不同鏡位的拍攝畫面。 24.

(38) 第三節系統流程 System Start. Sequence Input. Moving Object Detection. No. Is the tracking object initialized ?. Yes. Tracking Object Initialization. Infant Tracking. Background Modeling. Tracking by 3-Step Search. Background Subtraction. Tracking Feature Model Updating. Infant Extraction. Tracking Correction. Tracking Feature Model Creation. No. Will the infant move out of the screen?. Yes. Physical Activity Measurement. PT IP Camera control. Infant Movement Feature Extraction. Infant Behavior Prediction. METs Calculation. Camera Movement. Physical Activity Assessment. Output. 圖 3.5. 視覺式嬰兒身體活動量監測系統總流程圖。 25.