系統流程

Sequence Input

Is the tracking object initialized ?

Yes Tracking Object Initialization

Tracking by 3-Step Search Infant Tracking

Tracking Feature Model Updating

Camera Movement Infant Movement

Feature Extraction

Yes

Output

Infant Behavior Prediction

Physical Activity Assessment No

PT IP Camera control Physical Activity Measurement

Tracking Feature Model Creation

Moving Object Detection

Will the infant move out of the screen?

METs Calculation

Tracking Correction

圖 3.5 視覺式嬰兒身體活動量監測系統總流程圖。

26

視覺式嬰兒身體活動量監測系統之流程如圖 3.5 所示，主要分為四個重要的 步驟，分別為黃色區塊中的 tracking object initialization、綠色區塊中的 infant tracking、橘色區塊中的 PT IP camera control 與藍綠色區塊中的 physical activity measurement。每一個步驟又可細分為若干個子步驟，如圖中粉紅色區塊所示。

系統啟動後會先進入流程圖中紫色區塊 moving object detection 的部分，利用 連續影像相減法，圈選出畫面中的移動物體。儘管系統使用連續影像相減法來偵 測出移動中物體，且此一方法對於光影變化的影響甚小，但所找到的區塊相當破 碎，即使利用最適橢圓將前景區塊完整的圈選出來，卻發現該橢圓內所包含的背 景資訊量過多，無法用以構築追蹤時所需的嬰兒特徵模型。

因此，為能更準確的建立嬰兒追蹤特徵模型，系統將會進入第一個步驟 tracking object initialization。此步驟的主要目的是，在追蹤前能擷取出完整的嬰兒 輪廓，並利用此一輪廓內的色彩資訊建立嬰兒追蹤特徵模型。系統首先需讀入 30 張純背景的影像，因為系統在初始化的階段假設 PT IP camera 的鏡頭固定不動，

所以此時的背景影像不會有太劇烈的改變。在讀入背景影像後，系統接著使用 codebook 演算法來建立背景模型，然後在後續嬰兒活動的連續影像輸入後，利用 codebook 背景相減法來區分每個像素點屬於前景或背景。

Codebook 背景相減法的結果可能受光影變化的影響，導致找出多個前景區 塊，而 infant extraction 步驟的功能，即是計算將背景相減法所擷取的各區塊質心 與連續影像相減法所找到的移動物體質心之間的距離。在背景相減法所擷取的各 區塊中與移動物體質心距離最近的區塊，即被系統認定為嬰兒追蹤區塊。最後，

統計此區塊內每一像素點於 YCrCb 色彩空間中三個通道的顏色直方圖，並且記錄 其面積大小與嬰兒追蹤區塊的長度與寬度，建構下階段嬰兒追蹤特徵模型。關於 tracking object initialization 中所使用的演算法與各個子步驟的作法會在論文第四 章第一節有更詳盡的介紹。

一旦完整建構出嬰兒追蹤特徵模型後，系統不需要再重複執行第一個步驟，

便可直接進入第二個步驟 infant tracking。此步驟的主要目的是追蹤嬰兒在畫面中 的位置。追蹤時畫面上會定義一個 searching area，其範圍會隨著搜尋時的步伐大 小作調整，接著系統利用上一步驟所建立之嬰兒追蹤區塊的長度與寬度，來定義 搜尋時 detection window 的長、寬，然後利用三步搜尋法的搜尋策略，從 searching

27

area 的範圍內挑選嬰兒可能出現的候選位置，計算以每個候選位置為中心的 detection window 範圍內，Y、Cr、Cb 三個顏色直方圖。將此顏色直方圖與嬰兒 追蹤特徵模型所建立的三個顏色直方圖計算相似度高低。系統判定相似度最高的 detection window，為嬰兒目前的所在位置。

由於嬰兒的移動速度並不固定，然而傳統的三步搜尋法皆是以固定的步伐反 覆地進行搜尋，為了讓搜尋的過程能適應嬰兒的活動狀況，本研究將傳統的三步 搜尋法改良為 dynamic 3- step search。Dynamic 3- step search 會從輸入影像中時間 t 與t1時嬰兒的位移大小，來決定輸入影像在t1時間系統搜尋步伐大小，同時 步伐的調整也會連帶著改變 searching area 的範圍。

追蹤的過程中，本系統特別針對固定式攝影機的環境增加了調整 detection window 大小的功能。主要是因為考量到系統若架設固定攝影機，因架設高度不 夠，會導致嬰兒距離鏡頭較近時，其佔畫面的面積較大，而遠離鏡頭時又會變小。

嬰兒在畫面上形狀大小變化劇烈的現象會導致追蹤失敗，因此系統使用連續影像 相減法所得到的最適橢圓作為輔助資訊，當橢圓質心與 detection window 質心的 距離夠接近時，就利用橢圓的長軸與短軸來調整 detection window 的長度和寬度。

另外，不論是固定式攝影機或是 PT IP camera，隨著嬰兒面對鏡頭角度的不同，

其身上所統計的顏色直方圖也必須跟著調整。因此系統設立更新的條件，當條件 成立時，利用 detection window 與連續影像相減法所找到的最適橢圓，兩者交集 區域內的顏色直方圖，作為更新後追蹤特徵模型中的顏色特徵。系統更新嬰兒追 蹤特徵模型後，為防止追蹤失敗，另外設有 tracking correction 的功能，用來判斷 追蹤結果是否正確，若不正確則會採取不同的方式重新追回嬰兒。以上關於 infant tracking 詳細的作法將於論文第四章第二節進一步說明之。

系統進行至此，已能找出嬰兒在畫面中的位置。然而鏡頭所拍攝的畫面並不 能包含整個嬰兒活動空間。為了使嬰兒在大範圍內自由活動時，系統還能持續進 行動態的追蹤，第三個步驟 PT IP camera control 主要是針對使用 PT IP camera 環 境設計的功能，用來判斷嬰兒是否即將離開監控畫面。系統會根據讀入影像的大 小，在畫面上定義出 9 個區域。畫面正中間的區域，系統將其標示為安全範圍，

若此時嬰兒所在位置落在此區域內，表示此時的嬰兒還在監控畫面中，沒有離開 畫面的可能。若是落在其餘的區域內，則表示嬰兒有離開監控畫面的可能。若嬰

28

兒即將離開監控畫面，系統會啟動此一步驟，決定 PT IP camera 鏡頭移動的方向。

當嬰兒有可能離開畫面，系統會利用鏡頭尚未移動前嬰兒的位移量，針對鏡 頭可能移動的八個方向進行投票。為了使投票的結果既能符合嬰兒當下活動的意 願，又能保留鏡頭尚未移動時嬰兒在畫面中位移的歷史訊息，避免讓最後一刻嬰 兒的移動方向成為唯一的決策結果。另外，系統設定了退化機制，隨著時間的演 進，越早以前的投票結果，影響最後決策結果的權重會逐漸變小。同時，系統會 因為嬰兒所在的區域不同而刪除一些無效的移動方向，最後從篩選出來的移動方 向中選出票數最高的方向作為鏡頭 PT IP camera 鏡頭移動的方向。此部分在論文 第四章第三節會更完整的介紹。

本系統的最後一個步驟是 physical activity measurement，在追蹤成功的狀態 下，此步驟會先從追蹤結果中擷取出嬰兒的活動特徵，考慮到鏡頭若是移動會導 致畫面受到干擾。因此，在鏡頭靜止或移動二種不同狀態下，必須擷取不同的活 動特徵。本系統在鏡頭靜止時，從三個準則來評估嬰兒的活動狀況，主要分為質 心運動狀況、身體各部位活動狀況與活動持續狀況。質心運動狀況是使用質心移 動速度與加速度兩項評估方式；身體各部位的活動狀況則是利用 difference image 來計算 motion 總量與 motion 區塊分部的標準差；而活動持續狀況是透過 motion-history image (MHI) 得知各部位動作的持續過程。MHI 是一張灰階影像，

其值域為 0 至 255，影像上的值越小表示該動作出現在畫面上的時間越久遠。系 統會計算 MHI 中嬰兒區域內灰階值的平均，以及該區域內出現最大灰階值與最小 灰階值的差，利用此二個評估分數作為判斷嬰兒活動持續性的方式。

由於鏡頭移動的頻率不高，且每次移動的時間並不長，所以當鏡頭移動時，

活動狀況的評估準則就不考慮活動的持續性，僅以另外兩項準則作考量。此時，

畫面受到鏡頭移動的影響，各個準則的評估方式也會有所調整。其中，質心運動 狀況改以質心與鏡頭移動的相對速度來決定，系統計算嬰兒區塊與前面曾提及畫 面中的安全活動範圍交集面積作為評估分數。而身體各部位活動狀況，改由嬰兒 區塊中的 motion 方向與整個畫面 motion 方向的角度差作為評估分數。

本系統採取不同方式計算出評估分數後，先利用非線性函數將各個評估分數 換算成 METs 值的範圍，並且整合同一準則的各項評估分數得到綜合評量分數。

最後，再將各準則的綜合評量值整合成活動量值，並根據第一章第二節的公式

29

(1-1)，計算嬰兒在活動期間的總消耗熱量，列於輸出報表中，提供照護者參考使 用。上述 physical activity measurement 的測量方式，會於論文第五章詳細說明。

30