第五章 嬰兒身體活動量分析
第一節 嬰兒活動量特徵
本節開始說明系統從監控畫面中評估嬰兒活動量所使用的各項準則，以及所 要擷取的特徵。本研究建構了一個總代謝當量的特徵分析圖 (如圖 5.1 所示)，圖 中由左至右一共分為四個階層。第一層是總代謝當量值 (在下文中簡稱 METs)，
其值代表的是每個時間點嬰兒的活動量。同時也可以利用它來計算嬰兒活動的總 消耗熱量，此為本研究的最終目標；在計算 METs 之前，系統需先從畫面中擷取 出嬰兒的活動量特徵，然而鏡頭在不同的狀態下所拍攝到的畫面，其清晰度相差 很大其所能擷取到的特徵亦不相同。例如：鏡頭移動時所拍攝到的畫面，會因鏡 頭移動而變得模糊故無法擷取 motion 特徵。所以第二層依鏡頭的狀態分為靜止 (motionless) 與移動 (motion) 二種模式。不論當前鏡頭的狀態是靜止或是移動，
都會由下一個階層中列舉出的多項評估準則，來判斷嬰兒的活動量大小。
經過第三層中各項評估準則的評估後，其結果必須與能量消耗的多寡相互對 應，才能正確的提供嬰兒活動量大小的資訊。在第一章第二節活動量之評估中曾
63 Goal
(First level)
State of camera (Second level)
Assessment criteria of physical activity
(Third level)
Features (Fourth level)
Activity of the gravity
Activity of different body parts
Persistence of activity
Activity of the gravity
Activity of different body parts Motionless
Motion Metabolic equivalent
(METs)
Velocity of the gravity
Motion amount
Motion distribution
Average intensity of MHI
Histogram spread of MHI
Relative velocity
Average value of angle difference
圖 5.1 The feature analysis of MET。 body parts) 與活動持續性 (persistence of activity)。其中，activity of the gravity 用 來評估嬰兒移動與否及其移動的情形；而 activity of different body parts 主要用來 區分在嬰兒質心幾乎沒有移動的狀態下身體各部位的動作情形；最後，persistence of activity 即是評估嬰兒動作的持續情形。特別需要注意的是，鏡頭在靜止時需同 時依照此三項評估準則來計算特徵值，然而鏡頭移動時則可以忽略活動持續性這 項準則。主要原因是鏡頭移動的時間很短暫，在短暫時間內忽略該準則並不影響 活動量的測量與計算。
64
前面曾提到本系統在擷取活動量特徵前，必須先得到三種結果圖，分別是 tracking result image、difference image 以及 motion-history image。接著，再從三個 結果圖中擷取特徵並計算特徵值。因此，接下來在第一項會先介紹上述的三種結 果圖，以及每張結果圖中含有的活動量資訊。然後第二項會說明本系統欲擷取的 七 種 活 動 量 特 徵 ， 分 別 為 velocity of the gravity 、 motion amount 、 motion distribution、average intensity of MHI、histogram spread of MHI、relative velocity 及 average value of angle difference，與其特徵值的計算方式。
第一項 影像前處理
本系統原始輸入影像經過追蹤步驟後，會得到如圖 5.2(a) 的結果，此張影像 即為第一種結果圖 (tracking result image)。在擷取嬰兒活動量特徵時，此圖提供 了二個重要的資訊。第一個資訊為嬰兒的位置資訊，第二個資訊為活動特徵的擷 取範圍 (feature detection window)。由於人類在用眼睛觀察物體的移動狀態時，會 將物體視為一個剛體，以剛體質心的運動速度來判斷其移動的速度。因此，本系 統在計算 velocity of the gravity 與 relative velocity 時也運用剛體運動的概念來判斷 嬰兒的移動速度。在鏡頭靜止的狀態下，圖中紅色方框的中心點所代表的就是嬰
除了 velocity of the gravity 與 relative velocity 之外，其它的五種特徵，不論是要從 哪一張結果圖中擷取，其擷取的位置與範圍，都是在對應此綠色方框之範圍內。
第二種結果圖 (difference image) 即是差分影像。由於嬰兒本身並非一個剛體 (而是 non-rigid body)，所以經常會有形狀變化的現象，例如：姿態變化、四肢動 作、繞著質點旋轉等等。可見嬰兒的活動不僅有移動與不移動的區別外，在嬰兒
65
(a) (b) (c) (d)
圖 5.2 追蹤與特徵擷取執行結果
(a)嬰兒原地晃動的追蹤結果；(b)嬰兒特徵擷取範圍；
(c) difference image；(d) motion-history image。
66
質心幾乎不移動的狀態下，還須考慮到每個時間點身體各部位的活動狀況。如圖 5.2(c) 所示，白色的方框對應圖 5.2(b) 中的綠色方框，方框內的每個像素點的 intensity 值提供了每個時間點嬰兒的 motion 量。七種特徵中的 motion amount 將 從此圖中求得，詳細的計算方式將會在本節第二項中說明。
第三種結果圖則是 motion-history image (在下文中簡稱 MHI)。MHI 的概念源 自於 MIT Media 實驗室中 Bobock 等人 [Bob96] 提出的 temporal templates。同一 個實驗室中 Davis 等人 [Dav99] 也進一步將此方法用於 action recognition 中。此 外，還有 Bradski 等人 [Bra00] 也將其方法用在 pose recognition 的相關研究。不 同於 difference image 只存每個時間點的 motion 資訊，MHI 將連續時間的 difference image 的歷史資訊同時呈現在同一張影像上，越晚發生的 motion 所對應的像素 此常數的目的在於，使當前沒有發生 motion 的像素點隨著時間的演進其 intensity 值能逐漸降低。
67
原則上 MHI 為一張灰階影像，影像上每個像素點的 intensity 值都介於 0 至 255 之間。本系統為了方便區分 difference image 與 MHI 二張影像，將 MHI 以 green channel 的 intensity 值來表示。如圖 5.2(d) 所示，越早以前發生 motion 的像素點 在圖上呈現其 intensity 值越接近 0，而越接近當前時間發生 motion 的像素點，則 在圖上呈現其 intensity 值越接近 255。MHI 所提供的資訊會在擷取 motion distribution、average intensity of MHI 與 histogram spread of MHI 時使用到，詳細 的計算方式將於本節第二項說明之。
第二項 活動量特徵值計算
利用本節第一項所介紹的三張結果圖，可以擷取出七種活動量的特徵，以下 將依順序逐一說明 (A)velocity of the gravity、(B)motion amount 、(C)motion distribution、(D)average intensity of MHI、(E)histogram spread of MHI、(F)relative velocity 以及 (G)average value of angle difference 七種特徵值的計算方法。
(A) Velocity of the gravity(F ) v
Velocity of the gravity 是指嬰兒區塊質心的移動速度，主要代表鏡頭靜止時嬰 兒整體的移動速度。以鏡頭靜止且嬰兒正在爬行的情況為例，如圖 5.3 所示，圖 的下方是為連續二張原始輸入影像。圖的上方所顯示的則是原始輸入影像所對應 的局部放大圖，放大圖中的紅色方框為追蹤的結果，其方框的質心位置以深藍色 圓點表示，而該輸入影像前一時刻的質心位置，則是以粉紅色圓點表示。本系統 將圖 5.3(a) 中時間 t 與時間t1心位移量，與圖 5.3(b) 中時間 t 與時間t1的質 心位移量，分別除以時間間隔之後，就是嬰兒在時間 t 與時間t1的移動速度。
為了方便之後的特徵值整合，本系統會將 velocity of the gravity 的值量化至 0 到 1 之間並以F 表示之。若v F 越接近 1 表示嬰兒的移動速度越快；反之若v F 越接近 0v 表示其移動速度越慢。
(B) Motion amount(F ) m
Motion amount 是指 difference image 上白色像素點的多寡，主要用來描述鏡 頭靜止時嬰兒動作的幅度大小。在圖 5.2 的影像中該嬰兒的身體原本呈現左側接 近地面，並以左手撐著身體且以右手撿拾玩具，接著將玩具拿在手中，伸手在空
68
t t-1 t+1 t
(a) (b)
圖 5.3 嬰兒質心位移結果圖
(a)時間 t 的追蹤結果與局部放大圖；(b)時間t1的追蹤結果與局部放大圖。
中向右揮動，然後玩具呈拋物線狀飛出，最後嬰兒在影像上呈現坐姿。觀察圖 5.2 (a) 的追蹤結果圖中可以發現，紅色方框的範圍無法包含整個嬰兒，故本研究在 擷取活動量特徵時，使用的是圖 5.2(c) 中的 difference image，是以白色正方形方 框，白色正方形方框內即為計算 motion amount 的範圍。Motion amount 以F 表示，m 其計算方法就是統計 difference image 上白色方框內 intensity 值為 1 的個數占整個 方框面積的百分比，其值會介於 0 到 1 之間。若嬰兒的動作從小到大，則 difference image 上的白色點面積也由少至多，也就是說若F 越接近 1，表示嬰兒的活動量m 越大；反之，若F 越接近 0 則活動量越小。 m
(C) Motion distribution(F ) d
Motion distribution 是指 difference image 上白色像素點分布的狀況，用來描述 嬰兒動作部位的分布狀況。擷取此特徵時，系統會將 MHI 上的 motion-history 分 割成數個 local regions，以下先講述單一 local regions 擷取的方法。此方法如示意 圖 5.4(a) 所示，先依照 intensity 值的高低將像素點分層進行連通標記 (connected component)，也就是說有同樣 intensity 值且相鄰之像素點會被連通標記成一個區 塊。再經由圖中標示為 (1) 的紅色箭頭逐一像素點尋找 current motion。若在時間 t 的影像中產生 motion 的部位只有一個，與 current motion 相同 intensity 值的像素
69
Current motion
(1) (2)
(3)
Local region motion
Current motion
(a) (b)
圖 5.4 Segmenting local regions of motion in the MHI (a)The step of segmenting local region；
(b)The local region and the center point of motion。
點經過連通標記後只會有一個 current motion 的區塊；反之，若嬰兒有多個部位同 時產生 motion，則系統會標記出多個不同的 current motion 區塊。針對系統找到 current motion 區塊後都必須進行圖中標示為 (2) 以及 (3) 的紅色箭頭之步驟。
其中，標示為 (2) 的紅色箭頭表示系統會搜尋與 current motion 區塊相鄰的 motion-history (分層連通標記的結果)，此相鄰的區塊中的像素點因經過時間退化 所以 intensity 值較小。系統會用一個參數來決定可接受的最小 intensity 值。也 就是說，若相鄰 current motion 的 motion 區塊，其 intensity 值大於，就會與 current motion 屬於同一個 local region。接著，如同圖中標示為 (3) 的紅色箭頭所示，依 此類推逐層往下搜尋，直到沒有相鄰的區塊或是該區塊的 intensity 值小於時停 止。最後，圖中黃色虛線所圈選的 motion-history 即是被系統擷取出的一個 local region。原則上每個區塊對本系統來說代表身體的某個部位，當區塊越多，表示
70
(a) (b) (c) (d)
圖 5.5 MHI 分割並標記的範例
(a) Current motion 區塊過小；(b)只有單一 local region；
(c)出現多個 local regions；(d)motion 分布廣卻只有單一 local region。
n
h h
j j j
n 1
)2
1 (
(5-1-4)
其中，i 與 j 分別表示所有中心點在 x 軸上座標的平均位置，以及所有中心點在 y 軸上座標的平均位置。最後，motion distribution Fd (ij) 2，其值會介於 0 至 1 之間。
圖 5.5(a) 至 (d) 展示了幾種常見的 motion 分布狀況，上圖為原始輸入影像，
圖中綠色方框為特徵擷取的範圍，而下圖則為對應的 MHI 以及 local regions 的標 記結果。其中，圖 5.5(a) 的例子因 motion-history 的範圍太小，而沒有任何 current motion 區塊被標記，系統會將F 設為 0；而圖 5.5(b) 的例子中只有出現一個 current d motion 區塊，也就是說只有少部分的身體部位有發生動作，因此F 亦為 0；另外，d 圖 5.5(c) 則是身體多個部位發生動作的例子，此時 Fd 0；最後圖 5.5(d) 是特 殊狀況，圖中 motion 分布的面積廣，但只有標記出一個 local region，表示整個身 體正在同步動作，在這種狀況下 motion distribution 無法正確的描述動作分布的狀 況，因此系統亦將F 設為 0。 d
(D) Average intensity of MHI(F ) i
Average intensity of MHI 指的是正規化後 MHI 中像素點的平均 intensity 值，
主要目的在描述鏡頭靜止時嬰兒動作的持續性。圖 5.6 即為影片 2014_1_9_4 中第 960 張 frame 的範例。圖 5.6(a) 為圖原始輸入影像，其中綠色方框代表特徵擷取
71
Pixel intensity Pixel intensity
# of the pixels
72
右上方的示意圖；否則當F 接近 0 時，表示嬰兒嬰兒的動作已經結束如圖 5.6(c) 中i
右上方的示意圖；否則當F 接近 0 時，表示嬰兒嬰兒的動作已經結束如圖 5.6(c) 中i