呼吸點選取分析

實驗影片分成兩大類型：(1)影像中只有嬰兒呼吸造成的 motion。(2)影像中除 了嬰兒呼吸外還有其他外力造成的 motion，例如：風力、吸吮奶嘴、翻身等。第 一類影片的結果如圖 5.2 所示，實驗對象為 3 個月的嬰兒，此段影片長度為 4 分 6 秒，其中圖 5.2(a)為

CM

影像之結果；圖 5.2(b)為圖 5.2(a)中特徵值

F

前 20 大的 像素點，將其標記為亮藍色當作呼吸候選點；而圖 5.2(c)為圖 5.2(b)中之候選點經 過驗證後留存下來的呼吸點，其中標記為紅色之像素點為驗證過程中最符合呼吸

47

點的特徵，其次為綠色、藍色。而影像中呼吸點所在的座標以及驗證過程請參閱 表 5-2。

(a) (b)

(c)

圖 5.2：呼吸點選取。(a)

CM

影像。(b)候選點擷取之影像。(c)呼吸點擷取之影像。

表 5-2 的第一欄顯示系統偵測到的 20 個候選點，其中

x

₁

, x

₂

, x

₃

, x

₄分別為原始

特徵值，而

h

₁

, h

₂

, h

₃

, h

₄分別為其對應的信心函數，特徵值經函數轉換後可得到信 心程度值，結合每個特徵不同的重要性，最後整合出結果值當作篩選候選點的條 件。本研究以 0.7 當作篩選呼吸點的門檻值，若某候選點的整合值低於 0.7，則將 該候選點濾除；反之，整合值高於 0.7 的候選點則保存下來視為呼吸點。因此，

檢查表 5-2 中候選點的整合值，有兩個候選點其整合值分別為 0.67 及 0，系統會 將其濾除，而最終的呼吸點依整合值由大至小排序如表 5-3，其順序為由左至右 由上至下。

48

表 5-2：候選點驗證過程。

候選點 座標(x,y)

x

1

亂度

) (

₁

1

x

h x

²

週期

h

₂

( x

₂

) ^x

³

峰度

h

₃

( x

₃

) ^{x 4}

偏態

h

₄

( x

₄

)

^整合 值 (210,316)

2.237 0 16 1 10 0 10 0 0.670

(213,321) 2.255 0 11.5 1 0 1 -2 0.5 0.789 (201,109) 3.408 0.636 18 1 10 0 10 0 0.820 (210,221) 3.093 0.531 18 1 10 0 10 0 0.795 (198,179) 3.787 0.762 18.5 0.75 0 1 -2 0.5 0.792 (198,180) 3.685 0.728 18 1 10 0 10 0 0.841 (139,143) 3.537 0.679 18 1 10 0 10 0 0.830 (139,139) 3.604 0.701 18 1 10 0 10 0 0.835 (198,122) 3.459 0.653 18 1 10 0 10 0 0.824 (199,119) 3.547 0.682 17.5 1 0 1 -2 0.5 0.918 (213,227) 3.875 0.792 18 1 0 1 -2 0.5 0.940 (200,115) 3.689 0.730 18 1 10 0 10 0 0.842 (211,332)

2.30 0 0 0 10 0 10 0 0.000

(203,101) 3.80 0.767 18 1 10 0 10 0 0.850 (196,132) 3.715 0.738 18.5 0.75 0 1 -2 0.5 0.785 (200,114) 3.847 0.782 18 1 10 0 10 0 0.854 (195,167) 2.545 0 16.5 1 0 1 -2 0.5 0.789 (199,118) 3.99 0.830 18 1 10 0 10 0 0.865 (198,123) 3.767 0.756 17.5 1 0 1 -2 0.5 0.932 (203,102) 3.668 0.723 18 1 10 0 10 0 0.840

表 5-3：呼吸點位置。

(213,217) (198,123) (199,119) (199,118) (200,114) (203,101) (200,115) (198,180) (203,102) (139,139) (139,143) (198,122) (201,109) (210,221) (198,179) (213,321) (195,167) (196,132)

然而利用整合值的結果來擷取呼吸點如表 5-3，並無法說明該呼吸點是否正 確，因此本論文將呼吸點位置對應於連續影像中的 intensity 值記錄下來，並用 1D 波形圖來表示如圖 5.3 所示，其中橫坐標為第幾張影像，縱座標為 intensity 值。

49

50

具有明顯週期也沒有明顯起伏，故於驗證時期被濾除是正確的。此段影片的呼吸 點選取正確率如表 5-4，其中有一呼吸點(213,321)與其他兩點被濾除的候選點位 置非常接近(210,316)和(211,332)，理論上應該在驗證時被濾除但結果卻沒有，因 為其整合值有大於 0.7。從表 5-2 來看該呼吸點的亂度信心程度值為 0，應該完全 不可能是呼吸點，因此之後驗證時還需要多考慮此種情況。

表 5-4：呼吸點選取正確率。

擷取出呼吸點數量 18 個 實際呼吸點數量 17 個 precision

94.44%

第二類影片的結果如圖 5.5 所示，實驗對象為 3 個月的嬰兒，此段影片長度 為 5 分 13 秒。影片中嬰兒吸吮奶嘴入睡，因此影像中除了嬰兒呼吸造成的 motion 外還有吸吮奶嘴造成嘴邊附近的 motion。由於嬰兒吸吮奶嘴並非持續的動作，因

(a) (b)

(c)

圖 5.5：呼吸點選取。(a)

CM

影像。(b)候選點擷取之影像。(c)呼吸點擷取之影像。

51

此系統會於嬰兒吸吮動作暫緩時也就是當 temporal difference 影像

D

_T^t 中所有像素

p

的值皆小於

T '

時開始進行呼吸偵測。然而呼吸偵測過程中若嬰兒又繼續吸吮奶 嘴，只要其吸吮動作的位置不與呼吸點的位置重疊便不影響呼吸頻率的計算；否 則會當成有新動作發生，系統回到初始狀態再重新開始偵測。其中圖 5.5(a)為

CM

影像之結果；圖 5.5(b)為圖 5.5(a)中特徵值

F

前 20 大的像素點，將其標記為亮藍 色當作呼吸候選點；而圖 5.5(c)為圖 5.5(b)中之候選點經過驗證後留存下來的呼吸 點，其中標記為紅色之像素點為驗證過程中最符合呼吸點的特徵，其次為綠色、

藍色。而影像中呼吸點所在的座標以及驗證過程請參閱表 5-5。

表 5-5：候選點驗證過程。

候選點 座標(x,y)

x

1

亂度

h

₁

( x

₁

) x

²

週期

h

₂

( x

₂

) ^x

³

峰度

h

₃

( x

₃

) ^{x 4}

偏態

h

₄

( x

₄

)

^整合 值 (202,261) 4.080 0.86 12 1 0 1 -1.64 0.68 0.960 (221,194) 2.661 0 12.5 1 0. 1 -1.779 0.611 0.795 (224,179) 3.682 0.727 9.6 1 -0.132 0.868 -0.624 0.812 0.927 (227,160) 2.234 0 8.833 0.917 -0.013 0.987 -1.448 0.776 0.753 (194,185) 4.283 0.928 12.5 1 0 1 -1.779 0.611 0.971 (201,175) 3.807 0.769 12 1 0 1 -2 0.5 0.935 (184,201) 2.387 0 7.125 0.063 1.050 0 0.906 0.047 0.045 (183,205) 2.996 0 11.4 1 0.317 0.683 -1.771 0.614 0.766 (183,204) 4.216 0.905 12 1 0 1 -2 0.5 0.963 (201,235) 2.884 0 12.25 1 -0.187 0.813 -1.604 0.698 0.782 (198,181) 2.347 0 12.75 1 0.493 0.507 -1.372 0.814 0.763 (229,172) 3.743 0.748 9.6 1 -0.132 0.868 -0.624 0.812 0.931 (230,164) 2.442 0 9 1 0.447 0.553 -0.64 0.820 0.767 (224,172) 2.799 0 10 1 0.607 0.393 -0.5 0.75 0.749 (206,297) 3.257 0.586 12.5 1 0 1 -1.779 0.611 0.902 (231,160) 2.311 0 8.333 0.667 -0.517 0.483 -1.033 0.984 0.568 (194,186) 2.372 0 8.833 0.917 0.671 0.329 -1.228 0.886 0.697 (208,295) 2.427 0 8.5 0.75 -0.55 0.450 -1.357 0.822 0.596 (228,179) 3.743 0.748 9.6 1 -0.132 0.868 -0.624 0.812 0.931 (205,257) 2.133 0 10.4 1 -0.111 0.889 -1.602 0.699 0.789

52

檢查表 5-5 中候選點的整合值，有四個候選點其整合值分別為 0.045、0.568、0.697 及 0.596，因低於 0.7 門檻值系統會將該些候選點濾除，而最終的呼吸點依整合值 由大至小排序如表 5-6，其順序為由左至右由上至下。接著將呼吸點位置對應於 連續影像中的 intensity 值記錄下來，並用 1D 波形圖來表示如圖 5.6 所示，其中橫 坐標為第幾張影像，縱座標為 intensity 值。

表 5-6：呼吸點位置。

(194,185) (183,204) (202,261) (201,175) (229,172) (228,179) (224,179) (206,297) (221,194) (205,257) (201,235) (230,164) (183,205) (198,181) (227,160) (224,172)

從圖 5.6 中可明顯看出呼吸點位置的 intensity 值具有週期性的變化，並有明 顯的起伏；而圖 5.7 為被濾掉的候選點其 1D 波形圖，從圖中還是可觀察發現其

圖 5.6：整合值前三位的呼吸點於連續影像中其 intensity 值變化情形。

200 4060 10080 120140 160180 200

1 14 27 40 53 66 79 92 105 118 131 144 157 170 183 196 209 222 235 248 261 274 287 300 313 326 339 352

194,185

200 4060 10080 120140 160180 200

1 14 27 40 53 66 79 92 105 118 131 144 157 170 183 196 209 222 235 248 261 274 287 300 313 326 339 352

183,204

200 4060 10080 120140 160180 200220

1 14 27 40 53 66 79 92 105 118 131 144 157 170 183 196 209 222 235 248 261 274 287 300 313 326 339 352

202,261

53

圖 5.7：被濾除之候選點於連續影像中其 intensity 值變化情形。

具有振幅較小的週期。但由於其 intensity 值變化較不明顯導致其分布範圍較窄，

因此亂度值較低其信心程度值為 0，最終整合值低於 0.7 故於驗證時被濾除。而 有些存留下來的呼吸點於驗證過程中其亂度的信心程度值也為 0，但其他特徵的 信心程度值夠高，因此最終整合值高於 0.7 不必被濾除，如圖 5.8 所示。該圖利 用候選點座標(221,194)為範例，其亂度信心程度值為 0，整合值為 0.795，雖然其 intensity 值分布範圍不廣，但還是具有週期性。此段影片的呼吸點選取正確率如 表 5-7 所示。

0 2040 60 10080 120 140

1 14 27 40 53 66 79 92 105 118 131 144 157 170 183 196 209 222 235 248 261 274 287 300 313 326 339 352

184,201

0 20 40 60 80 100

1 14 27 40 53 66 79 92 105 118 131 144 157 170 183 196 209 222 235 248 261 274 287 300 313 326 339 352

231,160

200 4060 10080 120140 160

1 14 27 40 53 66 79 92 105 118 131 144 157 170 183 196 209 222 235 248 261 274 287 300 313 326 339 352

194,186

0 20 40 60 80 100

1 14 27 40 53 66 79 92 105 118 131 144 157 170 183 196 209 222 235 248 261 274 287 300 313 326 339 352

208,295

54

圖 5.8：候選點(221,194)於連續影像中其 intensity 值變化情形。

表 5-7：呼吸點選取正確率。

擷取出呼吸點數量 16 個 實際呼吸點數量 16 個 precision

100%

第二類影片的結果還有圖 5.9 所示，實驗對象為 14 個月的嬰兒，此段影片長 度為 5 分 33 秒。影片中嬰兒吹風扇入睡，因此影像中除了嬰兒呼吸造成的 motion

(a) (b)

(c)

圖 5.9：呼吸點選取。(a)

CM

影像。(b)候選點擷取之影像。(c)呼吸點擷取之影像。

150 170 190 210

1 14 27 40 53 66 79 92 105 118 131 144 157 170 183 196 209 222 235 248 261 274 287 300 313 326 339 352

221,194

55

外還有風扇吹拂頭髮造成的 motion。其中圖 5.9(a)為

CM

影像之結果；圖 5.9(b) 為圖 5.9(a)中特徵值

F

前 20 大的像素點，將其標記為亮藍色當作呼吸候選點；而 圖 5.9(c)為圖 5.9(b)中之候選點經過驗證後留存下來的呼吸點，其中標記為紅色之 像素點為驗證過程中最符合呼吸點的特徵，其次為綠色、藍色。而影像中呼吸點 所在的座標以及驗證過程請參閱表 5-8。

檢查表 5-8 中候選點的整合值，有十個候選點其整合值低於 0.7 門檻值，系 統會將該些候選點濾除。因此原先因風扇吹拂而位於頭髮的候選點，由於其驗證 過程不符呼吸點的特性最終被濾除。呼吸點依整合值由大至小排序如表 5-9，其 順序為由左至右由上至下。接著將呼吸點位置對應於連續影像中的 intensity 值記

表 5-8：候選點驗證過程。

候選點 座標(x,y)

x

1

亂度

h

₁

( x

₁

) x

²

週期

h

₂

( x

₂

) ^x

³

峰度

h

₃

( x

₃

) ^{x 4}

偏態

h

₄

( x

₄

)

^整合 值 (76,349) 3.090 0.530 7.125 0.063 1.202 0.000 0.589 0.206 0.292 (74,361) 3.364 0.621 8.500 0.750 -0.444 0.556 -0.399 0.699 0.708 (36,346) 3.409 0.636 6.100 0.000 -0.070 0.930 -0.440 0.720 0.485 (165,99) 3.286 0.595 9.167 1.000 -0.321 0.679 -0.399 0.700 0.879 (163,89) 3.439 0.646 9.333 1.000 0.626 0.374 -0.960 0.980 0.889 (170,144) 2.762 0.000 13.667 1.000 0.492 0.508 -1.500 0.750 0.759 (72,353) 2.624 0.000 5.889 0.000 0.807 0.193 -0.221 0.611 0.109 (64,358) 2.838 0.000 8.667 0.833 -0.088 0.912 -0.869 0.934 0.706 (63,346) 2.866 0.000 7.625 0.313 0.611 0.389 -0.260 0.630 0.308 (17,334) 3.550 0.683 7.750 0.375 -0.132 0.868 -1.453 0.774 0.623 (72,360) 2.836 0.000 7.571 0.286 1.003 0.000 0.120 0.440 0.229 (165,105) 3.430 0.643 10.500 1.000 0.284 0.716 -1.057 0.971 0.908 (167,97) 3.787 0.762 18.500 0.750 0.000 1.000 -2.000 0.500 0.792 (166,85) 3.253 0.584 9.000 1.000 0.244 0.756 -1.477 0.762 0.888 (78,349) 2.931 0.000 6.100 0.000 0.051 0.949 -1.507 0.747 0.256 (163,110) 2.504 0.000 7.833 0.417 0.143 0.857 -1.197 0.902 0.474 (157,123) 3.115 0.538 14.000 1.000 0.000 1.000 -1.500 0.750 0.901 (62,365) 3.016 0.505 7.429 0.214 0.768 0.232 -0.044 0.522 0.379 (181,160) 3.108 0.536 11.250 1.000 0.218 0.782 -1.680 0.660 0.876 (189,235) 3.198 0.566 7.714 0.357 0.198 0.802 -1.153 0.923 0.580

56

錄下來，並用 1D 波形圖來表示如圖 5.10 所示，其中橫坐標為第幾張影像，縱座 標為 intensity 值。

表 5-9：呼吸點位置。

(165,105) (157,123) (163,89) (166,85) (165,99) (181,160) (167,97) (170,144) (74,361) (64,358)

從圖 5.10 中可明顯看出呼吸點位置的 intensity 值具有週期性的變化，並有明 顯的起伏；反觀圖 5.11 為被濾掉的候選點其 1D 波形圖，從圖中可觀察發現其未 具有明顯週期，故於驗證時被濾除是正確的。系統於呼吸候選點偵測階段共偵測 到 10 個候選點位於頭髮的位置，而驗證時有 8 個候選點低於門檻值被濾除，因 此尚有 2 個偽呼吸點未被濾除。由於偽呼吸點其整合值位於門檻值邊緣，若將門 檻值設為更嚴謹則可以改善此種情形。此段影片的呼吸點選取正確率如表 5-10。

圖 5.10：整合值前二位的呼吸點於連續影像中其 intensity 值變化情形。

表 5-10：呼吸點選取正確率。

擷取出呼吸點數量 10 個 實際呼吸點數量 8 個

precision

80%

0 20 40 60 80 100 120

1 14 27 40 53 66 79 92 105 118 131 144 157 170 183 196 209 222 235 248 261 274 287 300 313 326 339 352

165,105

200 40 6080 100 120140

1 14 27 40 53 66 79 92 105 118 131 144 157 170 183 196 209 222 235 248 261 274 287 300 313 326 339 352

157,123

57

圖 5.11：被濾除之候選點於連續影像中其 intensity 值變化情形之範例。

在文檔中 以呼吸頻率為基礎之嬰兒意外監控系統 (頁 56-67)