第四章 系統設計與實驗測試比較 系統設計與實驗測試比較 系統設計與實驗測試比較 系統設計與實驗測試比較
4.2.3 人體追蹤 人體追蹤 人體追蹤 人體追蹤
實驗圖示的橢圓顏色及其代表的演算法說明：
二維平均位移演算法：NMU(藍)、LTMU(黃)、NLTMU(天藍)、SSMU(紫)。
三維平均位移演算法：NMU(藍)、LTMU(黃)、NLTMU(天藍)、SSMU(紫)、
CCDMU(綠)、OTDMU(紅)。另外圖中下方紅色字的 quantity 指的是資料庫中目 前已儲存的資料數量，index 則表示當前我們所取出來用的資料編號。
實驗一利用追蹤演算法來追蹤人體。人的移動方式為平移旋轉皆有。
(1) 二維平均位移演算法：
圖 4.2-26: 人體追蹤一影像輸出結果(2D) 由左至右由上至下分別為 frame 1,9,56,78
由於灰色衣服與背景顏色過於相似，再加上左側的光亮影響，因此橢圓皆往
左側光亮處移動，很快地，四種方法皆追丟目標。
圖 4.2-27: 人體追蹤一中心距離誤差(2D)
(2) 三維平均位移演算法：
0 20 40 60 80 10 0 12 0 14 0 16 0 180
0 10 0 20 0 30 0 40 0 50 0 60 0
fram e/5
center error distance(pixel)
2D c ente r dis ta nc e
N M U LTM U N LTM U S S M U
圖 4.2-28: 人體追蹤一影像輸出結果(3D) 由左至右由上至下分別為 frame 94,189,368,432,602,677
由於三維的平均位移演算法能夠有效地分離前景與背景，因此各種方法都能 追得到目標物。由上述各 frame 可以看出，當追蹤人體的時候，由於衣服的顏色 通常為單一色系，在此情況下，NMU 的表現會是最好的，然而人體在旋轉及移 動的時候，會有包括手部與褲子的顏色資訊皆被選取做目標模型更新，這會使得 除了 NMU 之外的橢圓皆有放大及些許偏移的情況。不過在各種有進行目標模型 更新的方法中，可發現 OTDMU 的線上資料庫有助於解決些許目標模型偏移的問 題，這是因為利用資料庫，總能夠找到最相近的目標模型來繼續追縱，而不是像 其他方式一樣，會一直將所得到的資訊拿來做目標更新，而不考慮是否是目標本 身的顏色。
圖 4.2-29: 人體追蹤一中心距離誤差(3D)
圖 4.2-30: 人體追蹤一目標顏色相似度
0 20 40 60 80 10 0 12 0 14 0 16 0 180
0 .7 0.7 5 0 .8 0.8 5 0 .9 0.9 5 1
fram e/5
color similarity
3D c olor m od el
N M U LTM U N LTM U S S M U C C D M U O TD M U
0 20 40 60 80 10 0 12 0 14 0 16 0 180
0 2 0 4 0 6 0 8 0 10 0 12 0
fram e/5
center error distance(pixel)
3D c ente r dis ta nc e
N M U L TM U N LTM U S S M U C C D M U O TD M U
圖 4.2-31: 人體追蹤一目標空間分佈相似度
表 4.2-9: 人體追蹤一數值結果(2D)
2D Mean-Shift 平均處理時間(sec) 平均中央誤差(pixel)
NMU 0.012949 382.26
LTMU 0.012411 383.46
NLTMU 0.0046156 264.7
SSMU 0.013705 381.67
0 20 40 60 80 10 0 12 0 14 0 16 0 180
0.97 5 0.9 8 0.98 5 0.9 9 0.99 5 1 1.00 5
fram e/5
eigenvalue similarity
3D ellips e
N M U LTM U N LTM U S S M U C C D M U O TD M U
表 4.2-10: 人體追蹤一數值結果(3D)
3D Mean-Shift 平均處理時間
(sec)
平均中央誤差 (pixel)
平均顏色相似度 平均空間分佈 相似度
NMU 0.013723 24.915 0.93498 0.99707
LTMU 0.015813 46.155 0.92139 0.99669
NLTMU 0.015841 47.369 0.92678 0.9967
SSMU 0.016141 46.609 0.91375 0.99654
CCDMU 0.015959 47.384 0.89238 0.99635
OTDMU 0.017862 43.401 0.92634 0.9967
實驗二同樣利用追蹤演算法來追蹤人體，但在畫面中有擺放椅子當障礙物。
(1) 二維平均位移演算法：
圖 4.2-32: 人體追蹤二影像輸出結果(2D) 由左至右由上至下分別為 frame 3,14,17,19
由於灰色衣服與背景顏色過於相似，且左上角受亮光影響，因此四種方法皆
往左上天花板的亮光處移動，很快地，四種方法皆發散。
圖 4.2-33: 人體追蹤二中心距離誤差(2D)
(2) 三維平均位移演算法：
0 50 10 0 1 50 200 250
0 10 0 20 0 30 0 40 0 50 0 60 0 70 0
fram e/5
center error distance(pixel)
2D c ente r dis ta nc e
N M U L TM U N LTM U S S M U
圖 4.2-34: 人體追蹤二影像輸出結果(3D)
由左至右由上至下分別為 frame 52,210,224,1007,1024,1057
一開始我們所選定的目標範圍只有衣服的灰色部份，不包括手臂及褲子的顏 色，在 frame 52 的時候，除了 NMU 之外的方法皆有做目標更新，所以把褲子的 顏色也更新進去，因此所圈的橢圓明顯比 NMU 的範圍來得大。從 frame 210 到 frame 224，可以發現藉由深度資訊的不同，可以區分出屬於目標前景與背景的資 訊。在 frame 1007 時，NMU 受到手臂顏色的阻撓，無法將整個目標範圍框住，
使得其判斷目標的中心點移到背部，導致目標範圍過小而消失，在 frame 1024 也 發生一樣的事，CCDMU 也因圈選的目標中心移到側身的手臂與身體交界處，無 法完整框住目標，最終導致範圍過小而消失。另外在 frame 1007 我們也可發現 CCDMU 和 OTDMU 在框住目標物時，連不同深度的椅背部分也圈選進去，這是 因為這兩個方法仍然有將腳的顏色資訊拿進來做更新，由於腳的深度和身體的深 度是一樣的，因此在決定目標深度時身體和腳都會包括在裡面，因此位於兩者之 間的椅背部分就同時被圈選起來了。在 frame 1057 則是另三種更新方法藉由主成 份分析所計算出來的三維橢圓球的三軸長在投影到 uv 平面之後，導致二維橢圓 的寬度為 0 而追蹤失敗。最後只剩 OTDMU 藉由線上模板資料庫的幫助，可以準 確地抓住目標物，其表現為所有方法中最佳。
圖 4.2-35: 人體追蹤二中心距離誤差(3D)
圖 4.2-36: 人體追蹤二目標顏色相似度
0 50 10 0 1 50 200 250
0 0 .1 0 .2 0 .3 0 .4 0 .5 0 .6 0 .7 0 .8 0 .9 1
fram e/5
color similarity
3D c olor m od el
N M U LTM U N LTM U S S M U C C D M U O TD M U
0 50 10 0 1 50 200 250
0 5 0 10 0 15 0 20 0 25 0 30 0 35 0 40 0 45 0 50 0
fram e/5
center error distance(pixel)
3D c ente r dis ta nc e
N M U LTM U N LTM U S S M U C C D M U O TD M U
圖 4.2-37: 人體追蹤二目標空間分佈相似度
表 4.2-11: 人體追蹤二數值結果(2D)
2D Mean-Shift 平均處理時間(sec) 平均中央誤差(pixel)
NMU 0.019393 431.53
LTMU 0.020844 431.74
NLTMU 0.024598 431.53
SSMU 0.020343 431.53
0 50 10 0 1 50 200 250
0 0 .1 0 .2 0 .3 0 .4 0 .5 0 .6 0 .7 0 .8 0 .9 1
fram e/5
eigenvalue similarity
3D ellips e
N M U LTM U N LTM U S S M U C C D M U O TD M U
表 4.2-12: 人體追蹤二數值結果(3D)
3D Mean-Shift 平均處理時間
(sec)
平均中央誤差 (pixel)
平均顏色相似度 平均空間分佈 相似度
NMU 0.012718 73.929 0.7563 0.80165
LTMU 0.014067 82.901 0.76277 0.83863
NLTMU 0.014364 82.408 0.75838 0.83887
SSMU 0.014523 82.611 0.75745 0.83851
CCDMU 0.014833 92.249 0.73602 0.81081
OTDMU 0.018027 43.592 0.87229 0.99387
實驗三為拿著 Kinect 跟蹤於人體後面，同時測試目標人物與非目標人物交錯 而過時，各種演算法的穩定度與準確度。
(1) 二維平均位移演算法：
圖 4.2-38: 人體追蹤三影像輸出結果(2D) 由左至右由上至下分別為 frame 67,81,97,534
一開始四種方法皆有抓到目標物，在 frame 67 時，LTMU 引入過多非目標的 資訊而發散，緊接著 frame 81 時，NMU 也因圈選的範圍往上移而追丟目標。在 frame 97，SSMU 也跟著發散，最終只剩 NLTMU 有抓住目標人物。
圖 4.2-39: 人體追蹤三中心距離誤差(2D)
(2) 三維平均位移演算法：
0 20 40 60 80 100 1 20 140
0 10 0 20 0 30 0 40 0 50 0 60 0
fram e/5
center error distance(pixel)
2D c ente r dis ta nc e
N M U LTM U N L TM U S S M U
圖 4.2-40: 人體追蹤三影像輸出結果(3D) 由左至右由上至下分別為 frame 77,200,306,535,551,555
在 frame 200 時，因非目標人物與目標物的深度範圍近乎相同，因此與目標 物顏色較為相近的手部範圍也被圈選進來。在 frame 535，同樣因深度範圍相同而 連同非目標人物一起圈選，其中 NLTMU 在 frame 551 因更新過度而將目標追丟。
在 frame 551，同樣因深度範圍相同，另四種更新方法皆因更新而將顏色相近的手 部範圍圈選進來，在 frame 555 時，OTDMU 藉由資料庫的幫助，能夠較其他方 法更快地重新準確地圈住目標。
圖 4.2-41: 人體追蹤三中心距離誤差(3D)
圖 4.2-42: 人體追蹤三目標顏色相似度
0 20 40 60 80 100 1 20 140
0 0 .1 0 .2 0 .3 0 .4 0 .5 0 .6 0 .7 0 .8 0 .9 1
fram e/5
color similarity
3D c olor m od el
N M U L TM U N LTM U S S M U C C D M U O TD M U
0 20 40 60 80 100 1 20 140
0 5 0 10 0 15 0 20 0 25 0 30 0 35 0 40 0 45 0
fram e/5
center error distance(pixel)
3D c ente r dis ta nc e N M U LTM U N LTM U S S M U C C D M U O TD M U
圖 4.2-43: 人體追蹤三目標空間分佈相似度
表 4.2-13: 人體追蹤三數值結果(2D)
2D Mean-Shift 平均處理時間(sec) 平均中央誤差(pixel)
NMU 0.017976 340.56
LTMU 0.024938 344.95
NLTMU 0.010255 64.906
SSMU 0.030017 331.98
0 20 40 60 80 100 1 20 140
0 0 .1 0 .2 0 .3 0 .4 0 .5 0 .6 0 .7 0 .8 0 .9 1
fram e/5
eigenvalue similarity
3D ellips e
N M U LTM U N L TM U S S M U C C D M U O TD M U
表 4.2-14: 人體追蹤三數值結果(3D)
3D Mean-Shift 平均處理時間
(sec)
平均中央誤差 (pixel)
平均顏色相似度 平均空間分佈 相似度
NMU 0.014854 40.611 0.96254 0.99708
LTMU 0.015152 39.128 0.94557 0.99723
NLTMU 0.015347 106.93 0.7576 0.81359
SSMU 0.014984 39.163 0.93216 0.99719
CCDMU 0.015005 37.462 0.9306 0.99718
OTDMU 0.018034 39.859 0.92244 0.99687