4.5.1 背景修正的效果
圖 4.3∼4.6 展示四個攝影機的背景修正演算法的效果, 背景變亮造成的錯誤和陰影部分都被正確改 回背景。
(a) (b) (c)
圖 4.3: (a)Camera 1 測試影像; (b) bf = 40 時 codebook model 背景切割結果; (c) bf = 40 ,code-book+ 背景修正結果
(a) (b) (c)
圖 4.4: (a)Camera 2 測試影像; (b) bf = 2 時 codebook model 背景切割結果; (c) bf = 2 ,codebook+
背景修正結果
(a) (b) (c)
圖 4.5: (a)Camera 3 測試影像; (b) bf = 6 時 codebook model 背景切割結果; (c) bf = 6 ,codebook+
背景修正結果
(a) (b) (c)
圖 4.6: (a)Camera 4 測試影像; (b) bf = 2 時 codebook model 背景切割結果; (c) bf = 2 ,codebook+
背景修正結果
4.5.2 實驗數據
透過實驗我們發現 camera 2∼4 的成功率在 bf = 30 時趨於收斂, Rsuccess 極大值出現在 bf = 2 ∼ 32 之間, 所以這三個實驗只列出 bf = 2, 4, . . . , 38 的結果。
camera 1 的情況較為特別, 由於該攝影機架設在車站中比較偏僻的角落, 拍攝畫面在大部分時 間都只有背景, 所以訓練畫面中前景物體的出現量遠比其他攝影機少。 陰影通常都伴隨著前景物體 出現, 前景物體減少也意味著訓練畫面中陰影像素變少, 表 4.3 中的數據也反映了此現象 — camera 1 建構的 codebook model 樣本幾乎都集中在第一個 codeword , 所以從第二個 codeword 開 始樣本數量遠比其他攝影機少, 陰影資料的減少造成使用 bf 調整明暗容忍度的幅度較為平緩。 此 推論可以從表 4.4 獲得證實 — 隨著 bf 增加, camera 1 模型的 codeword 個數的增加速度明顯 比其他三個攝影機慢。 因此, 在 camera 1 的實驗中 Rsuccess 極大值出現位置比其他攝影機高出很 多, 使用修正演算法時的 Rsuccess 極大值出現在 bf = 40 時; 未修正時的 Rsuccess 極大值出現在 bf = 126 ∼ 142 之間, 所以我們只列出 bf = 2 ∼ 254 之間 20 筆數據, 在 Rsuccess 極大值附近的 數據比較密集一些。
以下用圖表列舉四個攝影機的實驗組 (codebook+ 修正演算法 ) 與對照組 (codebook), 在不 同參數 bf 下的成功率 (Rsuccess)、 平均背景錯誤率 (Average eB)、 最差背景錯誤率 (Worst eB)、
平均前景錯誤率 (Average eF)、 最差前景錯誤率 (Worst eF)。
表 4.7: Camera 1 在 bf = 2 ∼ 254 的實驗結果 codebook
bf Rsuccess (%) Average eB (%) Worst eB (%) Average eF (%) Worst eF (%) 2 68.733299 29.488400 67.285103 1.778180 8.428300 4 69.225899 28.972300 67.188400 1.801860 8.501800 8 70.787598 27.303301 66.759300 1.909120 8.866150 12 72.644897 25.255199 66.250603 2.099850 9.401300 16 74.316101 23.397800 65.471603 2.286160 10.038900 20 75.636894 21.938101 64.412201 2.425020 10.626900 28 78.281494 19.045300 60.461800 2.673110 11.704900 36 80.945595 16.109699 53.800900 2.944660 12.673300 40 81.765800 15.179700 51.324902 3.054440 13.052100 44 83.079193 13.632900 47.050499 3.287850 13.746100 52 84.485199 11.871300 41.843399 3.643400 14.573200 60 86.005661 9.814550 35.449600 4.179760 15.991800 70 86.857521 8.519030 31.473801 4.623500 17.587400 78 87.496284 7.349520 28.159401 5.154130 19.236799 86 87.738190 6.796330 26.470100 5.465530 20.133699 94 87.937943 6.243040 24.836201 5.818970 21.118099 102 88.090210 5.689820 23.821800 6.220010 22.262400 126 88.235947 4.553690 21.499001 7.210380 24.827900 174 88.167191 3.355310 17.588400 8.477440 27.909401 254 87.827873 2.091840 10.901700 10.080300 32.428699 codebook+ 修正演算法
bf Rsuccess (%) Average eB (%) Worst eB (%) Average eF (%) Worst eF (%) 2 91.037399 5.676440 43.181801 3.286160 14.836100 4 91.212997 5.459600 43.134201 3.327440 14.997100 8 91.479698 5.002100 42.534901 3.518250 15.277600 12 91.658096 4.572650 42.340302 3.769230 15.591200 16 91.956696 4.079290 42.173100 3.964020 16.269199 20 92.019951 3.888850 42.050900 4.091170 17.141800 28 92.344185 3.332810 19.618299 4.323040 18.943899 36 92.538368 2.743590 14.815900 4.718060 20.054001 40 92.585747 2.545390 12.897900 4.868870 20.293699 44 92.540985 2.190800 8.142620 5.268240 25.088800 52 92.280190 1.820910 7.637490 5.898930 27.437901 60 91.762909 1.566250 7.351800 6.670900 28.965200 70 91.417206 1.416880 7.057830 7.165910 29.929899 78 90.946182 1.275080 6.642240 7.778750 31.660601 86 90.665443 1.202810 6.374150 8.131780 32.032700 94 90.354858 1.127800 6.029980 8.517360 32.863899 102 89.995567 1.056080 5.502080 8.948350 33.410400 126 89.166092 0.897403 4.324130 9.936530 34.506599 174 88.167213 0.736088 3.220200 11.096700 35.629700 254 87.160873 0.607415 2.390560 12.231800 38.872700
50 100 150 200 250
表 4.8: Camera 2 在 bf = 2, 4, . . . , 38 的實驗結果 codebook
Average Worst Average Worst
bf Rsuccess (%) eB (%) eB (%) eF (%) eF (%)
2 61.841499 32.856098 55.526901 5.302440 16.537300 4 66.581604 27.066200 53.355801 6.352250 20.670401 6 72.453499 19.920799 45.440899 7.625680 24.939199 8 74.948898 15.574600 36.214001 9.476470 29.259199 10 74.683800 12.073500 30.625500 13.242600 38.087002 12 73.846405 9.168040 26.076200 16.985600 46.219299 14 72.822098 7.214910 24.540199 19.962999 51.464699 16 72.167000 5.885800 23.487499 21.947201 54.646599 18 71.816658 4.969670 22.591600 23.213699 56.571800 20 71.591064 4.376090 21.804899 24.032900 57.736900 22 71.374176 3.832320 20.944700 24.793501 58.706699 24 71.206406 3.420110 20.103201 25.373501 59.437000 26 71.074791 3.124860 19.386400 25.800301 59.955101 28 70.936256 2.847880 18.604401 26.215900 60.477299 30 70.850876 2.663890 17.969299 26.485201 60.802799 32 70.763145 2.481600 17.262400 26.755301 61.123699 34 70.681030 2.299490 16.516100 27.019501 61.446098 36 70.594360 2.123140 15.735100 27.282499 61.771198 38 70.549484 2.036480 15.307100 27.414101 61.942501
codebook+ 修正演算法
Average Worst Average Worst
bf Rsuccess (%) eB (%) eB (%) eF (%) eF (%)
2 83.721802 2.729010 15.550300 13.549100 47.272499 4 83.300499 2.424100 14.564400 14.275300 48.638302 6 82.893196 1.991730 13.197500 15.115000 51.168098 8 79.614502 1.613360 12.408800 18.772200 54.136799 10 75.985695 1.268330 10.711200 22.746000 58.693298 12 73.156929 1.034240 9.349540 25.808800 63.081600 14 71.578812 0.894933 8.536470 27.526199 64.390999 16 70.889305 0.833694 8.013230 28.277000 64.803497 18 70.529663 0.795653 7.462040 28.674700 65.055000 20 70.309570 0.771521 6.874620 28.918900 65.189102 22 70.104393 0.736808 6.257700 29.158800 65.360901 24 69.945671 0.713171 5.788280 29.341200 65.469101 26 69.817772 0.699488 5.305920 29.482700 67.228203 28 69.706238 0.686616 4.796650 29.607100 67.284103 30 69.631386 0.678070 4.522870 29.690599 67.324997 32 69.562660 0.667642 4.238740 29.769699 67.375198 34 69.493950 0.657115 3.948390 29.848900 67.430099 36 69.422455 0.646524 3.618190 29.931000 67.510300 38 69.386902 0.640566 3.414280 29.972601 67.545998
5 10 15 20 25 30 35
表 4.9: Camera 3 在 bf = 2, 4, . . . , 38 的實驗結果 codebook
Average Worst Average Worst
bf Rsuccess (%) eB (%) eB (%) eF (%) eF (%)
2 70.861000 27.297100 51.112202 1.841910 8.873400 4 77.493896 20.393999 44.122700 2.112050 10.829700 6 82.583702 14.982000 28.874599 2.434290 13.870900 8 85.328499 11.968900 23.406200 2.702700 16.002100 10 87.217499 9.810870 19.165899 2.971650 17.153200 12 88.489204 8.226650 17.954300 3.284160 18.333700 14 89.252602 7.108930 17.114300 3.638470 19.719200 16 89.775299 6.222120 16.344200 4.002590 21.153799 18 90.133003 5.474620 15.513000 4.392420 22.760799 20 90.363998 4.897150 14.724300 4.738820 24.262800 22 90.577301 4.288100 13.771000 5.134560 26.057100 24 90.714783 3.814870 12.944400 5.470300 27.568300 26 90.792892 3.477830 12.271600 5.729270 28.684700 28 90.851593 3.145150 11.519600 6.003280 29.834700 30 90.880051 2.925790 10.979800 6.194130 30.680901 32 90.891556 2.714220 10.331900 6.394320 31.669399 34 90.886322 2.501570 9.642480 6.612050 32.816299 36 90.861191 2.286660 8.856840 6.852180 34.103401 38 90.834709 2.183750 8.408640 6.981560 34.833199
codebook+ 修正演算法
Average Worst Average Worst
bf Rsuccess (%) eB (%) eB (%) eF (%) eF (%)
2 93.872200 3.151210 31.070601 2.976600 13.350700 4 94.293495 2.511640 14.770900 3.194920 14.662200 6 94.344803 2.177170 12.515900 3.477980 17.686199 8 94.265198 1.980340 10.519200 3.754490 19.410200 10 94.190201 1.749030 9.824650 4.060810 20.762600 12 93.964600 1.573110 6.376740 4.462320 22.409401 14 93.649902 1.425220 6.165060 4.924890 24.447500 16 93.335304 1.213570 5.917670 5.451080 27.018200 18 93.039055 1.005480 5.823470 5.955420 29.479700 20 92.740829 0.877710 5.240710 6.381450 31.598000 22 92.383957 0.771158 4.243910 6.844920 34.487999 24 92.103401 0.698722 4.006360 7.197880 36.268902 26 91.883301 0.651040 3.719120 7.465680 37.525002 28 91.643616 0.609312 3.531240 7.747060 38.473099 30 91.488739 0.576412 3.417900 7.934840 39.507198 32 91.297661 0.548062 3.257460 8.154220 41.144199 34 91.084045 0.519107 3.175690 8.396930 41.980598 36 90.857750 0.488575 3.079940 8.653630 42.957699 38 90.737831 0.473427 3.016800 8.788750 43.550800
5 10 15 20 25 30 35
表 4.10: Camera 4 在 bf = 2, 4, . . . , 38 的實驗結果 codebook
Average Worst Average Worst
bf Rsuccess (%) eB (%) eB (%) eF (%) eF (%)
2 74.816002 23.103500 52.051601 2.080490 12.977600 4 79.334396 18.448200 49.318401 2.217470 13.454800 6 83.490494 14.052600 46.957802 2.456960 16.258801 8 85.069099 12.304400 45.344101 2.626430 17.717300 10 86.010803 11.220800 43.553398 2.768330 18.731199 12 86.751801 10.321700 41.021000 2.926450 19.951000 14 87.360794 9.539680 38.014599 3.099560 21.232000 16 87.850197 8.855170 34.717300 3.294630 22.512899 18 88.198189 8.272650 31.280701 3.529140 23.684601 20 88.387268 7.837100 28.584299 3.775660 24.526199 22 88.507217 7.371190 25.958200 4.121610 25.445900 24 88.550331 6.930090 23.822300 4.519600 26.262600 26 88.548912 6.540620 22.222000 4.910420 26.896601 28 88.523376 6.090110 20.637300 5.386550 27.593201 30 88.491501 5.766640 19.551500 5.741830 28.095200 32 88.457085 5.438720 18.534500 6.104140 28.631399 34 88.404556 5.114410 17.566200 6.480970 29.220400 36 88.343117 4.794430 16.632500 6.862410 29.747200 38 88.306740 4.638380 16.181700 7.054890 30.027700 codebook+ 修正演算法
Average Worst Average Worst
bf Rsuccess (%) eB (%) eB (%) eF (%) eF (%)
2 93.135391 2.379120 10.377400 4.485440 31.513100 4 93.106567 2.240530 10.287300 4.652860 32.576698 6 92.954269 2.126760 10.203500 4.918960 33.586399 8 92.861610 1.965660 9.645580 5.172720 34.049099 10 92.707893 1.878970 9.172020 5.413130 35.023701 12 92.502014 1.786730 9.080930 5.711220 35.449600 14 92.251938 1.724250 8.688630 6.023790 36.375999 16 91.881401 1.604710 7.815010 6.513930 36.787498 18 91.483902 1.519200 7.770500 6.996930 37.270302 20 91.115425 1.382920 6.857540 7.501700 37.567902 22 90.566734 1.310000 6.421240 8.123300 37.923000 24 90.003288 1.190040 6.008240 8.806640 39.083302 26 89.675323 1.136560 4.147130 9.188100 39.288799 28 89.341820 1.062610 3.883180 9.595610 39.810501 30 89.156570 1.022260 2.464060 9.821160 40.438801 32 88.995621 0.995899 2.448010 10.008500 40.863201 34 88.838837 0.973016 2.425760 10.188100 41.528702 36 88.699379 0.949453 2.407130 10.351200 42.297298 38 88.636230 0.935244 2.399360 10.428500 42.547798
5 10 15 20 25 30 35
4.5.3 背景修正演算法執行效率
在實驗中用來測試背景切割的電腦配備為 Intel pentium 4 3.0 GHz, 2048 MB DDR RAM。 表 4.11 列舉在 Camera 4 的測試畫面使用背景修正演算法的花費時間。
表 4.11: 背景修正演算法在 Camera 4 每張測試畫面的平均花費時間 bf process time (sec)
2 0.479
4 0.394
6 0.318
8 0.290
10 0.274
12 0.261
14 0.250
16 0.244
18 0.239
20 0.237
22 0.236
24 0.235
26 0.227
28 0.218
30 0.210
32 0.201
34 0.191
36 0.181
38 0.176
4.6 討論
首先列出四組攝影機 Rsuccess 最高的數據如表 4.12。
由實驗結果可歸納出以下幾個結論:
I. 若希望陰影與亮光部分有較好的背景切割結果, 其代價為辨識前景像素的錯誤率提高, 所以 背景切割方法必須在前景錯誤率與背景錯誤率之間作取捨 (trade-off)。 此現象在圖 4.7, 4.8, 4.9, 4.10 中的 (b)(c) 可以明顯看出: 背景錯誤率與 bf 成反比; 前景錯誤率與 bf 成正比。
II. 背景模型的切割結果在使用修正演算法後有明顯改進, 改善的部分可以分為三個方面:
表 4.12: 四組實驗的最佳結果
Average Worst Average Worst
bf Rsuccess (%) eB (%) eB (%) eF (%) eF (%)
camera 1
codebook 126 88.235947 4.553690 21.499001 7.210380 24.827900 codebook+
修正演算法 40 92.585747 2.545390 12.897900 4.868870 20.293699 camera 2
codebook 8 74.948898 15.574600 36.214001 9.476470 29.259199 codebook+
修正演算法 2 83.721802 2.729010 15.550300 13.549100 47.272499 camera 3
codebook 32 90.891556 2.714220 10.331900 6.394320 31.669399 codebook+
修正演算法 6 94.344803 2.177170 12.515900 3.477980 17.686199 camera 4
codebook 24 88.550331 6.930090 23.822300 4.519600 26.262600 codebook+
修正演算法 2 93.135391 2.379120 10.377400 4.485440 31.513100
1. 正確性 由表 4.12 可看出使用修正演算法後成功率可以提升 3.5% ∼ 9% 左右。
2. 光影變化的容忍性 在表 4.12 中使用修正演算法的平均背景錯誤率都低於 3%, 最差背 景錯誤率也只有 15.5503%; 相較之下, 沒使用修正演算法的平均背景錯誤率在 2% ∼ 16% 之間, 最差背景錯誤率高達 10% ∼ 37% 。 可見雖然藉由增加 bf 可提升 codebook model 辨識陰影與亮光背景的能力, 使用修正演算法的效果卻更好。
3. 可靠性 使用修正演算法後, 較不容易發生特別差的切割結果。 觀察表 4.12 的最差前景錯 誤率與最差背景錯誤率, 雖然修正後的前景錯誤率有部分會增加 (camera 2 與 camera 4) , 但背景錯誤率也大幅減少 (只有 camera 3 小幅增加)。 整體來說, 最差的情況有比 原來改善。
III. 與修正演算法搭配的背景模型, 對光影變化的容忍應該要設定得低一點, 換句話說, 辨識陰影 與亮光背景的工作, 應該儘量交由修正演算法處理。 其原因可參考表 4.12 , 使用修正演算法時
Rsuccess 極大值都出現在 bf 較低處。3
3唯一的例外是 camera 1 的 Rsuccess 極大值出現在 bf 較高 (=40) 的情況, 不過 bf = 2 的 Rsuccess 與極大值 相差並不大 (約 1.5% 左右)。