距離估測

在經過攝影機校正、圖像比對等步驟後計算像差影像後，必須進一部探討與 驗證其估測之三維資訊的準確性。我們以固定攝影機高度 110 公分進行前方 20 公尺以內的障礙物偵測，障礙物以交通錐 (高度 68 公分) 表示，分別擺設於距離 立體視覺攝影機 5、10、15、20 公尺處，並進行立體視覺的深度計算。經過距離 的估算誤差經統計後如圖 4-5 所示，結果顯示距離攝影機越遠時，距離估測誤差 率有越高的趨勢，探究其原因較可能為攝影機影像解析度不夠高，因而造成距離 較遠時在影像上的像素差較不明顯，因此計算像差值的精準度下降，此結果是可 預期的，但整體誤差率仍低於 4%，顯示距離估測的準確度仍相當高。

圖 4-5 立體視覺之距離估測誤差

77

4.2 障礙物偵測結果

回顧第三章所提出的障礙物偵測方法，是先將像差影像投影至上視圖，並 利用團塊法將障礙物由深度影像中計算且標示出來，並配合特定障礙物的特徵 與幾何條件的限制將障礙物從影像中找出，實作結果如下圖 4-6。在其間必須決 定障礙物的表現方式，文獻中提出了幾種表現方式，其中包含輪廓以極簡單幾 何形狀，在本研究中所開發的系統可以輕易從像差影像大約取出障礙物的形 狀，請參考圖 4-7 (b)，然而這種表現方法較接近文獻中的輪廓，但是卻容易因 為有些像素無法找到匹配點而不完整。因此，為了得到較美觀的顯示介面，我 們將已標定的障礙物中，利用屬於該障礙物的像素點之最左上角與右下角的點 計算長與寬進行框選，並對應到原始影像來顯示。

圖 4-6 障礙物偵測之結果與顯示方法

78

(a) (b)

圖 4-7 障礙物表現示意圖 (a) 簡單幾何形狀 (b) 輪廓

經由前述的方法，為了驗證系統的可行性，將針對農業與車輛的應用進行實 驗設計，共可分為台大農場、台大校園、市區道路三個場景，並各自以三到五次 的連續影像序列進行實驗結果的統計，其中台大校園、市區道路階是將雙眼立體 視覺系統實際裝設於車艙內的擋風玻璃上進行，裝設的高度皆為 110 公分。偵測 的距離範圍由於校園內多為行人或腳踏車，在障礙物設定條件裡曾提到障礙物在 影像中所佔的像素需大於 300 的 pixel，因此偵測範圍只有設定到 20 公尺，而市 區的車輛在影像中所占的面積較大 (Pixel 數多)，因此可以延伸偵測範圍到 30 公 尺。

實驗結果如表 4-2，我們針對偵測並標定的物體是否為障礙物的統計。農場 實驗中 (如圖 4-8)，主要障礙物為行人、曳引機和中耕機偵測的農場長 28 公尺 寬 20 公尺，由於實驗環境複雜度較低，障礙物偵測的結果較理想；在校園中 (如 圖 4-9)，我們所設定的幾何限制條件是希望能夠偵測到行人或腳踏車，該實驗中

79

Scenario Complexity

Range of Total detected

obstacle 1020 Incorrect detection 0 Correct detection 1020

Campus Medium 7~20 m 3

Frames 353 Total detected

obstacles 418 Incorrect detection 33 Correct detection 385

Urban High 7~30 m 3

Frames 409 Total detected

obstacles 552 Incorrect detection 20 Correct detection 532

80

#80

#150

#200

#500

#700

#950

圖 4-8 立體視覺之影像序列於農場中的障礙物偵測結果

81

#20

#65

#100

#170

#240

#310

圖 4-9 立體視覺之影像序列於校園中的障礙物偵測結果

82

#10

#55

#110

#195

#300

#375

圖 4-10 立體視覺之影像序列於市區的障礙物偵測結果

83

4.3 追蹤方法探討

4.3.1 不同特徵之追蹤效果

本文提出之方法為結合距離與色彩資訊進行追蹤，為此我們進行兩次追蹤成 功率的實驗進行估算，該影像序列中的障礙物數目為 1 到 3 個不等，偵測範圍於 20 公尺之內且在無複雜環境之場景，障礙物為大小曳引機與行人為主。實驗所 偵測的障礙物數量，以及進行單一特徵與結合兩特徵之比較結果，統計後見下表 4-10。實驗結果可看出僅使用距離資訊的追蹤率相對低，探究其原因為多個障礙 物並排之情形較為常見，易導致匹配錯誤，其上視圖與匹配錯誤例子如下圖 4-11。

另一種造成匹配錯誤的情形為色彩資訊相似度太高，如下圖 4-12 可看出兩曳引 機的統計直方圖相近，因此計算出接近的巴式距離造成匹配錯誤。因此我們提出 之結合距離與色彩資訊能有效改善以上兩者匹配錯誤的情形，結果如下圖 4-13。

表 4-3 不同特徵之成功追蹤率 Farme 數 偵測到障礙物數 方法一

(距離)

方法二 (色彩)

方法三 (色彩+距離) 實驗 1 300 541 92.4% 97.0% 98.2%

實驗 2 400 660 90.5% 97.1% 97.5%

84

圖 4-11 因距離相同匹配錯誤之結果

圖 4-12 因色彩資訊相似匹配錯誤之結果

85

圖 4-13 結合距離與色彩資訊之結果

為了探討增加色彩資訊是否對整體追蹤效果有顯著提升，因此隨機選取 5 個 實驗影片，並進行以 0.05 檢定結合兩特徵之平均效果是否高於距離特徵之 ANOVA 統計分析，追蹤成功率如下表 4-4。根據表 4-5 之統計報表顯示，檢定統 計之 F 值為 10.55，具顯著差異，故拒絕虛無假設 (方法一的平均效果小於或等 於方法二)，即結合距離與色彩特徵有顯著提升追蹤成功率。

表 4-4 不同影片之追蹤成功率 方法一

(距離+色彩)

98.6% 97.8% 94.8% 98.9% 94.5%

方法二 (距離)

93.2% 95.5% 84.5% 87.4% 87.6%

86

表 4-5 單因子變異數分析之報表 單因子變異數分析

摘要

組 個數 總和 平均 變異數 方法一 5 484.6 96.92 4.467 方法二 5 448.2 89.64 20.653

ANOVA

變源 SS 自由度 MS F P-值 臨界值

組間 132.496 1 132.496 10.54904 0.011737 7.570882 組內 100.48 8 12.56

總和 232.976 9

4.3.2 背景影響

經過上一小節之實驗結果顯示結合距離與色彩特徵之追蹤成功率約 97.2 %。

然而，在使用色彩資訊時，是利用框選出的障礙物進行計算統計直方圖，如果距 離較遠或在左右影像較細小的物體容易匹配錯誤而造成深度計算上的誤差，進而 影響投影至上視圖進行團塊處理時的結果，如此一來所框選出的障礙物影像會出 現跳動，為了解決此問題，根據 3.4.1 節提出利用無背景之影像且不計算灰階值 為 0 (黑色) 的統計直方圖取代原本含背景之障礙物影像進行實驗。實驗之影像 序列中的障礙物數目為 1 到 3 個不等，偵測範圍於 20 公尺之內且在無複雜環境 之場景，障礙物為大小曳引機與行人為主，偵測的障礙物數量與結果見下表 4-6，

其顯示在單純環境下去除背景能克服一些系統因環境不同造成匹配錯誤的情形。

87

圖 4-14 背景去除前後之結果

表 4-6 去除與保留背景之追蹤成功率

Frame 數 偵測到障礙物數

方法三 (去除背景)

方法三 (保留背景) 實驗 3 200 612 98.1% 96.1%

實驗 4 150 555 99.0% 98.3%

4.3.3 障礙物速度估算

要能使適應性巴氏距離順利進行，最重要就是系統需估算偵測到障礙物的相 對速度。根據 3.4.3 裡提出的方法，以行人進行直線的等速度移動並利用碼表紀 錄讀數換算成速度當作 Ground truth，在利用立體視覺系統估算出的距離與框架 速度得到系統的估算值，並利用線性關係進行模型的建立，結果見下圖 4-15。其 結果顯示若偵測到的障礙物相對速度介於 4~12 (km/hr) 之間，可利用建立的模

88

型進行系統與實際相對速度的轉換。

圖 4-15 系統與實際相對速度之關係

此外，為了證明所建立的模型為有效，必須進行驗證實驗。實驗同樣以行 人進行直線的等速度移動並利用碼表紀錄讀數換算成速度當作 Ground truth，每 次實驗影會在最後估計出一個速度值，最後計算出誤差率，結果見下圖 4-7。橫 軸為實驗編號共 11 次，縱軸為實際平均速度與估計的速度分別以藍色和紅色表 示，副軸表示誤差率。需注意的是，實驗結果是假設目標物為等速度的情況下 所計算出的誤差率 (因為實作時會在每一個 Frame 估算一個瞬時速度，而誤差 是用全部來算所以必須這樣假設)。

89

圖 4-16 速度估算驗證結果

圖 4-16 為經過驗證速度模型的結果，以線性回歸計算 R 平方約為 0.97，觀 察後發現速度大小跟誤差百分比並沒有直接的相關，計算後得到的誤差百分比約 為 10 %，與理論上速度大小只與障礙物距離呈線性正相關一致，且為一個誤差 範圍內的跳動。

障礙物速度估算實驗共進行三次，實驗場景為台大農業試驗場，攝影機高度 110 公分，障礙物為曳引機、中耕機和農人，如下圖 4-17 所示。實驗時三種障礙 物在農場中移動並記錄於影像序列中，實驗過程中相同障礙物被追蹤到會以同一 顏色框選表示如下圖 (a)，若追蹤成功系統會同時記錄其位置並計算實際速度，

實驗結果見圖 4-17 (b)~(d)。

90

實 驗 1 實 驗 2 實 驗 3

(a)

(b)

(c)

(d)

91

圖 4-17 障礙物速度估算實驗結果 (a) 3 個實驗之障礙物追蹤結果，(b)~(d) 實驗 1~3 障礙物速度估算結果

4.3.4 適應性追蹤方法

適應性巴氏距離閾值主要目的是為了補強障礙物偵測時因計算像差影像的 誤差，所造成的障礙物影像大小跳動而追蹤失誤的情況，如同下圖 4-17 的其中 一個實驗例子，已知系統偵測前方的障礙物為同一個行人，在第 11 張影像跟第 12 張影像所偵測到的障礙物雖是同一個人，但卻因為像差影像的誤差而 miss。

起初定義追蹤成功建立在計算巴氏距離需在設定的閾值 0.3 以下才視為前後影像 為相同障礙物，經由前述分析方法，我們可以大約計算出障礙物的相對移動速度，

並且適應性的改變閾值來克服此問題。

巴氏距離值 = 0.305762 巴氏距離閾值 = 0.317831

目標物相對速度 = 8.9211 (km/hr)

巴氏距離值 = 0.305762 巴氏距離閾值 = 0.3

目標物相對速度 = 8.9211 (km/hr) 圖 4-18 適應性巴氏距離改良的結果示意圖

92

4.3.5 障礙物追蹤結果

為證明上述提出的方法能有效應用在農業與車輛上，依環境複雜程度的高低 分成三個主要場景進行驗證，由低到高依序為台大農場、台大校園、市區道路，

實驗各為 3~5 個連續影像序列來進行如下表 4-7。台大校園場景如圖 4-19，如同 障礙物偵測實驗一樣，障礙物主要為行人以及腳踏車，實驗中觀察得知障礙物所 佔的 Pixel 數較少對障礙物的偵測較不利，因此在相對速度較小時進行追蹤能獲 得較好的連續追蹤效果，而相對速度太大則會造成偵測上的跳動，追蹤時會因為 未達所設定的閾值而間斷性的追蹤，追蹤到障礙物於幾個 frame 之後便可進一步 得到其瞬時相對速度，計算後會顯示在影像的左上角。市區道路實驗如圖 4-20 車

實驗各為 3~5 個連續影像序列來進行如下表 4-7。台大校園場景如圖 4-19，如同 障礙物偵測實驗一樣，障礙物主要為行人以及腳踏車，實驗中觀察得知障礙物所 佔的 Pixel 數較少對障礙物的偵測較不利，因此在相對速度較小時進行追蹤能獲 得較好的連續追蹤效果，而相對速度太大則會造成偵測上的跳動，追蹤時會因為 未達所設定的閾值而間斷性的追蹤，追蹤到障礙物於幾個 frame 之後便可進一步 得到其瞬時相對速度，計算後會顯示在影像的左上角。市區道路實驗如圖 4-20 車