影像的合成

車後攝影機在拍攝車後影像時，會受限於目前攝影機的位置與角度，而只能 提供部份車後環境影像供駕駛者參考，這樣能提供的環境資訊可能稍嫌不足，因 此在本系統中，希望可以將攝影機所拍攝到的過去影像和目前影像中的環境資訊 整合，銜接出較完整的車子周圍場景，讓駕駛者可以更清楚與了解車子與周圍環 境的關係，簡單的合成預期成果圖如圖3-14所示。

圖3-14 影像合成預期結果示意圖。

在對過去影像和目前影像進行合成前，我們需要先找出連續兩張影像中旋轉 與平移的關係。此時利用之前追蹤時找到的連續二張影像中對應的特徵角點即可 找出二張影像間的對應關係。首先先從擷取到的四個角點中，選出二個跟攝影機 距離最近的角點（即y座標值最大的二個角點），這是考量到距離攝影機愈近較 不會有失真情況發生的因素。選出連續兩張影像中對應的二個主要角點後，利用 第二章求出的投影轉換矩陣H，分別求出二個角點在前後二張俯視圖中對應的座 標值，如圖3-15所示。在這之後，我們就是利用連續影像轉正後對應的角點特徵 點座標，來找出連續影像間的旋轉與平移。

圖3-15 找出角點校正後的座標值。

因為本系統使用的影像合成方式，主要是以目前校正後的畫面為主，將目前 校正後的畫面，根據過去影像中所拍攝到的而目前攝影機沒拍攝到的區域，利用 旋轉和平移將這些區域點貼補到目前的畫面中，圖3-16為合成的方法示意圖。

圖3-16 合成方法簡略示意圖。

找出二張影像間旋轉和平移的計算過程如下：

則利用（3.12）式和（3.13）式，我們即可將第 m 張俯視圖中的各點，依據（3.14）

式轉到第m+1 張影像的座標系，其新座標值為

(

)

因此我們可將第m+1 張影像轉正的俯視圖中空值的點，補上由第m張根據（3.14）

式得到的點的影像值，就完成了影像的合成。這裡值得注意的是，我們會以合成 出來的結果圖，當成是新的第m+1 張影像，而把原始的第m+1 張影像覆蓋。當 有新的影像（如第m+2 張影像）進入我們系統中，作影像合成時，即以新的第 m+1 張影像和第m+2 張影像作合成，因此就能將所有過去的影像資料都保存起 來，將車子周圍的環境做完整的銜接。圖3-17為本系統的合成影像方法之簡單示

意圖。

圖3-17 合成影像過程之示意圖。

上述方法合成的擴大影像實驗結果如圖3-18所示，（a）~（f）分別為實驗結 果video中第 1、20、40、60、80、100 和 120 張畫面。在圖 3-18每個圖中，左上 角的影像是攝影機目前拍攝到的畫面，左下角的影像為第一張畫面轉正後的結 果，而右上角的影像則是影像轉正並合成擴大後的結果，其中紅色的線段是我們 在每張畫面中追蹤到的二個主要角點的連線。由第20 張畫面（即圖 3-18（b））

後，我們可以看到在圖中右上角的影像其周圍環境因合成而逐漸擴大，在第 60 張畫面時（即圖3-18（d）），左上角影像中的物體已超出攝影機的範圍，但是因 為合成過去影像，所以右上角的影像中物體仍能保持完整的形狀。一直到第120

張畫面（即圖 3-18（f）），物體已完全超出攝影機拍攝的範圍，但是因為合成擴 大的效果，所以物體仍保持完整形狀，但受累加的誤差影響，物體有些許變形。

此一合成擴大影像，大致可以提供駕駛者一個完整且清楚的環境俯視圖，讓駕駛 者在倒車停車時可以更為快速且容易。

（a）Frame01。

（b）Frame20。

圖3-18 擴大影像合成之實例。（a）~（f）分別為實驗結果 video 中第 1、20、40、60、80、100 和120 張 frame。

（c）Frame40。

（d）Frame60

圖3-18 擴大影像合成之實例(續)。（a）~（f）分別為實驗結果 video 中第 1、20、40、60、80、

100 和 120 張 frame。

（e）Frame80

（f）Frame100

圖3-18 擴大影像合成之實例(續)。（a）~（f）分別為實驗結果 video 中第 1、20、40、60、80、

100 和 120 張 frame。

（f）Frame120

圖3-18 擴大影像合成之實例(續)。（a）~（f）分別為實驗結果 video 中第 1、20、40、60、80、

100 和 120 張 frame。

3.5 總結

在本章節中，我們提出了一個較為簡單且快速的方法找出影像中的角點特徵 點，即先使用 Sobel 運算子偵測出影像中的邊，再利用 PCA 找出每條邊所對應 的直線方程式，以找交點的方式擷取出角點特徵點。之後藉由角點特徵點的追 蹤，求出連續影像間的旋轉與平移，進一步完成影像的合成。其實在電腦視覺的 領域中，偵測特徵點的方法還有很多，因此我們還做了其它特徵點擷取演算法，

以找出連續影像間的對應關係，並進行影像的合成。所以我們將在下一章中介紹 另一種我們實作出來擷取特徵點的演算法，就是目前常用的偵測角點特徵點的方 法-Harris 特徵點擷取演算法。