第三章 投影幾何
3.5 相機校正
[ ]
t RE = × (3.28)
到這裡我們可以發現，當我們需要重建出相機的投影矩陣時，只要能算出基 本矩陣，便能還原出旋轉矩陣 R 和平移向量 t，詳細的重建過程我們將會在下 一章中做詳細的介紹。
由兩張影像重建三維場景時，若完全不知道場景的結構以及相機的資訊，則
資 都 陣中。然而，若我們限制在拍攝影像的過程中，不
變相機本身內部設定，如焦距，則相機內部參數並不會改變，因此我們便可以 透過事先校正（calibration）的方式先算出這些參數，降低重建時的複雜度。
3.5 相機校正
所有的 訊 將隱含在基本矩 改
從式(3.18)中我們可以知到，一般相機的內部參數有 f 、x fy、γ 、u 和0 v 這0 五個，γ 、u 和0 v 這三個參數較為固定，而且可以有一些假設值比如 0 γ =0，
u 和0
在本系統中所使用的相機，是一個事先校正好的相機。這個校正的方法是由 Zhang [11]所提出的，利用平面的 homography 性質來計算相機的內部參數，並
v 分別為影像中心等，但是相機的焦距 0 f 、x fy 對 三維重 有 大的影響，因此相機校正也是近年來電腦視覺的一個重要的課題。
卻 於 建 很
第
角影像完成三維重 外，也會討論如何利用必要矩陣找出相機的旋 矩陣及平移向量，進而還原出相機的三維位置資訊。
在具備了投影幾何的基本觀念之後，本節將介紹由兩張影像重建場景的方 法，其步驟包括：
由 應 .1 節。
，計算其三維空間之點座標，見4.1.3 節。
以下
4.1
重建的第一個步驟，是要估算出兩張影像間的基本矩陣。由式(3.22)中我們 可以知道，在兩張影像上任意的對應點 m 和 必定滿足 這個條
已知，則根據式(3.22)，每
[12]。
然而考慮到數位相機在成像時可能的取樣誤差，加上影像本身會有不穩定的 雜訊，甚至在特徵點的擷取與對應上發生錯誤，使得只利用八個點來計算基本矩 並不保證能得到正確的結果，因此有很多方法也被提出來改進基本矩陣。比
四章 三維重建
有了前一章的理論基礎，本章將會進一步介紹利用不同視 建的步驟，除了重建出三維場景之
轉
4.1 三維重建之步驟
1. 對 點計算基本矩陣，見4.1
2. 由基本矩陣計算投影矩陣，見4.1.2 節。
3. 對每組對應點
就針對各個步驟進行詳細的說明。
.1 估算基本矩陣
m' mTFTm'=0 件。假設兩張影像中的特徵點 m 和其對應點 i mi'
一組對應點可以產生一個線性方程式，由於基本矩陣 F 扣除了一個縮放的比例 常數之後，會剩下八個未知數，因此只需要八組對應點，即可以線性方法解出一 個允許改變大小比例的基本矩陣，這個方法稱為八點演算法（8-point algorithm）
陣，
如使
可以參考[13][14][15]。
4.1.2 估算投影矩陣
而 t 因 有 也會 因此 相機相 對於第一部相機的外部參數，便會有四種可能的選擇。也就是說，給一個必要矩
陣 ，第一部相機的投影矩陣為
為沒 辦法決定其正負號，所以 有兩種可能性， 第二部
Udiag T
E = (1,1,0) P=
[ ]
I |0 ，則第二部相機的投影矩陣 P' 會有四種可能的選擇，分別為：
⎣
| 3⎦
' UWV u
P = T 或
⎣
UWVT | u− 3⎦
或⎣
UWTVT | u3⎦
或⎣
UWTVT | u− 3⎦
(4.3)圖4.1說明由 E 做重建後四種可能的幾何表示，A 代表第一部相機中心，B 和 B' 代表第二部相機可能的相機中心， 即為重建出之三維點。由於 重建後的點只有可能會在兩部相機的前方，因此只要測試一個點是否落在相機前 方，就可以從四種可能的相機位置中決定第二部相機的位置。
4
1 ~ M
M
圖4.1 由E 做重建後四種可能的幾何表示。
4.1.3 歐氏三維重建
在得到兩部相機的投影矩陣 P 和 P'
首先將空間中的三維點
之後，接下來便可進行點的歐式重建
（Euclidean reconstruction）。 M 以及其在影像中對應的 特徵點 、 寫成以下的關係式：
M 分解之對應特徵值（eigenvalue）為零的特徵向量
（eigenvector），可是當有雜訊時，則需由對應於最小特徵值的特徵向量加以求
得到的是一個與歐式重建具有縮放比例關係的公制重建（metric reconstruction）。
接著，利用場景中任何一個已知的尺寸，便可以將這個比
4.2 估測相機位置
在我們的方法中，於歐式重建的過程裡，我
兩台相機間的旋轉矩陣及平移向量，因此我們可以很直接地估算出每台相機相對
建場景的位置。多了 器人或自 ，
將有很大的幫助。
我們在式(4.3)中提到，旋轉矩陣及平移向量各有兩種可能，而選擇的方法為
重建結果是否在兩台相機的前方。但是實際上 候，由於使用了
SVD 因此所分解出來的旋轉矩陣和平移向量，對於正負符號的決定會 有著不確定性，導致相機位置無法求
為了解決這個問題，我們可以利用一些額外的限制，來找出正確的正負號。
對 於 旋 轉 矩 陣 ， 我 們 可 以 利 用 旋 轉 矩 陣 一 個 重 要 的 特 性 ， 也 就 是 行 列 式
（determinant）等於1，來決定出它的正負號。而平移向量則可從已知的相機位 移方向決定，比如事先知道相機是向右移動，則可知 x 方向的平移為正。確定 了旋轉矩陣及平移向量的正負號之後，我們也就可以檢查四種可能的三維重建結 果，哪一個是在兩台相機的前方了。
找出相機座標系間的旋轉及平移之後，也就代表著每一組三維重建的兩台相 機相對位置已經找到，只要利用這些資訊，便可以重建出所有相機的位置。令 為第一台相機的相機中心， 及 為第一台相機座標系與世界座標系間的旋 轉和平移； 為第二台相機的相機中心， 及 為第二台相機座標系與世 界座標系間的旋轉和平移，則我們可以求得兩台相機之間，座標系的相對旋轉及 平移 及 分別為：
1 2
12 (4.7)
座標
們可以從基本矩陣中直接抽取出
於重 這項資訊，在應用上，對於機 動車導航與定位
判斷 在計算的時
分解法，
出，也無法檢查場景是否在兩台相機前方。
C 1
R1 1t
C2 R2 t2
R12 t12
RT
R R =
1 1 2 2
12 t R R t
t = − (4.8)
若以平面的幾何上來看，如圖4.2所示，第二台相機的座標系即是第一台相機的
T
系逆時針旋轉了 R 之後，再向右平移12 12t 。
對於所重建出的三維點，若它們的座標系不同，我們也可以利用這些已知的 相機座標系關係，將重建點轉換為以同一個座標系為基礎。如圖4.2，M 代表1 重建物體於 C 座標系下的座標向量，若我們要計算同一個物體相對於 1 C 座2 標系下的座標向量 M ，相當於算出 2 M 經過與相機座標系相反的旋轉及平移1 之後，所得到相對於 C1 座標系的點座標，也就是圖中的 。而由 到
12 12 1
樣的轉換寫成以下的關係式：
1'
M M1
1'
M 的這個過程，剛好是和相機座標系的旋轉和平移相反，如圖4.2 所示，M 先1
向左平移了 t− 之後，再順時針旋轉 R T，得到 M 。因此，我們可以將這'
( )
' R M t M
M2 = 1 = 12T 1 − 12 (4.9) 其中 為原物體相對於 座標系下的座標向量， 為原物體相對於 座標系下的座標向量，而 則為原物體經過與相機座標系相反的旋轉及平移 之後，所得到相對於 座標系下的座標向量。反之，若我們已知 而欲求
，則可透過相反的旋轉及平移過程，關係式如
，M1 C1 M2 C 2
1' M
C1 M2
M1 下：
12 2 12
1 R M t
M = + (4.10)
圖4.2 相機座標與點座標的旋轉及平移關係。
第五章 三維重建之精確度分析
由前面的理論基礎 我們已發展一套初步的視覺系統[17]，幫助機器人做場 重建和定位，本章就是利用這一套已發展的系統，使
，
景的 用不同的相機，進行機
器人定位與場景建置之研究。
目前市面上數位相機已很普遍，大致可粗分為兩種等級。一種為畫素高，功 能齊全，強調能拍出生動影像的數位相機，價格較高。另一種則是應用在電腦視 訊上，體積小，不需電池，強調即插即用，影像的品質較不穩定的 webcam。若 考慮家用機器人視覺系統的應用，高價位的相機雖然有畫素高、影像品質佳等優 點，相對的，畫素高將造成影像處理的時間增加。另一方面，成本的考量也是個 重點，若能以較便宜且方便的 webcam，達到令人滿意的效果，可大大提升家用 機器人之實用性。因此，本章節著重於平價 webcam 之探討，並以高階相機的 實驗結果與之比較。
以下我們將對各種不同的相機進行三維重建實驗，再藉由實驗數據之分析，
來探討相機品質對重建結果的影響。我們一開始會使用較高階的數位相機 Agf 1680 所取得的 640 480 的影像來作實驗，並且對於實驗的環境及過程做初步
a
×
的介紹。之後我們將使用三種較低階的 webcam， 取 320×240 的影像進行實 Orite MY120、 Orite MC310 以及 Logitech QuickCam Express。
5.1 使用高階數位像機Agfa 1680進行三維重建
為了說明實驗流程，並且呈現完整的實驗數據，以便稍後與較低階的相機做 一比較，我們首先使用高階數位像機 Agfa 1680來進行三維重建實驗，實驗流程 圖如圖5.1。相機校正、特徵點的選取、特徵點排序、三維重建等步驟，均是沿 用[17]之程式以進行實驗。其中，經過相機校正，事先取得的相機內部參數為：
驗，包括:
⎥⎥
⎤
⎢
⎡
242.7015
728.1041
0
305.4135
0.3100
727.7667
⎥
⎢ ⎦
⎢
⎣ 0 0 1
圖5.2中，為本次三維重建實驗中的待重建物體，是由兩個夾角約為90度的平面 所構成的正交方塊圖板，每個平面上有16個方塊。實驗之最終目的為針對這些方 塊圖案平面進行三維重建。
圖5.1 三維重建實驗流程圖。
(a) (b)
相機校正取得內部參數
拍 角影像數
攝待重建物體不同視
張 影像特徵點對應
影像特徵點擷取
任取兩張影像做重建
為了取得不同視角的影像，相機可以繞著兩方塊圖板平面相交形成的軸來取 像。然而為了減少相機移動時所造成的誤差，並且可以比較精確的控制相機相對 於正交方塊圖板的位置及視角差，本實驗之器材配置如圖5.3，而實際上是固定 相機，並以兩方塊圖板平面相交形成的軸為旋轉軸，旋轉正交方塊圖板，取6張 不同視角影像，相鄰影像視角間隔 。因此，相機到旋轉軸的距離理論上是不 變的，在實驗中，此距離為71.4公分。
° 10
圖5.3 實驗時固定相機，令兩方塊圖板平面相交形成的軸為旋轉軸，旋轉正交方塊圖板，取
6張不同視角影像, 相鄰影像視角間隔 。
由相機 Agfa 1680取得的影像，解析度為 640×480 個像素。根據圖5.1所示 之流程圖，在取得不同視角景物影像後，本實驗之主要步驟包括：
由相機 Agfa 1680取得的影像，解析度為 640×480 個像素。根據圖5.1所示 之流程圖，在取得不同視角景物影像後，本實驗之主要步驟包括：