視覺模組之系統架構如圖四十六所示。本系統首先進行左右兩攝影機所攝得 的影像的特徵點選取。選取之特徵點再於特徵點對應模組內進行匹配。此階段也 會進行特徵點的篩選。其次，利用所得的特徵點對應關係，並且引入相機自我校 正時所得的相機參數，我們可以求得相機外部參數，包含相機相對於場景的三度 空間位置，各軸旋轉角等等。接著，藉由以上諸步驟所獲得的資訊，來重建場景 的三維結構，並建立其三維模型。如此所得的三維資訊，將可用來規劃機器人的 避碰行進路線。
4.4.1 影像特徵擷取與對應模組
我們使用 Harris 的特徵點擷取方法來擷取特徵點，用 Sobel 的方法來擷取 邊並連成線段，並利用後者的資訊來改良在明暗對比不佳的影像中找出的特徵點 結果不甚理想的情形。由 Harris 的演算法，找出室內場景中的角點作為特徵點，
並且對運算過程中所計算的梯度資訊做分析，將梯度向量量化為九個方向，並配 合與已知對應組合的相對關係比較，以建立特徵點對應。此演算法經過實驗證明 之後，具有一定的正確性與效率性。
圖四十六 電腦視覺系統架構
Feature points Left Image
Feature points Right Image
Point Correspondence
Camera Calibration
3D Reconstruction Planar Plane Images
(x1, y1, z1) (x2, y2, z2)
圖四十七 Harris 所擷取 圖四十八 以九種顏色分別 圖四十九 對圖四十七 出來的特徵點 代表九個量化後的梯度方向 量化梯度方向的結果
由輸入影像，經過 Harris 特徵點擷取以及計算梯度向量後，這些特徵點通 常位於邊或線上，或是線與線的交點，如圖四十七所示。我們將所有的梯度方向 量化為八個方向，並賦予不同的顏色來表示之，如圖四十八。進一步分析圖四十 七的特徵點，我們可以得到圖四十九.由此圖可以看出同一方向的邊或線上的影 像點均為相同的顏色，可以提供一穩定且可信賴的對應資訊。
我們在特徵點的周圍，定義八個 3x3 大小的視窗，在每個視窗中有九個影 像點，而其中每一個影像點皆對應一個量化的梯度方向。統計在此視窗中佔多數 的梯度方向來代表整個 3x3 範圍的梯度方向，如此對一個特徵點就可以取得其 周圍八個視窗所對應的彩色碼，如圖五十所示。相較於樣板對應所需要的複雜計 算，彩色碼特徵比對所需資訊在執行 Harris 演算法時即已得到，對應特徵點時，
只需要比較彩色碼即可。我們所提出的演算法，適合用來對應影像中具有明顯材 質且穩定，不易因視角的些微變化導致特徵點得消失或偏移。
此外，我們亦利用雙向對應，進一步解決立體影像的遮蔽問題，以及模稜兩 可的對應問題。例如圖五十一，其中 B 點在右邊影像中已幾乎被完全遮蔽，因 為有雙向對應的考量，所以由左影像對應到右影像並不會發生錯誤。
圖五十 (a)特徵點周圍八個方向的 3×3 視窗 (b)以彩色碼代表每個視窗中的梯度方向
圖五十一 雙向對應一致性
而針對對應點和非對應點的彩色碼的分析，我們以下列兩個要素，當作評估 對應關係的準則：
1. 彩色碼相異數：即周圍八個視窗彩色碼相異的數目.
2. 彩色碼距離：特徵點周圍八個彩色碼的差距.
根據以上兩個準則，配合我們的演算法，我們設計出一個彩色碼的比對機制:
比對兩個特徵點八個視窗的彩色碼，若彩色碼的相異數小於我們所設定的臨界 值，則為可能對應的候選點；若在挑選出來的多個候選點中，其彩色碼的相異數 皆相同，則彩色碼距離就可用來做第二階段的篩選。除了局部的彩色碼資訊，我 們也考慮到特徵點與鄰近特徵點的相對關係的相似性，包含距離，角度，彩色碼 的比較，來加強對應的正確性。
由於此研究的視覺系統，是採用視訊輸入，亦即連續影像，所以我們也針對 連續影像的特徵點追蹤進行研究。追蹤所得到的特徵點運動軌跡也有助於了解機 器人得移動模式。圖五十二是一個特徵點追蹤的例子。以一個魔術方塊為中心，
將相機繞著魔術方塊移動，並取得二十張連續的影像後，我們畫出各個特徵點追 蹤後所得的移動軌跡。
另外，我們亦利用極線幾何的限制，提出一個演算法來改善特徵點對應的問 題。一組正確的對應應該要滿足兩個極線限制，包括：特徵點必須落在對應的極 線上、且所有的極線必須交於極點之上。觀察極線分佈的情形後，演算法可分別 對極線距離以及極點到極線的距離設合理的門檻值，如此可以去除錯誤的對應。
之後再以剩下的特徵點計算基本矩陣，並重複以上步驟，如此即可以找出最正確 的特徵點對應。
4.4.2 相機參數計算與幾何重建
在相機內部參數計算方面，我們探討適用於家用機器人的相機校正方法。主 要採用的方法是藉由在不同角度觀察一個平面的圖形，來推算相機的各個內部參 數。實驗過程共探討了幾個校正方法，包含以三維物體為基礎的校正、自我校正、
相機變焦的校正、利用 Homography 算焦距等等。在實驗中，虛擬影像和真實影 像皆被使用，都能得到很好的結果，而且這個方法忍受雜訊的能力相當高。但因 所需時間稍嫌緩慢，故考慮另一種利用 Homography 的方法快速地計算相機的參 考焦距，並由計算結果的對應來獲得更精確的相機內部參數。
圖五十二 (a) 第 1 張影像 (b) 第 20 張影像 (c) 由第 1 張影像至第 20 張影像的追蹤結果
(a) (b)
圖五十三 正交方塊圖板之 (a)側視影像 (b)俯視影像。
圖五十三為本三維重建實驗中的待重建物體，是由兩個夾角約為 90 度的平 面所構成的正交方塊圖板，每個平面上有 16 個方塊。實驗之最終目的為針對這 些方塊圖案平面進行三維重建。以下為此實驗主要的步驟：
1. 六張影像經過 Harris 角點偵測，並人工刪除不必要的點後，在正交方塊 圖板左右平面各可得到 64 個特徵點。
2. 從六張影像中任取兩張為一組，以人工方式完成 128 個特徵點對應。
3. 任取兩張影像做三維重建，共 15 組重建結果。
但是在考慮實際的應用時，許多因素會影響到重建與定位結果。有些因素與相機 所攝得的影像品質有關。
4.4.3 路徑規畫模組
路徑規劃問題，是在工作空間中為物體找一條無碰撞（collision-free）的路 徑。隨著物體自由度（degree of freedom，或簡稱為 DOF）的提高，或是障礙物 的構成更加曲折複雜，都會讓運算複雜很多。這類型的三維空間的路徑規劃已經 被證明為 PSPACE-hard 的問題，且任何一個路徑規劃的完全演算法（complete algorithm）所需的時間複雜度，會隨著物體的自由度的增加而快速的成長。
我們發展一套整合的模擬環境，物體的描述，障礙物與物體工作空間的建 構，演算法的執行與調整以及執行結果的輸出，都能在這個環境中輕易地給使用 者操作。
實際上，我們的二維空間的模擬環境如圖五十四所示，(a)中我們先輸入構 成移動物體及障礙物邊界的線段，並指定機械手臂須通過的瓶頸。在按下執行的 按鈕之後，演算法執行的結果即顯示於(b)中。在家用機器人的應用上，若以輪 動式的移動而言，其運動大致是可以由二維空間的角度來描述。然而若考慮機械 手臂的動作，則三維空間之運動與避障功能，則必須確實建立。由於我們所提出 的位能場模型已確實能推展到三維空間，所以我們將先前所發展的路徑規劃演算 法運用在三維的機械手臂上的研究是可行的。
(a) (b)
圖五十四 二維空間路徑規劃的模擬環境
4.4.4 人臉辨識模組
以往人臉辨識的方法是拿人臉影像中二維的資訊來作分析，它們忽略了人臉 三維的資訊。本研究由三維的觀點來探討利用人臉作身分驗證的問題。在我們的 方法中，人臉的三維資訊是由所謂的相關仿射結構的投影不變性來表現，同一個 人臉的影像它的相關仿射結構是不變的。根據這個特性，我們可以建立一個根據 人臉影像作驗證的身分驗證系統。
首先，我們由透視投影及雙相機系統，可以推導出視差公式。如圖五十五所 示，M 與 Mpi 因深度的不同, 造成在影像平面 v’上產生視差。
在[85]中，Shashua 由視差出發，推導出一個相關不變性，稱為相關仿射結 構（relative affine structure）。稱為「相關」不變性的原因是因為這個不變性和 第一台相機的相機中心的位置有關。
圖五十五 因投影轉換而產生的視差
假設空間中一參考平面的其次座標為
(11) 則對於空間中的任意一點 M，其在影像平面 v 和 v’上的投影點 m 和 m’ 之
間有以下的關係
(12) 其中 e’是極點位置，d 及 z 分別為 M 到參考平面與到平行於影像平面且通過投 影中心的平面的距離。如圖五十六所示。並且根據圖五十六中相似三角形的關 係，我們可以得到
(13) 我們可以注意到上式事實上是一個交比值，所以其具有透視投影不變性的特 性。這個特性依照每個人臉型的不同，而有不同的值，所以可使用於人臉辨識。
我們對每位測試人物求算其相關仿射結構的演算法如下：
1. 利用8 對以上的對應點求出基本矩陣F。
2. 利用基本矩陣 F，求出極點e 和e’。
3. 選取 3對對應點，用這3 對對應點和極點求出
H 。
π 4. 選取1 對對應點m0 和m0’。
5. 調整
H 的比例使得
πm
0'≅H
πm
0 +e
'6. 利用
m
1'≅H
πm
1+λ1e
'即可求出對應點m1和m1’的相關仿射結構λ
1。根據相關仿射結構，對於兩張拍攝同一個人臉所得的影像，只要我們所選擇的參 考平面π 以及參考點 M0不變。擇空間中的一個點 M 的相關仿射結構不受第二台
根據相關仿射結構，對於兩張拍攝同一個人臉所得的影像，只要我們所選擇的參 考平面π 以及參考點 M0不變。擇空間中的一個點 M 的相關仿射結構不受第二台