特徵點的擷取和對應是電腦視覺 (computer vision) 領域中的重要關 鍵，過去三十年來已有不少人提出相關研究，受制於一些先天條件，至今 仍無一完美的解決方案，特徵點對應理論的相關應用廣泛，如視覺導航 (navigation)、物體辨識(object recognition）、物體避碰(obstacle avoidance)…
等。
在場景的三維重建（3D reconstruction）中，通常需要對所要重建的場 景做不同角度的取像，並由這些從不同角度所拍攝的影像中找出對應的特 徵點，再藉由投影幾何理論求出二維影像點在實際三維場景中的正確位 置。由於目前特徵點對應演算法並無法解決所有的問題，本篇論文的目標 是分析並改進特徵點的對應，希望藉由後續處理步驟找出正確的特徵點對 應，以應用於室內場景的三維重建。
我們從兩個不同的角度拍攝場景，取得一對立體影像（stereo images）， 再利用特徵點擷取演算法分別找出兩張影像的特徵點，以利後續的特徵點 對應，目前特徵點對應的演算法主要可歸納為以下四類：
利用極線限制（epipolar constraint）進行特徵點對應：極線限制是說 若給一個左影像平面的點m，在右影像平面必對應一條極線l'，且 的 對應點 '必落在 上，利用極線限制可以減少特徵點對應的搜尋，我 們也將利用極線限制驗證對應的正確性[1]。
m
m l'
利用灰階比對（block matching）進行特徵點的對應：若左右影像每一 個像素皆能正確對應則可以得到影像中不同物體的位移距離，具有相 同位移距離的像素表示在實際場景中深度相同。相關係數的計算方法 以 SSD error（Sum of squared differences）最為常見，如(1.1)式，其中
Il與Ir分別為左影像與右影像的相關係數視窗，計算時分別以不同大 小的距離 d 代入，所得最小相關係數值的 d 值即為此像素的水平位移 距離。
[ ]
2( , )
2 2
( , ) ( , )
( , ) ( , )
( , , )
( , ) ( , )
l r
l r
I x y I x d y
C x y d
I x y I x d y
ξ η
ξ η ξ η
ξ η ξ η
ξ η ξ
+ + − + + +
=
+ + + + +
∑
∑ ∑
η (1.1)此方法的缺點是：若相關係數視窗在影像中的位置恰位於景深(depth) 不同之處，相關係數容易因為取像的角度不同而產生較大變化，此時 對應的結果便易受到景深的影響。
利用特徵比對（feature matching）進行特徵點的對應：特徵比對的原 理是希望尋找影像中一些較為明顯且具代表性的特徵，例如：線段、
邊界、輪廓…等，利用這些已知特徵來做兩張影像裡特徵點的對應。
特徵比對在下列三種情況發生時，會增加對應的難度：(a)若影像裡無 足夠的特徵以供比對(b)影像裡重複或相似的特徵太多(c)因為相機本 身的因素，使影像產生扭曲變形。
利用非參數法(non-parametric measures)進行特徵點的對應：第一個 非參數法是 rank transform，首先定義一個 3×3 的小視窗，分別在左右 影像裡移動，同時記錄像素周圍灰階值較像素本身灰階值小的數目，
若兩個數字相同，則可能為對應的特徵點。第二個非參數法是 census transform，同樣的定義一個 3×3 的小視窗，分別在左右影像裡移動，
將像素周圍的灰階值以二進位碼之形式串接，比較兩個字串的漢明距 離(Hamming distance)，若兩字串之漢明距離很小，可能為對應的特徵 點。其他常見的非參數法還有 median filter、mode filter、rank filter…
等。
特徵點對應目前仍然沒有通解，主要是受限於以下限制。
取像失真（photometric distortions）：在取像的過程中常因相機或光線 等因素使得左右影像的顏色、灰階等特徵失真，或是相機使影像邊緣 產生扭曲變形，導致增加對應的困難。
投影失真（projective distortions）：由於相機成像是從三維場景投射至 二維影像，在投射的過程中就可能使特徵在影像中造成形變，如此在 三維場景中的特徵經由不同視角所取得的影像可能因為在二維影像產 生形變而無法對應。又因為投影必然會損失深度資訊，故此困難點也 很難避免。
模稜兩可的比對判斷（ambiguity）：在二維影像比對的過程中經常會 有一些特徵對應是以人的觀點也不一定能夠正確分辨出來的，可判斷 為相似，也可判斷為不相似。此種先天限制造成了特徵點對應的不穩 定。
遮蔽（occlusions）：左右影像可能會有部分特徵點因相機的取像角度 或位置而導致某些特徵點被遮蔽，使得特徵點只出現在其中一張，在 另外一張並無出現，造成在尋找特徵點對應時產生錯誤對應的機率會 提高。
本 篇 論 文 的 主 要 觀 念 是 由 Harris 演算法找出室內場景中的角點
（corner）作為特徵點，並分析 Harris 過程裡產生的影像梯度，找出每一 角點周圍灰階值的梯度方向（gradient direction），並以 9 種顏色代表 9 種 不同方向，我們稱之為彩色碼，利用彩色碼做為角點具有之特徵，並和已 知對應組合的相對關係相比，以建立特徵點對應，最後透過極線限制改善 特徵點的對應關係，以利後續進行室內場景的三維重建。
本篇論文一共分為八章，第一章為簡介，敘述本篇論文的研究動機，
並對前人所提出的特徵點對應演算法和存在已久的困難點做分類，第二章
是相關文獻探討，簡述目前改進特徵點對應的方法，第三章為基本矩陣與 極線幾何，描述左右影像之間存在的幾何關係，第四章為特徵點的擷取與 對應，介紹目前常見特徵點的擷取與對應的演算法，接著利用彩色碼、距 離限制、雙向對應一致性與已知對應點的相對關係來建立特徵點對應，第 五章為計算基本矩陣，在獲得特徵點的對應關係後，我們可以利用這些對 應點求取基本矩陣，本章將介紹求取基本矩陣的方法，第六章為利用極線 幾何改善特徵點之對應，我們提出兩種限制以改進特徵點的對應，以獲得 正確之基本矩陣，第七章為實驗結果，分別對不同的場景加以分析，第八 章為結論，說明此方法的特性以及未來可繼續深入探討的地方。