1-1 相機校正(Camera Calibration)與影像縫合(AutoStitch)的應 用
隨著相機校正和影像處理的發展，影像縫合(AutoStitch)近幾年在影像處理 中已經佔有越來越重要的地位，其可應用的範圍也越來越廣，除了攝影愛好者原 本受限於相機角度有限而無法拍攝廣角影像，因為 AutoStitch 的發展而一償宿 願，其他還有如 Camera Motion[1]-[3] ，Scene Motion[4]-[6]，Advanced Camera Modelling[7]，Photometric Modelling[8]-[10]，監視系統、軍事系統方面，
如圖 1-1.1，AutoStitch 的應用也是越來越趨於廣泛。
在早期 AutoStitch 或 Camera Calibration 技術尚未成熟的時候，所有的影 像要縫合或是校正，都需要人工徒手靠著繪圖軟體來接合或手動修正，這種人工 方法相當麻煩，而且效果不盡理想。直到在相機校正領域[40]-[41]提出了用相 機相對位置來做校正，[11]-[14]提出了利用 direct method 來做影像縫合校正，
此技術才突破了人工徒手校正的瓶頸，之後[3],[15]-[16]更近一步提出了 feature-based method，影像縫合與校正技術才慢慢趨近於成熟，feature-based method 比起 direct method，運算量更加節省，並且拒絕 outlier 的能力更強，
其校正結果自然誤差更小更加可靠。
圖 1-1.1 相機陣列校正技術範例(本圖來源出自[44])
1-2 相機校正(Camera Calibration)與影像縫合(AutoStitch)演的缺
定，例如:360 度環場影像(360° Panorama Image)[17]-[20]、全自動絕對座標 縫合影像(Automatically Absolute Coordinated Image Stitching)……等。360 度環場影像(360° Panorama Image)所希望達到的效果是可以看到前後左右所有360 度的影像[17]-[20]，但是這樣的影像往往會造成扭曲的效果，與真實世界 (ground truth)不符合，如圖 1-2.1、圖 1-2.2。在強調 360 度環場影像(360°
Panorama Image)的前提下，這兩張圖達到了我們的要求，即前後左右 360 度的 影像皆可看到，但是我們也不難發現，這兩張圖很明顯地失真了，圖 1-2.1 的竿 子應該是直的，卻被扭曲了，圖 1-2.2 的工作牆壁應該是平的，卻被扭曲了。為 了達到 360 度環場影像的效果，卻失去了原本真實世界的內容(content) 。全自 動絕對座標縫合影像(Automatically Absolute Coordinated Image Stithing) [21]-[22]所希望是達到與真實世界(ground truth)內容一樣的結果，所以相對
圖 1-2.1 360 度環場影像 1(本圖 Pattern 來源出自[42])
圖 1-2.2 360 度環場影像 2
圖 1-2.3 全自動絕對座標縫合影像
位置也必須一樣，如圖 1-2.3。圖 1-2.3 縫合影像所顯示的影像內容與真實世界 的內容(ground truth)完全一樣，連相對位置也一樣，但是很明顯地我們也可以 發現為了達到相對位置一樣的效果，在縫合的過程必須也把影像做歪斜，以致於 縫合後的結果越來越歪。此處的歪斜與前面 360 度環場影像的扭曲不一樣，360 度環場影像是為了達到 360 度環場效果所以導致相對位置不同以致失真。全自動 絕對座標縫合影像[21]-[22]是為了達到絕對座標都與真實世界一樣所以造成影 像的歪斜，因為沒有顯示出來的部份本來就沒有拍攝到，因此根本不會被縫合出 來。因此，影像縫合的效能判定也會因需求的不同而有不同的判定，目前還沒有 較一個精確的準則來衡量效能(performance)的判定。
第二，運算量過大:在 1-1 節我們有大概提到，早期所有的影像要縫合或是 修正，都需要人工徒手靠著繪圖軟體來接合或手動修正，這種方法好處是完全不 用機器來運算，但是人工方法相當麻煩，而且效果不盡理想。直到[11]-[14]提 出了利用 direct method 來做影像縫合與校正，才突破了人工徒手校正的瓶頸，
但是 direct method 因為是用整張影像來比較，所以運算量非常大，之後 [3],[15]-[16]更近一步提出了 feature-based method，運算量比較節省，但就 整體影像縫合(AutoStitch)而言，運算量過大還是一個存在已久的問題，本篇論
文主要的目的之一就是希望可以節省傳統的演算法運算量，甚至在某些前提的假
(2) 縫合影像本身與真實世界內容(ground truth)的誤差：不同於第一點，
有些影像即使縫合出來效果清晰無誤，但是卻與真實世界內容(ground method 再到 feature-based method，節省了許多的運算量，但是就整 個影像縫合系統(AutoStitch System)而言，運算量過大還是一個存在 已久的問題。
綜合以上的分析以及討論，我們在(1)-(3)都與傳統演算法相同的情形下，
提出一套屬於我們自己的快速演算法，使得縫合運算量(4)大大地再降低，甚至 在某些前提的假設下，運算量可以壓低到適合用於硬體實作上。
1-4 章節規劃
本 章 節 中 ， 介 紹 了 目 前 相 機 校 正 (Camera Calibration) 與 影 像 縫 合 (AutoStitch)的應用範圍以及在本論文裡所要探討的事情做個簡單的描述。接下 來第二章中，會說明影像縫合(AutoStitch)的基本背景理論和演算法來做相機的 校正。第三章我們就影像縫合(AutoStitch)在設計過程中所遭遇到的困難，和問 題的解決方法，做進一步的了解與探討。並針對各種不同的狀況做比較，模擬結 果列於第四章中。最後第五章再對這一連串的分析所發現與觀察到現象做個總 結。