影像修補

修補（inpainting）是一個修復影像或影片中不需要或不好的部分的方法，也 可以說是影像插補（image interpolation）或是影片插補（video interpolation）。對 於影像來說，要修補的部分只能從其周圍取得資訊，用以推測要修補的部分可能 的資訊，再進行修補，通常用於去除雜訊、增減亮度、增減色彩或移除紅眼，影 片插補，則是從兩張影格中取得影像資訊，再推測出一張中間的影格，在 flash 的動畫製作上時常會用到。

影片在拍攝的過程中，由於拍攝的地點通常是位於開放的空間中，因此影片 在拍攝的時候，往往會遇到一些無法控制的因素，例如行人走動或是車輛移動，

造成原本要拍攝的景物被移動物體遮蔽，而這些在場景中移動的物體會出現在環 場影像當中，這時候就可以利用影像修補的方法，修補這些被移動物體所遮蔽的 影像區塊，還原這些區塊原始的背景影像，即沒有行人或車輛入鏡的影像。

圖 3-1 背景被移動物體遮蔽

在一段水平拍攝的影片當中，對於一個靜止不動的景物，例如停車、長凳、

樹木……等，對它們後方的影像資訊，無論鏡頭旋轉到何種水平角度，都無法取 得其後方的影像資訊，如（圖 3-1）樹木後方，因此我們無法修補靜止的景物後 方的影像區域，但若景物是會根據鏡頭拍攝方向水平移動的，如（圖 3-1）行人，

則會移動的景物只會遮住特定的背景一小段時間，如（圖 3-1）樹木前方，此時 能夠用來修補的影像資訊，就可以從背景被遮蔽那段時間的前後影格來獲得。

圖 3-2 影像以重疊區域疊合

一個特定的景物在一段影片當中會出現一段時間，即從景物進入鏡頭到離開 鏡頭，會在一段連續的影格當中出現，而景物出現的位置，會因為水平拍攝的方 向、景物移動的方向及景物移動的速度不同而不同。對於靜止不動的景物，如相 機水平向右拍攝，則景物會從鏡頭的右邊先進入，再從鏡頭的左邊離開（圖 3-2），

相機水平向左拍攝則反之。對於一個會水平方向移動的景物，如行人、行車、鳥 禽……等，景物出現的位置會因為相機拍攝時旋轉的速度不同而不同，如相機水 平向右拍攝，有一行人由右向左移動，則行人在鏡頭中出現的位置和靜止的景物 一樣是從鏡頭的右邊到鏡頭的左邊，但相對於靜止不動的景物，這種情況會動的 景物出現在影片當中的影格數會比較少。若行人是由左向右移動，但移動的速度

比相機旋轉拍攝的速度慢，則鏡頭會追上行人將其拍攝入影片當中，這種情況會

投射，由於影像接合時，沒有先經過相機參數校正和影像變形，因此將較大的區 塊變形成四方形區塊後還要進行上下左右的平移微調，分別向左右和上下進行寬 和高 10%個像素平移，舉例來說，若使用者框選區域的寬和高分別為 50 和 100，

則由框選位置開始向左 5 個像素到框選位置向右 5 個共 11 個位置，配合框選位 置向上 10 個像素到框選位置向下 10 個像素共 21 個位置，總和 231 個平移位置 中找出最小平均像素差之和，使得修補的影像和環場影像的景物最為一致後，再 將修補影像貼上去（圖 3-4 B）。由於不同水平角度拍攝的影像會因為鏡頭的進光 量不同而導致影像的整體亮度不同，因此還需要把修補影像的平均亮度調整成和 環場影像接縫的平均亮度相同，將（圖 3-4 C）中區域 A 的亮度調整成（圖 3-4 C）

區域 B 的平均亮度，例如區域 A 中一個像素 R = 50、G = 75、B = 85，此像素的 亮度為 70，區域 B 的平均亮度為 100，則將 R、G、B 各加上 30（100 – 70 = 30），

調整過後的像素為 R = 80、G = 105、B = 115。由於影像的亮度是以平均做調整，

因此亮度在接縫部分還是會和環場影像不相等，因此最後再進行影像混合（image blending），將垂直於接縫線的前後一個影格以亮度做線性的調整（圖 3-4 D），使 影像的接縫較不明顯，即完成影像修補。

圖 3-4 影像修補流程圖 （A）找出選取區域未被遮蔽影格 （B）修補選取的 區域 （C）調整修補區域整體亮度 （D）線性調整接縫邊緣亮度

A B

（A）

（B） （C） （D）

（B）