影像前處理

第一階段為兩台攝影機畫面的縫合。對於教學影片而言黑板的內容猶為重要，

因此當攝影機固定，若使用單部攝影機拍攝完整的黑板，卻造成字跡無法清楚辨 識，則需要使用兩部攝影機進行錄製。此階段，本研究主要結合影像縫合技術[13]，

將兩部攝影機畫面縫合成一張完整的教學影像，如圖 3-2 所示。

（a） （b）

（c）

圖 3-2 影像縫合之結果（a）左邊攝影機錄製畫面（b）右邊攝影機錄製畫面（c）

影像縫合之結果

影像縫合流程，主要包含特徵點檢測、特徵點匹配、影像轉換和影像融合。

然而，本研究避免在每次影像縫合的過程都需要執行特徵點檢測與匹配，以及計 算變換參數等技術，因此在考慮固定場景下攝影機內外參數固定，並且加入變換 模型的概念，進而重新改進影像縫合系統流程，如圖 3-3 所示。

圖 3-3 影像縫合流程圖

20

根據圖 3-3 可分為四個步驟，如下所述：

(1) 影像擷取：首先須按照相同的畫面更新率（Frame per Second, FPS），從 影片中擷取影像，以供後續影像處使用。

(2) 影像匹配：精確找出相鄰兩張影像重疊部分，然後確認兩張相鄰影像之 間的變換關係。由於視角、拍攝時間或光照強度等差異，使得拼接影像 往往存在平移、旋轉、尺度變化、色差、扭曲或運動目標遮擋等差別，

因此圖像匹配的目的是找出拼接圖像之間的變換模型。本研究的影像匹 配流程如圖 3-4 所示，首先用加速穩健特徵（Speeded Up Robust Features,

SURF）[8]技術取得特徵點，再將兩張影像的特徵點進行配對，接著對 所求得的特徵點進行匹配，並且使用單應性矩陣（Homography）[17]方 法，讓影像變形且符合匹配之影像尺寸，最後利用該矩陣求得影像轉換 模型。

圖 3-4 影像匹配流程圖

(3) 建立轉換模型：利用單應性矩陣估計得到攝影機的內參數（在 x 軸與 y 軸方向的焦距 𝑓_𝑥 和 𝑓_𝑦 ），接著使用最小二乘法估計 𝑓_𝑥 和 𝑓_𝑦的值；

利用單應性矩陣和旋轉矩陣的性質，並活用萊文貝格－馬夸特演算法

（Levenberg-Marquardt Algorithm）[24]求解所有攝影機的外參數，最後，

進行整體參數的非線性優化。

(4) 影像融合：針對已經圖像轉換的每張影像進行曝光補償、轉換和融合，

獲得影像縫合後平滑無縫的拼接影像，其流程圖如圖 3-5 所示。影像融 合的主要過程，將先前所求得的轉換模型套用至影像，接著對影像進行 曝光補償以消除影像之間的色差，最後進行影像拼接。

圖 3-5 影像融合流程圖

由於本研究的攝影機位置是固定，以致於每張畫面重疊部份均相同，因此當 第一組影像（相同時間點所拍攝的左右兩邊畫面）縫合成功，將作為往後畫面縫 合之依據。如上所述，本研究可以改善兩張影像因特徵點不同，而導致縫合影像 的尺寸或角度等問題；或者，兩張影像的色彩因光線或拍攝角度，造成縫合後的 影像光線不均勻的現象。

22

影像前處理的第二階段為教學影片受外在環境干擾的影響。拍攝教學影片容 易被光線干擾，其因素有陽光和照明設備。陽光，照射持續性較長，對於影像影 響微乎其微；反觀照明設備，照射持續性為間歇性（如日光燈開關），對於影像 影響較劇烈。光線改變會影響教學影片錄製品質，如影像的明暗程度和降低對比 度，導致影片中字跡或人物模糊而辨識不清，因此若要降低此影響並提昇整體對 比度，故本研究將利用直方圖等化（Histogram Equalization）對輸入的教學影片 進行處理。