前處理

由於配對的過程是檢查所有投影片對應到所有畫面的相似度，因此在處理主要配 對流程之前，若先濾除連續的類似畫面，減少多餘的配對計算，可以節省在重複計算 特徵點的時間；我們不採用固定時間取樣畫面的方式，因為同樣畫面可能連續出現一 段時間，因此固定時間取樣仍然會出現許多類似畫面，使用本研究提出的方法，才能 將連續的類似畫面濾除。此外，投影片的尺寸大小也會影響特徵點計算速度，因此這 個階段同時也將投影片縮放至與影片畫面相同尺寸。

3.2.1 ^處理對象

為了方便後面的描述，我們在這裡限定義要處理的對象，以及基本的相關名詞。

在這裡要找出的候選畫面是從所有畫面選出，因此將處理對象集合記為所有出現在錄 影片段中的畫面編號 𝐹 = {𝑓_𝑖|𝑓_𝑖 ∈ video input}，我們希望去掉連續且類似的畫面，

從數位影像中，最簡單的方式是直接觀察兩張畫面的紅、藍、綠通道值總和相減後的 差異如，其相減的方式定義為

𝑑_𝑖𝑗 =

𝑤

∑

𝑥=0 ℎ

∑

𝑦=0

𝑎𝑏𝑠(𝑖𝑚𝑔_𝑗(𝑥, 𝑦) − 𝑖𝑚𝑔_𝑖(𝑥, 𝑦))

where 𝑖𝑚𝑔_𝑖(𝑥, 𝑦) = 𝑠𝑢𝑚(𝑅_𝑖𝑥𝑦, 𝐺_𝑖𝑥𝑦, 𝐵_𝑖𝑥𝑦)

我 們 將 前 後 兩 張 畫 面 (𝑓_𝑡, 𝑓_𝑡+1) 相 減 後 的 差 異 值 取 絕 對 值 加 總， 會 出 現 如 圖 3.2的特徵，圖中波峰處即為差異較大的候選畫面，但是這樣做容易因為畫面背景 的雜訊或是光影變化導致候選畫面數量仍然相當多；因此我們採取平均一段時間的畫 面，建立背景影像(式. 3.1)，然後取該時間的最後一張畫面作為候選參考畫面並與之 相減，記為 𝑑_𝑓

𝑡 = 𝑑_𝑏𝑔

𝑡,𝑓_𝑡；我們將所有的畫面計算後會得到如圖 3.3的結果，可以看

圖 3.2: 將連續兩個錄影畫面相減後，分別觀察紅(R)、綠 (G) 、藍 (B) 三種顏色 的個別差異，縱軸為差異量，橫軸為畫面編號

到圖中橫軸代表畫面編號，縱軸代表計算後的值，畫面變化明顯的地方會出現較大的 波峰。

𝑏𝑔_𝑡 = ∑^𝑡−30

𝑓=𝑡 𝑖𝑚𝑔_𝑓

30 (式. 3.1)

我們將所有的畫面與背景畫面差異記錄下來，並且計算這些差異值平均，然後保 留差異值大於平均的畫面編號為一個新的集合 𝐹_𝑓𝑑，如(式. 3.2)，過濾的結果如圖 圖 3.4，可以看到大部分的點去除後，剩下的是畫面有成群出現的趨勢。

𝐹_𝑓𝑑 = {𝑓_𝑖|𝑑_𝑓𝑖 > ∑^𝑛

𝑗=1𝑑_𝑓

𝑗

𝑠𝑖𝑧𝑒(𝐹 ) } (式. 3.2)

最後，我們保留每個連續的畫面群組中的最大差異值作為候選畫面 𝐹_𝑐 ，其結果 示意如圖 3.5，我們在這個階段，可以濾除 99% 以上的畫面，而節省同比例的匹配 時間。

圖 3.3: ^{部分連續畫面差異值，}𝑑_𝑓

𝑡 為圖中 diff 線段，以全部的 𝑑_𝑓

𝑡 平均作為門檻 過濾後可以得到 圖 3.4的結果

𝐹_𝑐 = {𝑓_𝑖|𝑎𝑟𝑔𝑚𝑎𝑥(𝑑_𝑓

𝑖), ∀𝑓_𝑖 ∈ each frame groups}

經過上述的處理方式，為了驗證這個方法的有效性，我們觀察了幾個片段中的結 果，發現確實能夠有效的減少畫面數量，並且得到差異幅度顯著的畫面，如圖 3.6 中 的藍線為實際資料的結果，而黑線則是計算出來的結果，可以看到在黑線的波峰處，

圖 3.4: 以平均差異過濾後的畫面分布為數個群集，從這些片段後可以發現畫面十 分相似，因此再取出每個連續片段的最大的畫面差異以降低候選畫面數量

圖 3.5: 經圖 3.4過濾後，最後留下的單一畫面點，圖中紅點即包含視覺差異較大 的錄影畫面時間點，後續方法將以此作為配對畫面對象

都是畫面出現明顯變化的點，且和前一個畫面確實不同，和下一個續畫面則是十分相 似。