第四章 壓縮儲存
4.9 小結
經過這三重壓縮過後，十分鐘的影像 18000 張 frame 從 YUV420 的原始影像 大小 2.7GB 壓縮最小到 12KB，若是只用 MPEG4 壓縮大約僅能壓縮到 30MB，
而每一個壓縮所產生的功用如下表所示
壓縮方式 Frame Skip Block-Change QP adaptation
針對影像 靜態影像 動態影像 靜態影像
改善資料 I and P frame P frame I and P frame 壓縮倍率 最大可到 1000 倍 示影像雜訊大小
以及影像變動範 圍，對每張 P frame 而言若一半影像 判定不動約省 0.3KByte
Inter QP =31，每張 P frame 約省 0.6 KByte 而 Intra QP
= 8 約可省一半的 I frame 資訊量
表 3.1 壓縮方式與效率比較
餘的資訊更 可以看到我們根據影像的內容，記錄我們需要的資訊，並且把冗
進一步的排除，達到更加的壓縮效率。
第五章 去交錯(De-interlacing)
quence 來作為我們測試的平台，由於 Foreman sequence 為漸進式的影像資訊，以我們要設法模擬出交錯式影像的資訊，而當只有利用到一個 field 的資訊來 為去交錯的原始資料時，這個時候的模擬方式相對地簡單，把 sequence 內所有 bottom field 丟掉，僅利用 top field 的資訊來還原整張影像。而當要用到前後張 間域上面的資訊時，我們的做法是採取二分之一取樣的方式，也就是奇數張的
影像丟掉 top field
資訊，每秒更新 張影像，真正的攝
30 張影像，在取樣頻率上少掉一半，但這樣子已經大致可以表現出交錯
，而偶數張影像丟掉 bottom field，最後則以 top field 為主，還原 出整張影像的資訊，這樣一來可以當做每隔三十分之一秒影像擷取一個 field 的 15 影機為每六十分之一秒擷取一個 field，每 秒更新
示訊號所會面臨的問題與處理的方法。
Frame 89-90 Frame 91-92
圖 5.2 利用 Foreman sequence 前後張錯開的影像模擬交錯式訊號
去交錯
因此，對於一個 field 的去交錯方式時，我們模擬了各式各樣不同但簡單的
Frame 93-94 Frame 95-96
5.3 一個 field
由於我們是要把 de-interlacing 的機制建構於即時影像的監控上面，所以運算 複雜度為其中很重要的考慮因素，若是選用太複雜的機制如 MC-IPC，雖然效果 可能會很好，但是畫面因此而沒有辦法達到即時播放的話反而失去了它的意義，
因此我們希望可以結合幾種簡單的方法，並且分析他們的優缺點，在不會增加大 量的運算複雜度之下，能夠得到比較好的效果。
方法，包含 LD(Line Doubling)、LA(Line Average)、ELA(Edge Based Line Average)、
Median、Mean 等五種方法，並且與原始影像做 PSNR 的比較，下圖則為 Foreman sequence 中，五種方法的 PSNR 的比較圖 Median 30.0715dB ELA 29.9216dB
數值，雖然它有很高的 PSNR 但是視覺效果會被大打折扣，所以，一 般不會直接採用 LA 去還原出整張漸進式影像。
z MeanÎ這個個方法是利用附近六個點的資訊來補出中間點待補點的資訊，
我所採用的方式是全部都是等比重的方法，這可以說是考慮比較多 點的情況下，利用平均補出中間點，在六個參考點皆為同一個區域 時，也就是待補點在平滑區的時候，參考六個點來補可以讓整體的 平滑性更進一步。但是當六個點分屬不同區域時，這個方法依然是 等比重的做平均，因此很有可能補出不正確的資訊，使得 PSNR 降 低，如圖形中房屋的邊緣部份。
z MedianÎ這個方法首先先要排序，把附近的六個點由高到低排列，之後再取 中間兩個點的資訊來平均，算出待補點的資訊。雖然它依舊是沒有 參考到邊界的資訊，但是卻會無形中把屬於點數比較少的資訊排除 掉，進一步地判斷出適合的影像還原值。
z ELAÎ 這個方法，主要就是參考邊界的資訊，利用三個方向上相減的大小 值，選取最小的一邊來當成兩邊都是同一個區域內的值，因此中間 的待補點可以利用這個邊上兩點的資訊來內插出中間的資訊。在區 塊比較大，而且斜向 Edge 常而且明顯時，它能夠內插出不錯的效果。
下面為五種方法僅以一個 field 去交錯後所得到的圖形
原始 foreman 影像的灰階資訊 左上角放大四倍的圖形
bottom field 的圖 左圖左上角放大四倍
去掉
LD去交錯後的圖 左圖左上角放大四倍
LA 去交錯後的圖 左圖左上角放大四倍
Mean 去交錯後的圖 左圖左上角放大四倍
Median 去交錯後的圖 左圖左上角放大四倍
ELA 去交錯後的圖 左圖左上角放大四倍
圖 5.4 此圖為 Foreman sequence 第一張圖形，左圖為原始影像與去掉 bottom field 影像以及五種 方法去交錯後的圖形，右圖為左圖的左上角部分放大圖
由圖 5.4 首先分析一下在左上角的斜邊邊界部分，由於各種方式的特性，所 以不難發現到在屋簷部分 ELA 與 Median 的方式所產生的影像比較接近於原始影 像的屋簷部分，而 LD、LA 與 Mean 在屋簷部分的鋸齒狀情形相較於 ELA 和 Median 來說嚴重很多，所以在前半段的部分，ELA 和 Median 的 PSNR 會比其他的方式 來得好。
原始 foreman 影像的灰階資訊 左上角放大四倍的圖形
去掉 bottom field 的圖 左圖左上角放大四倍
ELA 去交錯後的圖 左圖左上角放大四倍
Median 去交錯後的圖 左圖左上角放大四倍
LA 去交錯後的圖 左圖左上角放大四倍
圖 5.5 此圖為 Foreman sequence 第 251 張圖形，左圖為原始影像與去掉 bottom field 影像以及 三種方法 PSNR 較好的方式去交錯後的圖形，右圖為左圖的左上角部分放大圖。
接下來看一下 ELA、LA 與 Median 在後半段的圖形。從 PSNR 來看，在 Foreman 後半段(frame 230 以後)，LA 的 PSNR 最高，Median 其次，ELA 最慘。從去交錯 後的圖形來看，由於在 Foreman 後半段，背景部分為十分複雜的樹葉和樹枝，而 在數後面是一整片的天空，用 ELA 簡單的判別邊界方向性的結果會除了造成不 少誤判外(比如說樹枝判成天空，天空判成樹枝)，也容易造成一個一個區塊狀個 樹葉。再來是
所以當附近點的資訊量多的一方反而不屬於同一區塊時，也會造成誤判的情形。
Median，由於它是採用附近六個點的資訊取中位數來加以平均，
最後是 LA，它雖然完全不管方向性，但它所拿的是上下兩個點的資訊，也就是 離 它 最 近 的 兩 點 的 平 均 值 來 補 ， 反 而 有 時 候 比 較 容 易 找 到 正 確 的 資 訊
(B) (C)
圖 5.6 此圖為 Foreman sequence 第 251 張圖形，分別經過(A)ELA、(B)Median 以及(C)LA，去 交錯後和原始影像的比較圖，亮的部分表示差量大於 30 的像素點，黑的部分表示差量 小於 30 的部分。
由圖 5.6 可以得知，LA 在 Foreman 後半段的補償值比 ELA 和 Median 來得好。
當在平滑區的時候，當參考附近六個參考點皆屬於同一區塊時，LA 是利用最近 兩點的資訊來補，這個本身就是極為可靠的資訊。而當在邊界時，若邊界的方向 為垂直狀的，用 LA 補將極為適合，但是在有長條型斜向邊界時，LA 會造成鋸 齒狀的波紋。ELA 是利用邊界的方向性，透過附近六個點三條線的方式，找尋最 可靠的邊界方向，以此邊界的兩端點來做平均，當在平滑區時這個資訊不會錯，
而當在長條型斜向邊界時，這個方法就可以發揮地很好，在很細的邊界上，如樹 枝而背景又是一大片同樣顏色的天空時，這時候找到的資訊就有可能會被背景所 拉走。Median 的情形與 ELA 差不多，比較好的情況是它是利用亮度值排序，只 要有四個點同屬於同一個區塊，則內插出來的值就會在這個區塊內，而在普遍的 情形中，這樣可以達到很好的補償方式。
在分析過後，發覺 LA 可以應付大部分的情形，只要上下兩點是屬於同一個 區塊的時候，LA 可以補償出極好的效果，因此我們的所提出的方法主要就是希 望發揮 LA 簡單有效的特點，並且把它的缺點補起來，首先，先判定上下兩點是 否屬於同一個區塊，如果是的話則直接利用 LA 來做內插，如果發覺是不同區塊
的話，則 :
(A)
再利用 median 來做內插的動作，下面為此方式的示意圖
(A) (B)
小，不像 ELA 只是找最像的邊線來平均。因此，我們採用 median 來做為我們的 Median 30.0715dB ELA 29.9216dB Proposed 30.1034dB
從圖 5.8 中可以看到，我們所提出的方法，在前半段可以貼近 median 的 PSNR 們採用的方式主要是根據 MA-IPC，也就是並沒有做 motion compensation 的動作，
主要的原因就是希望能夠以簡單的方法達到一定的效果。而由於雜訊的干擾，所 以再利用時間域上資訊去做去交錯時，額外提出了一些保護的動作。我們先把時 間域的補償分做兩部分，第一部分當前後兩張的 bottom field 值相差不到雜訊的 量時，我們判別可能是背景部分的資訊，所以可以利用前後兩個 field 來還原出 中間 field 遺失的資訊。而當還原出來時，另外針對 noise 的大小還要判別是否這
個值是否可靠，假如是會產生如鋸齒狀的波紋的圖形，也要設法把它給排除掉，
所以最後的流程圖如圖 5.8 所示
C
F B
E X A
D
H G
Time T-1 Time T Time T+1
(A) (B)
圖 5.9 去交錯時參考的資訊(A)圖為整體去交錯系統流程圖，(B)圖為對應的像素點的灰階值。
我們一開始先判斷影像資訊視為背景還是前景的資訊，這個可以利用簡單的 G-H 來判斷。若 G-H 小於雜訊的門檻值，我們可以判定 X 點很有可能是屬於背 景的部分，這個時候直接用 G 和 H 的資訊來補出 X 是很合理的，一般 temporal deinterlacing 最簡單的方法是用(G+H)/2 的方式來補，而我們實際上在使用時，是
直接補進 。而另一
方面，假如補出來的值不屬於上下區塊內的值的話，我們會認為這個值是有可能 出錯的，倒不如直接用空間域上的補法。因為補錯一個點的資訊會造成影像上十 分明顯的缺陷，因此在這方面我們利用 B 和 E 之間與補出來的值是否相似，也 就是相差值是否為可容忍的雜訊，若差異太大，那就直接用空間域上的資訊去補。
G 的值，也就是之前整張影像擷取時的資訊，並沒有再加入 H
0 50 100 150 200 250 300 25
30 35 40 45 50
Frame
PSNR(dB)
LD 27.9102dB LA 29.9028dB Mean 29.704dB Median 30.0715dB ELA 29.9216dB Proposed 30.1034dB Proposed Temporal 33.6184dB
上圖的 Proposed Temporal 即為時間域上與空間域上所提出的去交錯方法，可
上圖的 Proposed Temporal 即為時間域上與空間域上所提出的去交錯方法，可