疊代解碼演算法的重點，是以額外訊息逐次交換的方式來提升更 正錯誤的能力，為了能夠事前預測疊代過程的收斂情形，我們將使用 前人基於消息理論而推導的額外資訊轉換圖(EXIT chart)做深入分 析。主要是利用單一解碼器輸出端的額外消息為其輸入端事前消息的 函式轉換，分別計算輸入和輸出與其系統位元的互消息(mutual information)來評估消息的可靠度。藉由額外資訊轉換圖的分析，額 外訊息的交換過程會呈現出一條交替向上且向右的軌跡圖
(trajectory)。藉由此圖可以預估疊代過程的狀態、收斂後的效能以 及到達收斂所需的疊代次數，進而減少不必要的系統模擬計算量以及 傳輸的延遲。此外，我們將探討索引指定的課題，藉由額外資訊轉換 圖的分析做最佳化設計，以提升整體系統的錯誤更正能力。
3.1 3.1 3.1
3.1 額外資訊轉換圖額外資訊轉換圖額外資訊轉換圖額外資訊轉換圖
考慮一個軟性輸入輸出(soft-input/soft-output)的解碼器，如 圖 3.1 所示，且各個訊號值以對數相似值表示。令x∈
{ }
0,1 為傳送端[ ] [ ] (transition probability)可表示為
ɶ
若令 z 22
n
µ =σ ， z 22
n
n n
=σ ⋅ ，則
(ɶS | S) z S z
L y y =µ ⋅y +n (3.4) 其中nz為平均值 0 且變異數 z2 42
n
σ =σ 的高斯隨機變數。由以上推導得知
，L y(ɶS |yS)可視為一高斯隨機變數，其平均值為隨機變數µz⋅yS，變異 數為σz2，而且
2
2
z z
µ =σ 。
接著推導單一解碼器輸入和輸出的相關式。首先，我們定義I[apri]
為傳送訊號yS和整體事前對數相似值L[apri](yS)= L y( S)+L[inext](yS)之間的 互消息，I[ext]為傳送訊號yS和額外對數相似值L[outext](yS)之間的互消息。
至於兩個隨機變數的互消息，一般定義為熵值(entropy)H X( )和
( | )
H X Y 的差異
( ; ) ( ) ( | ) , 0 ( ; ) ( )
I X Y =H X −H X Y ≤I X Y ≤H X
其意義為，在Y已知的情形下X減少的不確定性，也就是當I X Y( ; )值 越大，兩個隨機變數X和Y的相關性越大。
經由前人研究[11]，單一解碼器的疊代過程可得到兩項觀察：
(1) 如果交錯器夠長，則在經過多次疊代後，事前消息L[apri](yS)會和 由通道相關消息L y(ɶS|yS)不相關。
(2) 經過多次疊代後，單一解碼器的輸入端和輸出端所對應的額外 對數相似值L[inext](yS)和L[outext](yS)皆近似於高斯分佈。
基於上述觀察可知，輸入端的額外對數相似值L[inext](yS)=ξ為一個 獨立的高斯隨機變數，且平均值為隨機變數µA⋅yS，yS∈ ±{ 1}，變異數
為σA2，以及兩者之間的關係式
I( ;ξ yS = − = −1) 1 Eξ{log (12 +eξ)} (3.9)
而σA的求取可利用σA =g−1
(
I(
ξ;yS) )
並使用嘗試錯誤法，嘗試各種不同圖 3.2 通道解碼器的額外資訊轉換特性
影響。事前互消息ICD[apri]固定，增加訊雜比，即產生越小的通道雜訊，
則事後額外訊息的可靠性越大，ICD[ext]越大，且隨訊雜比的上升有相當 大幅度的提升，在訊雜比大於0即可接近上限值H y( S)。
圖 3.3 為訊源解碼器使用自然映射索引指定所產生的額外資訊 轉換特性，事後互消息ISD[ext]和事前互消息I[SDapri]之間呈現幾乎線性的遞 增，不同的訊雜比
0
Es
N 則呈現不同的曲線。在訊雜比大於3的環境下，
事後額外訊息幾乎和事前消息無關。在訊雜比較低的通道環境下，如
10
dB= − ，訊源解碼器則有相當不錯的更正錯誤能力，隨著訊雜比的 上升，事後額外訊息有小幅的提升。和通道解碼器不同的是，在幾乎
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
ICD [apri]
I CD[ext]
natural binary code
dB = -10 dB = -3 dB = 0 dB = 3 dB = 10
圖 3.3 訊源解碼器的額外資訊轉換特性曲線
沒有雜訊的通道中，如dB=10，訊源解碼器所產生的事後互消息ISD[ext]仍 無法接近上限值H y( S)，即使事前消息幾乎無誤，如ISD[apri] =H y( S)≈1。 主要原因在於通道編碼器使用同位檢查碼(parity check bit)保護系 統位元，可以產生較正確的訊息，而訊源編碼器並無任何保護位元，
因此無法到達上限值。
進一步分析疊代解碼的收斂過程，我們將兩個解碼器個別的額外 資訊轉換特性曲線放在同一張圖上，即產生出所謂的額外資訊轉換圖。
其原理是基於個別解碼器所得的事後額外訊息，將提供做為對方的事 前訊息，以進行互惠的疊代處理。故將訊源解碼器的額外資訊轉換特
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
ISD [apri]
I SD[ext]
natural binary code
dB = -10 dB = -3 dB = 0 dB = 3 dB = 10
性對調其XY 軸，即X 軸為ISD[ext]，Y軸為I[SDapri]。
一開始假設兩個解碼器彼此獨立運作，要滿足這項假設需要長度夠長 的交錯器。在第一次疊代中，由於通道解碼器的事前機率值相同，且 假設L[SDext,0](yS)=0，則事前互消息ICD[apri,1]=0，其中下標的數字代表第幾次 疊代。經過解碼後可以得到事後互消息ICD[ext,1]，即可在軌跡圖上得到一 條直線軌跡由座標(ICD[apri,1], 0)沿著Y軸方向到座標(ICD[apri,1],ICD[ext,1])。接著將通 道解碼器的事後額外訊息傳到來源解碼器當作事前訊息，其中交錯器 並不影響互消息的值，可得I[SDapri,1]=ICD[ext,1]，經過解碼後可以得到事後互 消息ISD[ext,1]。由於假設兩個解碼器彼此獨立，可得一條直線軌跡由座標
[ ] [ ]
,1 ,1
(ICDapri ,ISDapri )沿著X軸方向到座標(ISD[ext,1],I[SDapri,1])，且和通道解碼器的直線軌 跡垂直。接著將訊源解碼器的事後額外訊息傳到通道解碼器當作事前 訊息，可得ICD[apri,2]=ISD[ext,1]。在疊代到第 n 次之過程中，我們可以發現兩 個解碼器的事後互消息會越來越大，即ICD n[ext,] >ICD n[ext,]−1且I[SD next,] > I[SD next,]−1。這 說明可經由疊代得到更多的可靠消息，直到ICD n[ext,] =ICD n[ext,]−1且I[SD next,] =ISD n[ext,]−1
時，交換額外訊息已經無法獲得新的可靠消息，即可停止疊代。藉由 軌跡圖，我們可以事先預估系統需做幾次疊代即可接近收斂後的效能。
如圖 3.4 為雜訊比dB= −3時，使用自然映射索引指定所產生的軌跡圖 以及額外資訊轉換圖。額外資訊轉換圖分別由訊源以及通道解碼器產 生的額外資訊轉換特性曲線所組成，代表系統效能的限制，即疊代過
圖 3.4 自然映射的軌跡圖以及額外資訊轉換圖
程只會出現在通道解碼器曲線下方以及來源解碼器曲線左方的交集 區塊。而兩條曲線的交點稱為停止交點(stopping intersection)，
表示系統收斂後能達到的效能。階梯形式的軌跡曲線表示系統每次疊 代所產生的效能，分別被兩條不同解碼器的額外資訊轉換特性曲線限 制且不會超過停止交點。由圖中我們還發現到軌跡圖在疊代過程並未 接觸兩條額外資訊轉換特性曲線，其可能原因在於交錯器的長度受限 於延遲而不夠長，以至於事後額外訊息的分布並不近似高斯分佈。
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
ICD [apri] , I
SD [ext]
I CD[ext] , I SD[apri]
natural binary code
EXIT CD EXIT SD trajectory
3.23.2 引指定機制，如自然二位元碼(natural binary code，NBC)、格雷碼 (gray code，GC)及進位碼(folded binary code，FBC)，觀察其額外 資訊轉換圖的差異。由圖 3.5 可知在訊雜比dB= −3時，不同的索引指
ICD[ext] , ISD[apri]
natural binary code
EXIT CD
ICD[ext] , ISD[apri]
gray code
ICD[ext] , ISD[apri]
folded binary code
EXIT CD EXIT SD
定並不會使通道解碼器的額外資訊轉換特性有明顯的差異，這主要是 因為通道解碼演算法是以位元為單位做計算。反之，訊源解碼器的額 外資訊轉換特性則有相當明顯的差異性。NBC 碼的更正錯誤能力雖然 較 GC 碼和 FBC 碼都強，不過 NBC 碼得到的停止交點
[ ] [ ]
(ISDext ,ICDext )=(0.64, 0.85)，距離理想值(1,1)還有一段差距。因此我們希望 利用停止交點的位置(ISD[ext],ICD[ext])，對索引指定做最佳化設計，以提升 訊源解碼器的更正錯誤能力。也就是設法找一組最佳索引指定使交點
[ ] [ ]
(ISDext ,ICDext )最接近(1,1)，以期提升整體系統的效能。針對此議題，最直
接的做法就是考慮完全搜尋法(full search algorithm)，也就是嘗 試所有可能的索引指定，從當中比較而得到一個交點最接近(1,1)的指 定機制。這方法雖然可以得證找到全域性最大值(global maximum)，
但假設量化位元數目為K，則總共需要蒐尋2 !K 組索引指定。當K =3
時須計算40320組索引指定，而當K =4時則須計算2 10× 13組索引指定，
其過高計算量限制其實用價值。因此我們將選擇計算量較低的二位元 置換演算法(binary switching algorithm)[8][14]，進行最佳的索 引指定搜尋。圖 3.6 為二位元置換演算法的流程圖，一開始先選定傳 統索引指定中最好的 NBC 碼做量化，並計算其初始距離值
[ ] 2 [ ] 2
( SDext 1) ( CDext 1)
d = I − + I − 。接著將索引值做兩兩置換，固定一個索引位 置i，i=0,⋯, 2K −1，將所有位置 j，j=0,⋯, 2K −1的索引值和位置i做交
選 定 起 始 索 引 指 定 並 計 算 d
選 定 一 個 index的 位 置 I,i=0,..,2k-1
選 定 一 個 索 引 位 置 j和 位 置 i做 對 調 ,j=0,..2k-1
d_new < d i=0
藉 由 i和 j的 值 判 斷 BSA 是 否 達 到 收 斂
i=2k-1 j=2k-1 (BSA達 到 收 斂 )
d_new >= d i<2k-1
j<2k-1
i<2k-1 j=2k-1
j=0
計 算 d_New並 和 d做 比 較 j++
起 始 索 引 指 定 為 最 佳 的 量 化 方 式 i++
i=0
圖 3.6 二位元置換演算法流程圖
換，並計算新的距離值d new_ = (ISD new[ext,] −1)2+(ICD new[ext,] −1)2。其中所有可能 置換的個數為(2 )K 2，也就是我們必須從(2 )K 2組索引指定中尋找距離
值d new_ 小於距離值d的可能情形，直至所有的置換均無法再有更低
的距離值d new_ ，則我們可以判定演算法收斂且起始索引指定為最佳
索引指定。如果在(2 )K 2組索引指定當中，找到一組新的索引指定可以 產生比起始距離值d小的距離值d new_ ，則判定這組索引指定為起始 索引指定並重新計算收斂次數。值得注意的是，二位元置換演算法只
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
ICD[ext] , ISD[apri]
natural binary code
EXIT CD
ICD[ext] , ISD[apri]
EXIT optimized