行政院國家科學委員會專題研究計畫 成果報告
適用於無線傳輸的合併音源-通道解碼器製作
計畫類別： 個別型計畫 計畫編號： NSC91-2213-E-009-132-執行期間： 91 年 08 月 01 日至 92 年 07 月 31 日 執行單位： 國立交通大學電信工程學系 計畫主持人： 張文輝 報告類型： 精簡報告 報告附件： 出席國際會議研究心得報告及發表論文 處理方式： 本計畫可公開查詢中
華
民
國 92 年 8 月 1 日
行政院國家科學委員會專題研究計畫成果報告
適用於無線傳輸的合併音源-通道解碼器製作
Joint Source-Channel Decoder Design for Wireless Communication
計畫編號：NSC-91-2213-E-009-132 執行期限：91 年 08 月 1 日至 92 年 07 月 31 日 主持人：張文輝 交通大學電信工程系所 教授 一、中文摘要 關鍵詞：向量量化、合併音源-通道解碼器、後驗機率 合併音源-通道解碼研究旨在改良向量量化系統的解碼器，加強其錯誤隱蔽功能 以維持位元傳輸的強健性。一具體可行方案是利用輸出碼字索引序列的殘存重覆 訊息來設計其解碼機制，其關鍵在於配合不同的通道錯誤屬性估算所有可能傳輸 索引值的後驗機率，同時依據最小均方誤差準則解碼還原其輸出訊號。我們先建 立一適用於無線傳播的通道脈衝響應，進行有限狀態馬可夫通道的模型分析，配 合其區塊通道轉移機率的數學推導，再據以發展一通道匹配的最小均方誤差解碼 機制。理想的區塊通道轉移機率估算應兼顧其即時製作與準確性，前者強調疊代 演算得以快速實現其依序更新，後者則要求同時考慮存在於單一索引內及相鄰索 引間位元組合的記憶特性。至於相鄰索引間殘存重覆訊息的運用，則是利用一階 馬可夫隨機過程模擬編碼輸出的索引序列，同時結合區塊通道轉移機率來估算傳 輸索引值的後驗機率。 英文摘要
Keywords：vector quantization, joint source-channel decoder, a posteriori probability Vector quantizers (VQ) are widely applied for data compression of speech and image. The VQ encoder produces the index of the nearest codevector, while the decoder uses the received index for signal reconstruction. Distortion due to channel impairments can be greatly reduced by incorporating error concealment as part of a joint source-channel decoder. In this project, we design a decoder that exploits the residual source redundancy and the channel memory information through the use of minimum mean-square error (MMSE) estimation. The proposed decoder consists of the a posteriori probability (APP) calculator followed by a conditional mean estimator. It is important to address the importance of matching the real channel behavior to the channel model on which the APP computation is based. Instead of using memoryless binary symmetric channels, our decoder design is based on Gilbert's two-state Markov model that more closely characterizes the observed error bursts occurring in wireless channels. The principal difficulty in using Gilbert's model is that its block channel transition probabilities are not directly observable, and methods of deducing them from model parameters were originally derived under the assumption of frame independence. Extension of these results requires that probability recursions be carefully derived to account for both intra-block and inter-block memories of the Gilbert channel.
二、計畫緣由與目的
輸頻寬與儲存容量的限制。編碼模式是先訓練一組能涵蓋其訊號特徵變化的樣本 碼書，與輸入信號依序比對擇其中最近似的碼字，再傳送其索引值作為編碼輸 出。至於遠端接收器，傳統的解碼機制是根據收到的索引值直接查表取得對應的 碼字，以供訊號還原之用。問題是通道失真會改變碼字索引的接收值，進而解碼 錯誤造成通訊服務品質的嚴重惡化。合併音源-通道編碼研究[1-4]旨在不考慮錯 誤修正碼保護位元情況下，仍能維持強健性位元傳輸以對抗通道雜訊。初步分析 發現影音訊號源經量化編碼所得的碼字索引序列仍存在諸多殘存的重覆訊息 (residual redundancy)，我們深信依據接收索引值而查表輸出的傳統解碼機制仍有 大量的改善空間。 解碼輸出一般皆以均方誤差為測量評估依據，故最小均方誤差解碼器可視為最佳 的解碼器設計。基於系統複雜度與即時解碼的考量，我們鎖定在瞬間最小均方誤 差解碼器的相關研究[5,6]，其關鍵在於如何同時考慮訊號源與通道的特性，準確 估算其傳輸索引值的後驗機率。在訊號源部份，我們考慮語音的相鄰音框間存在 相關性，利用一階馬可夫隨機過程來模擬其編碼輸出的索引序列。至於通道模型 分析部份，目前大部分研究所考慮的無記憶性二元對稱通道，並不足以正確反應 室內及室外無線通訊環境因多路徑衰落所衍生的叢發位元錯誤。因此本計劃探討 具有描述叢發位元錯誤能力的有限狀態馬可夫通道模型[7,8]，首先完成其通道模 型分析，進而推導出位元錯誤機率的疊代演算，之後再考慮真實環境同時存在於 單一索引內與相鄰索引間位元組合的記憶特性，準確地求得傳輸索引值的後驗機 率，再據以估算其最小均方誤差的解碼輸出，並提供系統關鍵元件在錯誤控制設 計及其效能評估之用。 三、研究方法及成果 本計劃的研究重點旨在探討對抗適用於無線通訊環境的向量量化解碼器製作，並配 合通道模型分析與位元錯誤機率推導，完成最佳的合併音源-通道解碼機制。 (一) 合併音源-通道編碼機制： 合併音源-通道編碼研究旨在不考慮錯誤修正碼保護位元情況下，仍能維持強健性位元 傳輸以對抗通道雜訊。圖一顯示系統的流程圖。訊號處理流程如下：首先以 LBG 演算 法訓練一組能涵蓋訊號特徵變化的樣本碼書，其內容是由 m M =2 個維度為k之碼字向 量C=
[
c0,c1,L,cM−1]
所組成。在編碼端，與在時間n的輸入訊號v 依序比對擇其中最n 近似的碼字，再將其索引值xn =i以二進位格式傳送作為編碼輸出。當量化索引經由具 有 雜 訊 的 通 道 傳 送 時 ， 通 道 輸 入 xn 由 於 通 道 錯 誤 en 的 干 擾 使 得 通 道 輸 出 為 n n n x e y = ⊕ ，其中⊕為 modulo-2 加法運算子。為了對抗通道雜訊，我們在解碼端使 用由兩個次系統組成的最小均方誤差解碼器。第一個次系統使用接收到的通道輸出序列{
n}
n y y y y1 = 1, 2,K, 來計算每個可能的傳輸索引值之後驗機率P[xn | y1n]，而這些機率 用於第二個次系統來處理其條件平均值，則輸出的來源訊號估計值vˆ 為n∑
− = = = 1 0 1] | [ ˆ M i n n i n c P x i y v 理想的解碼器設計應同時考慮訊號源與通道的特性，以期能準確地估算出傳輸索引值的 後驗機率P[xn |y1n]。(二) 最佳解碼器製作： 經由上述分析得知，最小均方誤差解碼器的好壞將取決於其傳輸索引值後驗機率 ] | [xn y1n P 估算的準確與否。針對此議題，我們首先利用向量量化輸出序列的殘存重覆 訊息與通道的記憶特性完成機率估算的理論推導。我們假設影音訊號經量化編碼後的索 引序列可以利用一階馬可夫隨機過程(Markov process)來模擬，因此 [ | 1] n n y x P 可以推導 為： ] | [ ] , | [ ] , | [ ] | [ 1 ] [ ] , [ ] | [ ] , | [ ] | [ ] | , [ ] | [ 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 0 1 1 1 0 1 1 1 1 1 1 1 − − − − − = − − − − − − − = − − − − = − − = − ⋅ ⋅ ⋅ = = = = ∑ ∑ ∑ ∑ − − − − n n n n n M x n n n n n n n n n n M x n n n n n n M x n n n M x n n n n n y x P y x x P y x y P y y P y P y x P y y P y x y P y x P y x x P y x P n n n n 為了確實反映存在於相鄰索引間的記憶特性，我們採用一階馬可夫模型模擬其通道特 性，則通道輸出yn只受到通道輸入xn，xn−1與通道輸出yn−1影響，而通道輸入xn則與 所有之前的通道輸出 1 1 − n y 無關。因此，上式總和內的第一項與第二項可以分別簡化為 ] , | [yn xnn−1 yn−1 P 與P[xn |xn−1]。對於穩態且對稱的通道而言，其區塊通道轉移機率 ] , | [ −1 n−1 n n n x y y P 可以表示為P[en |en−1]，其中en與en−1分別為代表在時間n與n-1 之通 道錯誤的二元碼字。若使用en的m位元二進位格式，en =[em(n−1)+1,em(n−1)+2,L,emn]， 我們可以將區塊通道轉移機率以其位元錯誤機率來表示：
∏
− + = − − − − = = ⋅ = mn n m k e k k k e k k k n n Pe e k P e e k P 1 ) 1 ( 1 1 1 1] [ 1| ] [ 0| ] | [ 0 0 e e 其中k0 =m(n−2)+1以及 −1 = 0 k k e [ , 1, , 1] 0 0 k+ k− k e e e L 。 (三) 通道錯誤模型分析 理想的解碼器設計，為了準確估算其傳輸索引值的後驗機率，必須考慮到不同通 道內傳輸位元錯誤屬性的明顯差異。我們模擬製作室內無線傳輸的位元錯誤序 列，主要是依不同統計模型組合通道脈衝響應內各個路徑的增益、相位移及傳播 延遲。至於通道模型分析，則利用 Gilbert 提出的馬可夫鏈數學模型來描述室內 無線通道內傳輸位元的狀態變遷。如圖二所示，兩個狀態 G 與 B 的錯誤發生機 率分別為 0 與(1-h)。此模型的最大優點在於可以利用單項的錯誤距機率分布 (error-gap distribution)，即能有效地描述出記憶性通道的叢發性錯誤特性。更重 要的是利用指數曲線匹配技術可以合理近似容易量測的錯誤距機率分布，亦即 l l l P(0 |1)≈α1⋅β1 +α2⋅β2，而{α1,α2, β1,β2}與 Gilbert 模型參數{b,g,h}之間存 在下列關係式： h g h b h − − ⋅ − + − = − − ⋅ − = − − ⋅ = 1 ) 1 ( ) 1 ( ) ( 1 ) 1 ( ) 1 ( ) ( 2 1 2 1 1 2 1 2 1 1 1 2 1 β β β β α β β β β α β β β則通道錯誤模型分析即可轉換成一種非線性參數最佳化預估問題。其中最佳化演 算法的搜尋變數為{α1,α2,β1,β2}，適性評估所需的成本函數則為錯誤距機率的 指數曲線匹配誤差
∑
= − ⋅ + ⋅ L l l l l P 1 2 2 2 1 1 )] ( ) 1 | 0 ( [ α β α β 。 (四) 位元錯誤機率推導 欲有效估計區塊通道轉移機率，其關鍵在於正確估測記憶性通道的位元錯誤機率 ] | 1 [ 1 0 − = k k k e e P 。在完成 Gilbert 通道模型分析之後，所面臨的最大挑戰是如何利 用模型參數的預估值{b,g,h}來計算通道位元錯誤機率。針對此議題，我們提出 一具體可行的解決方案。首先考慮 Gilbert 通道狀態s 的特性，其當前狀態與輸k 出在已知先前狀態的條件下皆獨立於所有先前的輸出，即 ] | [ ] , | [ 1 1 1 0 − − − = k k k k k k s e P s s s P 與 [ | , 1] [ | ] 0 k k k k k k s e P e s e P − = ，則位元錯誤機率可以表 示為： ] | [ ) 1 ( ] | [ ] | 1 [ ] | [ ] , | 1 [ ] | 1 [ 1 1 1 1 1 0 0 0 0 0 − − − − − = ⋅ − = = ⋅ = = = = ⋅ = = = = k k k k k k k k k k k k k k k k k k e B s P h e B s P B s e P e B s P e B s e P e e P 接著，利用上述 Gilbert 通道模型的特性，我們可以推導 [ | 1] 0 − = k k k B e s P 如下： ] | [ ) 1 ( ] | [ ] , | [ ] | [ ] , | [ ] | [ 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 − − − − − − − − − − − = ⋅ − − + = = ⋅ = = + = ⋅ = = = = k k k k k k k k k k k k k k k k k k k k e B s P b g b e B s P e B s B s P e G s P e G s B s P e B s P 其中 h e e P e e P B s e P e e P e B s P e B s e P e e P e e B s P e B s P k k k k k k k k k k k k k k k k k k k k k k k k k k k k − = = = = ⋅ = = = = = − − − − − − − − − − − − − − − − − − − − 1 ] | 1 [ ] | [ ] | [ ] | [ ] | [ ] , | [ ] | [ ] | , [ ] | [ 2 1 2 1 1 1 2 1 2 1 2 1 1 2 1 2 1 1 1 1 0 0 0 0 0 0 0 0 最後，我們將 [ | 1] 0 − = k k k B e s P 的推導結果帶入位元錯誤機率中，以完成其疊代演 算： ] | 1 [ ] | [ ] | [ ) 1 ( ) 1 ( ] | 1 [ 2 1 2 1 1 1 1 0 0 0 − − − − − − − = = − − + − = = k k k k k k k k k k k e e P e e P B s e P b g b h e e P疊代演算的優點是快速實現其機率估算，亦即利用前一位元的錯誤機率 ] | 1 [ 1 2 0 − − = kk k e e P 來估算當前的位元錯誤機率 [ 1| 1] 0 − = k k k e e P ，藉此求得能確實反映 通道特性的區塊通道轉移機率，進而提供量化系統在設計通道匹配的錯誤控制及 其性能評估之用。 (五)模擬環境及結果： 模擬系統的輸入信號為一階高斯馬可夫信號，相關係數ρ 分別為 0.5 及 0.9。量 化器碼書大小及維度(M,k)分別取(16,4)與(64,6)。錯誤序列則透過能夠有效描述 記憶性通道的 Gilbert 模型產生。表一列出針對錯誤率為 0.01 之 Gilbert 模型，使 用不同解碼器解碼所得的向量量化效能表現。由結果可以看出我們提出的通道匹 配之最小均方誤差演算法(VQ-MMSE2 與 VQ-MMSE1)皆優於傳統使用展開器/ 解展開器的最小均方誤差演算法(VQ-IL-MMSE)。此外，相較於 VQ-MMSE1 演 算法，VQ-MMSE2 演算法因同時考慮存在於單一索引內及相鄰索引間位元組合 的記憶特性而獲得更優異的效能。圖三則為針對不同錯誤率的信號雜訊比結果， 結果顯示本計劃所提的合併訊源-通道解碼器在高錯誤率的效能改善較為顯著。 此外，我們也針對室內無線通道[7]進行模擬，透過 Gilbert 模型分析錯誤序列取 得其通道模型參數，再進行通道匹配的合併訊源-通道解碼器設計，同樣也達到 有效對抗通道雜訊的效果。 四、結論 本計劃之具體成果為基於吉伯特通道模型建立其區塊通道轉移機率的數學推 導，再輔以索引序列殘存重覆訊息的運用，進而設計一有效對抗無線通道雜訊的 合併訊源-通道解碼器。 參考文獻
[1] N. Farvardin and V. Vaishampayan, ”On the performance and complexity of channel-optimized vector quantizers,”IEEE Trans. Inform. Theory, vol. 37, pp.
155-159, Jan. 1991.
[2] W. W. Chang, T. H. Tan, and D. Y. Wang, ”Robust vector quantization for wireless channels,”IEEE Journal on Selected Areas in Communications, vol. 19,
no. 7, pp. 1365-1373, July 2001.
[3] P. Knagenhjelm and E. Agrell, ”The Hadamard transform–A tool for index assignment,”IEEE Trans. Inform. Theory, vol. 42, no. 4, pp. 1139-1151, July
1996.
[4] W. W. Chang and H. I. Hsu, ”Constrained VQ codebook design for noisy channels,”Electronics Letters, vol. 37, no. 10, pp. 662-664, May 2001.
over discrete memoryless channels— Applications to combined source-channel coding,”IEEE Trans. Inform. Theory, vol. 40, no. 1, pp. 186-193, Jan. 1994.
[6] T. Fingscheidt and P. Vary, “Softbit speech decoding: a new approach to error concealment,”IEEE Trans. Speech and Audio Processing, vol. 9, no. 3, pp.
240-251, March 2001.
[7] A. J. Goldsmith and P. P. Varaiya, ”Capacity, mutual information, and coding for finite-state Markov channels,”IEEE Trans. Inform. Theory, vol. 42, no. 3, pp.
868-886, May 1996.
[8] E. N. Gilbert, “Capacity of a burst-noise channel,” The Bell System Technical Journal, vol. 39, pp. 1253-1265, Sept. 1960.
表一：不同解碼器設計對於不同輸入信號的 SNR 效能, (M,k)=(16,4)
VQ-IL-MMSE VQ-MMSE1 VQ-MMSE2
ρ= 0.5 5.4032 5.4275 5.4404 ρ= 0.9 9.1415 9.2174 9.6475 VQ Encoder Channel compute a posteriori probability MMSE Decoder ] | [ 1 n n y x P n y n x n v vˆn 圖一：合併訊源-通道編解碼系統流程圖 G B 1-b 1-g g b 圖二：吉伯特通道模型 (a) ) ( log10ε (b) ) ( log10ε 2 3 4 5 6 7 -3 -2.8 -2.6 -2.4 -2.2 -2 -1.8 -1.6 -1.4 -1.2 -1 S N R (d B ) VQ-IL-MMSE VQ-MMSE1 VQ-MMSE2 4 6 8 10 12 -3 -2.8 -2.6 -2.4 -2.2 -2 -1.8 -1.6 -1.4 -1.2 -1 S N R (d B ) VQ-IL-MMSE VQ-MMSE1 VQ-MMSE2 圖三：針對不同錯誤率之 Gilbert 通道的 SNR
