Voice Over Internet Protocol Voice Over Internet Protocol

Voice Over Internet Protocol Voice Over Internet Protocol

Speech-Coding Techniques

Speech-Coding Techniques

Speech-Coding Techniques Speech-Coding Techniques

•

•

•

– QuantizationQuantization

•

•

•

•

– G.728 Low-Delay G.728 Low-Delay CELPCELP

– G.723.1 Algebraic Codec-Excited Linear Prediction (ACELP)G.723.1 Algebraic Codec-Excited Linear Prediction (ACELP) – G.729G.729

•

•

Voice Quality Voice Quality

•

– Excellence-5Excellence-5 – Good-4Good-4

– Fair-3Fair-3 – Poor-2Poor-2 – Bad-1Bad-1

•

– ITU P.861ITU P.861

– Evaluate speech codingEvaluate speech coding

聲音的數位化 聲音的數位化

•

– 聲音是像光一樣的波長的現象，但是這是巨觀來看，它聲音是像光一樣的波長的現象，但是這是巨觀來看，它 其實是牽涉到空氣中的分子在一些實體設備運作下被壓 其實是牽涉到空氣中的分子在一些實體設備運作下被壓

縮與放大的結果。

縮與放大的結果。

• 例如，一個音效系統中的喇叭前後的震動產生一個縱向的壓力例如，一個音效系統中的喇叭前後的震動產生一個縱向的壓力 波，而這個波就是我們所接受到的聲音。

波，而這個波就是我們所接受到的聲音。 ..

• 因為聲音是一個壓力波，它是一個連續的數值，而不是數位資因為聲音是一個壓力波，它是一個連續的數值，而不是數位資 料。料。

• 即使這樣的壓力波是縱向的，它們仍然有波的特質與行為，如即使這樣的壓力波是縱向的，它們仍然有波的特質與行為，如 反射反射 (( 反彈，反彈， bouncing), bouncing), 折射折射 (( 強度的不同的波進入媒介後角強度的不同的波進入媒介後角

度的改變與繞射

度的改變與繞射 (( 沿著物體周圍彎曲沿著物體周圍彎曲 )) 。。

•

數位化 數位化 (Digitization) (Digitization)

• 數位化意味著轉換成一串數字^數位化意味著轉換成一串數字。。

• 下圖是聲音的一維表示圖：振幅值取決於一個一維的變數，就下圖是聲音的一維表示圖：振幅值取決於一個一維的變數，就 是時間。是時間。

數位化 數位化 (Digitization) (Digitization)

•

– 取樣救是測量我們想要知道訊號上的數值，取樣的取樣救是測量我們想要知道訊號上的數值，取樣的 間距通常會是許多相同大小的區間。

間距通常會是許多相同大小的區間。

– 第一種取樣方式，就是利用在相同長度的時間間隔第一種取樣方式，就是利用在相同長度的時間間隔 做測量。 這樣測量的速率叫做測量頻率

做測量。 這樣測量的速率叫做測量頻率 (sampling fr(sampling fr equency)

equency) (( 見下圖見下圖 a)a) 。。

– 對聲音而言，典型的取樣頻率是對聲音而言，典型的取樣頻率是 8 kHz (8,000 sampl8 kHz (8,000 sampl es per second)

es per second) 到到 48 kHz. 48 kHz. 這個範圍是經由理論所這個範圍是經由理論所 謂謂 NyquistNyquist 理論理論 (( 後面會討論後面會討論 )) 所決定。所決定。

數位化 數位化

• 因此決定要如何將聲音資料數位化，我們 因此決定要如何將聲音資料數位化，我們 需要知道下列的問題：

需要知道下列的問題：

– 取樣速率是多少？取樣速率是多少？

– 資料可以量化到什麼程度，量化的量是一致的資料可以量化到什麼程度，量化的量是一致的 嗎？嗎？

– 聲音資料的格式為何聲音資料的格式為何 ? (? ( 檔案格式檔案格式 ))

Nyquist Theorem Nyquist Theorem

•

正弦波的總和，左圖 正弦波的總和，左圖 顯示有比重的正弦撥 顯示有比重的正弦撥 可以建立一個複雜的 可以建立一個複雜的 訊號。訊號。

Nyquist Theorem Nyquist Theorem

•

以還原本來的聲音。

– 下圖下圖 (a)(a) 顯示單一的一個正弦波：它是一個單純的顯示單一的一個正弦波：它是一個單純的 頻率 頻率 (( 只有電子儀器才能產生如此的聲音只有電子儀器才能產生如此的聲音 )) 。。

– 假使取樣速率恰好與實際頻率相等，下圖假使取樣速率恰好與實際頻率相等，下圖 (b)(b) 顯示顯示 會還原一個錯誤的訊號：它只是一個沒有頻率的常 會還原一個錯誤的訊號：它只是一個沒有頻率的常 數。數。

– 再來，如果取樣變成了再來，如果取樣變成了 1.51.5 倍，下圖倍，下圖 (c)(c) 顯示所得顯示所得 到仍是一個不正確頻率的波

到仍是一個不正確頻率的波 ((aliasalias) ) ，這個波的，這個波的 頻率小於原來訊號：是原來的一半

頻率小於原來訊號：是原來的一半 (( 頂點間的波頂點間的波 長是原來的兩倍

長是原來的兩倍 )) 。。

Nyquist Theorem Nyquist Theorem

• Nyquist Theorem Nyquist Theorem

band-limite band-limite d d

f f

f f

，所以取樣速率應該至少

，所以取樣速率應該至少 2(2(

f f

- f - f

• Nyquist frequency Nyquist frequency

– 因為它無法還原頻率大於因為它無法還原頻率大於 Nyquist frequencyNyquist frequency 的訊號的訊號

，所以大多數系統有一個

，所以大多數系統有一個 antialiasing filterantialiasing filter 可以限制可以限制 取樣器輸入訊號的頻率內容在

取樣器輸入訊號的頻率內容在 Nyquist frequencyNyquist frequency 範圍範圍 內。內。

•

– ff_aliasalias = = ff_{samplingsampling} - f - f_truetrue; ; for for ff_truetrue < f < f_{samplingsampling} < < 22 f f_truetrue

訊號對雜訊比 訊號對雜訊比

Signal to Noise Ratio (SNR) Signal to Noise Ratio (SNR)

•

signal to noise signal to noise ratio

ratio

SNR SNR

– 測量訊號品值的方法。測量訊號品值的方法。

•

dB dB

bel bel

成電壓平方的以

成電壓平方的以 1010 為底的對數，詳細定義如下：為底的對數，詳細定義如下：

：：

– SNR SNR = 10log= 10log₁₀₁₀VV²²_signalsignal //VV²²_noisenoise=20log=20log₁₀₁₀VV_signalsignal //VV_noisenoise

訊號對雜訊比 訊號對雜訊比

Signal to Noise Ratio (SNR) Signal to Noise Ratio (SNR)

•

始訊號電壓為雜訊訊號電壓的十倍 , , 那那 SNRSNR 就是就是 20log

20log₁₀₁₀(10)=20dB.(10)=20dB.

•

琴能量的十倍，然而以能量比的 SNRSNR 就是就是 10dB, 10dB, or 1B.

or 1B.

•

做比例，下表就是四周聲音大概的分級。

做比例，下表就是四周聲音大概的分級。

線性與非線性量化 線性與非線性量化

•

•

(Non-uniform quantization) (Non-uniform quantization)

的聽力敏感度為準來設定更適當且不同大小的區間。

– Weber‘s LawWeber‘s Law 曾明白的表示等量的感官上與絕對層級的值要曾明白的表示等量的感官上與絕對層級的值要 成正比：成正比：

• ΔResponse∞ΔStimulus/StimulusΔResponse∞ΔStimulus/Stimulus

– 加入一個比例為加入一個比例為 kk 的常數，我們可以有一個微分方程式表示的常數，我們可以有一個微分方程式表示 出出 (( 反應值為 反應值為 r r 且刺激值為 且刺激值為 ss)) ：：

• dr dr = = k k (1/s(1/s) ) ds ds with response with response r and stimulus r and stimulus ss..

線性與非線性量化 線性與非線性量化

•

是一個積分出來的常數。

•

– ss₀₀ 是最低可以引起反應的刺激層級是最低可以引起反應的刺激層級 (r (r = 0 = 0 當當 s=s=ss₀₀).).

•

•

個非常類似的規則稱為 A-lawA-law ，，是在歐洲電話系統中用到是在歐洲電話系統中用到 的編碼。的編碼。

•

線性與非線性量化

線性與非線性量化

μ μ =100 =100 或 或 255; 255; A A = 87 = 87 . . 6 6

對於安靜的聲音有比較好的解析度

對於安靜的聲音有比較好的解析度

聲音的過濾

聲音的過濾 (filter) (filter)

•

其應用有關：

其應用有關：

– 對語音而言，頻率是保留在對語音而言，頻率是保留在 50Hz50Hz 到到 10kHz10kHz 之間，通之間，通 常可以利用一個可以濾掉較低及較高頻訊號波的

常可以利用一個可以濾掉較低及較高頻訊號波的 band-band- pass filter

pass filter 將其它的訊號去掉。將其它的訊號去掉。

– 一個音樂的訊號一般是落在一個音樂的訊號一般是落在 20Hz20Hz 與與 20kHz20kHz 之間之間 – 在在 DA DA 轉換器的末端，高頻可以在輸出重現轉換器的末端，高頻可以在輸出重現

• 因為取樣及量化，原來平順的訊號會被一系列含有所有可能頻因為取樣及量化，原來平順的訊號會被一系列含有所有可能頻 率的率的 step functionsstep functions 所取代。所取代。

– 所以在解碼端，在所以在解碼端，在 DADA 線路後端會使用一個線路後端會使用一個 low-pass low-pass filter

filter 。。

聲音品質與資料速率 聲音品質與資料速率

•

會增加。立體聲 (Stereo):(Stereo): 在傳送一個數位聲音訊號在傳送一個數位聲音訊號

， 頻寬會倍增。

， 頻寬會倍增。

聲音的量化與傳輸 聲音的量化與傳輸

• ^{通常 通常} , , 對聲音所產生量化後的取樣輸出叫做 對聲音所產生量化後的取樣輸出叫做 PCM PCM (Pulse Code Modulation) (Pulse Code Modulation) 。另外一個 。另外一個 版本是 版本是 DPCM DPCM ( ( 一個原始但有效的改進）。 一個原始但有效的改進）。

具有適應性的版本叫

具有適應性的版本叫 ADPCM ADPCM 。 。

Pulse Code Modulation Pulse Code Modulation

• 產生從類比訊號到數位訊號的基本技術就 產生從類比訊號到數位訊號的基本技術就 是取樣與量化

是取樣與量化 ( ( sampling sampling and and quantizatio quantizatio n n ). ).

• 量化包含選擇量值上的中斷點，然後重新 量化包含選擇量值上的中斷點，然後重新

對應任意在一段區間的值到一個具有代表

對應任意在一段區間的值到一個具有代表

性的級數 性的級數 ( ( 如之前的圖 如之前的圖 ) ) 。 。

語音壓縮的

語音壓縮的 PCM PCM

一個不連續的訊號不只含有原來訊號的頻率組成 一個不連續的訊號不只含有原來訊號的頻率組成

，還含有理論上有限的高頻組成：

，還含有理論上有限的高頻組成：

•

•

•

，這個濾器只允許在原來訊號最大個頻率範圍內的

，這個濾器只允許在原來訊號最大個頻率範圍內的 頻率訊號通過。

頻率訊號通過。

語音壓縮的

語音壓縮的 PCM PCM

•

下圖。由於 low-pass filteringlow-pass filtering ，輸出訊，輸出訊 號變得比較平順，如上圖

號變得比較平順，如上圖 (c)(c) 的效果。的效果。

聲音的差值編碼 聲音的差值編碼

• ^{聲音不再以簡單的 聲音不再以簡單的} PCM PCM 方式儲存，取而代 方式儲存，取而代 之的是利用取樣訊號間的差異，這些差異 之的是利用取樣訊號間的差異，這些差異 通常來說是比較小的數字，當然有可能可 通常來說是比較小的數字，當然有可能可

以使用較少的位元數來儲存。

以使用較少的位元數來儲存。

– 假使一個與時間相關的訊號有一些時間的一致假使一個與時間相關的訊號有一些時間的一致 性 性 (“temporal redundancy”)(“temporal redundancy”) ，所謂的差異訊，所謂的差異訊

號，將現在取樣值減去前一個取樣值，將會得 號，將現在取樣值減去前一個取樣值，將會得 到一個在到一個在 00 值周圍有極值的峰值柱狀圖值周圍有極值的峰值柱狀圖 (histog(histog ram)ram) 。。

聲音的差值編碼 聲音的差值編碼

• 一個較極端的例子，一個線性斜面訊號具 一個較極端的例子，一個線性斜面訊號具 有相當平的斜率，所以由這個訊號所導出 有相當平的斜率，所以由這個訊號所導出

的柱狀圖上 含有在這個斜率值的曲線上揚 的柱狀圖上 含有在這個斜率值的曲線上揚 部分 部分 (spike) (spike) 。 。

– 所以我們可以將這些差值編碼成位元字串，可所以我們可以將這些差值編碼成位元字串，可 以將常出現的值給較短的編碼，很少出現的給 以將常出現的值給較短的編碼，很少出現的給

長的編碼。

長的編碼。

無漏失的預測性編碼 無漏失的預測性編碼

Lossless Predictive Coding Lossless Predictive Coding

• Predictive coding Predictive coding

樣值本身，而是前後取樣的差值。

樣值本身，而是前後取樣的差值。

– 預測性編碼包含找出差值，而且使用預測性編碼包含找出差值，而且使用 PCMPCM 傳送這傳送這 些差值。些差值。

– 注意整數差值也都將是整數，將整數輸入訊號當作注意整數差值也都將是整數，將整數輸入訊號當作 是是 ff_nn的集合 。然後將前一個訊號值當作是預測值 的集合 。然後將前一個訊號值當作是預測值

， 然後定義誤差值

， 然後定義誤差值

 ee_nn當作是與 實際與預測訊號當作是與 實際與預測訊號 值的差值。

值的差值。



fn

無漏失的預測性編碼 無漏失的預測性編碼

Lossless Predictive Coding Lossless Predictive Coding

– 但通常預測值會用一些前面取樣值所形成的函但通常預測值會用一些前面取樣值所形成的函 數數

f f

f f

f f

常用的線性預測函數如下：

常用的線性預測函數如下：

無漏失的預測性編碼 無漏失的預測性編碼

Lossless Predictive Coding Lossless Predictive Coding

•

– 例如下圖例如下圖 (a)(a) 畫了在畫了在 8kHz8kHz 取樣一秒鐘的結果，而每個取樣一秒鐘的結果，而每個 取樣的大小用

取樣的大小用 88 位元表示。位元表示。

– 如下圖如下圖 (b)(b) ，這些取樣值的柱狀圖是落在，這些取樣值的柱狀圖是落在 00 的附近。的附近。

– 如下圖如下圖 (c)(c) 顯示對應語音訊號的差值柱狀圖比原來的取顯示對應語音訊號的差值柱狀圖比原來的取 樣值更集中

樣值更集中 00 的附近。的附近。

– 結果是將常常出現的符號給予短的編碼結果是將常常出現的符號給予短的編碼 00 ，這樣的編，這樣的編 碼方式比取樣值本身的編碼將更有效的將取樣值差值 碼方式比取樣值本身的編碼將更有效的將取樣值差值 編碼。編碼。

無漏失的預測性編碼 無漏失的預測性編碼

•

差異值應該是落在 -255..255-255..255 我們已增加了差異值的動我們已增加了差異值的動 態範圍有兩倍之多

態範圍有兩倍之多需要更多位元來傳送一些差異值需要更多位元來傳送一些差異值。。

•

碼值要為這兩個保留。

碼值要為這兩個保留。

•

例來說只有範圍落在 --15..1615..16 的差異值加以編碼。但是超的差異值加以編碼。但是超 過這個範圍的差異值可以經由一串移位

過這個範圍的差異值可以經由一串移位 (Shift:SU(Shift:SU 或或 SD)SD) 後，緊接的是一個真正落在

後，緊接的是一個真正落在 -15..16-15..16 範圍的值。範圍的值。

– 例如例如 100100 送出的方式就是 送出的方式就是 SU, SU, SU, 4SU, SU, SU, 4 。。

無漏失的預測性編碼 無漏失的預測性編碼

• Lossless predictive coding Lossless predictive coding

們利用下面的預測函數 ：

們利用下面的預測函數 ： f^_n

無漏失的預測性編碼 無漏失的預測性編碼

•

f f

11,,

f f

f f

f f

f f

將創造一個額外訊號值

f f

這個不編碼的初始值：

DPCM DPCM

•

是它加入了一個量化的步驟。

– 一個可以有系統地決定最佳量化間距集合的機制，一個可以有系統地決定最佳量化間距集合的機制，

它的量化間距是不相同的，就是所謂的

它的量化間距是不相同的，就是所謂的 Lloyd-Max Lloyd-Max 量化器量化器 , , 這個方法是利用誤差項的最小平方值。這個方法是利用誤差項的最小平方值。

– 專有術語專有術語 : : 訊號值訊號值 : : ff_nn  原來的訊號， 原來的訊號， 預預 測訊號， 與 

測訊號， 與  量化過後的還原訊號。量化過後的還原訊號。



fn

fn

~

DPCM DPCM

•

方程式集合為 ⁿ

e~

DPCM DPCM

• 編碼與解碼的主要效果就是要產生還原量 編碼與解碼的主要效果就是要產生還原量 化過的訊號值 。     

化過的訊號值 。     

– 所造成的失真所造成的失真 ((

distortion) distortion)

       ，一個常用來與位元層數比較失

       真的方式。一個

真的方式。一個 Lloyd- Max Lloyd- Max 量化器會比等分量化器會比等分 量化器有比較少的失真。

量化器有比較少的失真。

DPCM DPCM

•

訊號值的區塊，移動量化間距。 也就是從時間 訊號值的區塊，移動量化間距。 也就是從時間

i i

N N

量化誤差降到最小：

量化誤差降到最小：

Types of Speech Coders Types of Speech Coders

•

– High-quality output and not complexHigh-quality output and not complex – Large amounts of bandwidthLarge amounts of bandwidth

– Degrade significantly while using lower bandwidthDegrade significantly while using lower bandwidth

•

– Match the incoming signal to a mathematical modelMatch the incoming signal to a mathematical model

• Use linear predictive filterUse linear predictive filter

– A set of model parameters replaces the signal itselfA set of model parameters replaces the signal itself – Private communications such as military applicationsPrivate communications such as military applications

•

– Perform a degree of waveform matchingPerform a degree of waveform matching

– Utilize knowledge of how people produce sound in the first placeUtilize knowledge of how people produce sound in the first place

PCM PCM

• Sample rate 8kHz Sample rate 8kHz

• Uniform quantization Uniform quantization

– 12 bits per sample (96kbps)12 bits per sample (96kbps)

• Non-uniform quantization Non-uniform quantization

– A-law and μ-lawA-law and μ-law

– 8 bits per sample (64kbps)8 bits per sample (64kbps) – MOS 4.3MOS 4.3

ADPCM ADPCM

• G.721 offer ADPCM-coded speech at G.721 offer ADPCM-coded speech at 32Kbps

32Kbps

– G.721 has now superseded by G.726G.721 has now superseded by G.726

• G.726 G.726

– A-law and μ-lawA-law and μ-law

– Converted to 16Kbps, 24Kbps, 32Kbps(MOS Converted to 16Kbps, 24Kbps, 32Kbps(MOS 4.0) and 40Kbps

4.0) and 40Kbps

Analysis-by-Synthesis (Abs) Cod Analysis-by-Synthesis (Abs) Cod ecs ecs

•

ity at rate down to 16kbps

•

and lower

•

ain Abs codec

– Linear prediction filter model for the vocal tractLinear prediction filter model for the vocal tract

• Linear Predictive Coding (LPC) vocoderLinear Predictive Coding (LPC) vocoder

• Instead of using a simple two-state, voiced/unvoiced model Instead of using a simple two-state, voiced/unvoiced model

• Excitation signal is chosen by attempting to match to reconstructExcitation signal is chosen by attempting to match to reconstruct

G.728 Low-Delay CELP G.728 Low-Delay CELP

•

– Filter Filter

• Change over timeChange over time

– A codebook of acoustic vector A codebook of acoustic vector

• Each vector contain set of elements, which represent various characteristicEach vector contain set of elements, which represent various characteristic s of the excitation signals

s of the excitation signals

– Transmit a set of informationTransmit a set of information

• Filter coefficients, gain, and a pointer to the excitation vector chosenFilter coefficients, gain, and a pointer to the excitation vector chosen

• Sender and receiver have the same codebookSender and receiver have the same codebook

•

– Operate on five sample at a time (sampled at 8kHz)Operate on five sample at a time (sampled at 8kHz) – 1024 vectors, index to the vector is 10 bits1024 vectors, index to the vector is 10 bits

– 16kbps16kbps

G.728 Low-Delay CELP encoder

G.728 Low-Delay CELP encoder

G.728 Low-Delay CELP decoder

G.728 Low-Delay CELP decoder

G.723.1 G.723.1

•

– 6.3 Kbps or 5.3 Kbps (8000Hz)6.3 Kbps or 5.3 Kbps (8000Hz)

– Operate on 240 samples (30ms delay)Operate on 240 samples (30ms delay)

• 4 subframes of 60 samples4 subframes of 60 samples

– Utilize a look-ahead of 7.5ms (totally 37.5ms)Utilize a look-ahead of 7.5ms (totally 37.5ms)

•

– SID (Silence Insertion Description), 4 bytesSID (Silence Insertion Description), 4 bytes

•

G.729 G.729

•

•

•

•

•

– MOS 3.7MOS 3.7

•

•

•

Selecting Codecs Selecting Codecs

•

– RFC 2658RFC 2658

•

– RFC 1890RFC 1890

•

•

with loss

•

frame by interpolating from previous frame

Cascaded Codecs Cascaded Codecs

• Minimize the number of times that a given Minimize the number of times that a given speech is coded and decoded

speech is coded and decoded

• In some cases, a VoIP implementation ma In some cases, a VoIP implementation ma y be such that cascaded codecs are unavo y be such that cascaded codecs are unavo

idable idable

– Ensure that the quality does not degradeEnsure that the quality does not degrade

Tones, Signals, and Dual-Tone M Tones, Signals, and Dual-Tone M

ultifrequency (DTMF) Digits ultifrequency (DTMF) Digits

•

art algorithms and powerful DSP art algorithms and powerful DSP

– Based on how voice is produced in the first placeBased on how voice is produced in the first place

•

– Fax tones, various tones such as busy tones, and DTMF(two-Fax tones, various tones such as busy tones, and DTMF(two- stages dialing, voice mail retrieval, and other applications.

stages dialing, voice mail retrieval, and other applications.

•

•

– IP network v.s. circuit switch networkIP network v.s. circuit switch network

– Speech (RTP) & external signal(H.323, SIP)Speech (RTP) & external signal(H.323, SIP)

•

RTP payload format for named RTP payload format for named

events/tones

events/tones