第五章 實驗方式與結果
5.3 實驗結果分析
5.3.3 針對不同 SNR dB 值辨識率提升幅度之分析
我們比較 SNR 為 20dB、15dB、10dB、5dB、0dB 時 DHMM+EMD、DHMM+FVQ、
DHMM+FVQ+EMD 對 DHMM 在不同測試環境中辨識率提升的幅度，如圖 5.17~圖 5.26，另外圖 5.17~5.26 是由表 5-3~表 5-14 整理而成。
A組地下鐵在不同SNR之辨識率提升幅度
0 10 20 30
SNR
辨識率% DHMM+EMD
DHMM+FVQ DHMM+EMD+FVQ
DHMM+EMD 0.88 2.11 9.28 18.89 7.2 DHMM+FVQ 1.82 5.41 3.88 2.02 2.26 DHMM+EMD
+FVQ
4.74 8.73 11.2 24.83 20.26 20db 15db 10db 5db 0db
圖5.17 A 組地下鐵於不同 SNR 下辨識率提升幅度
A組人聲在不同SNR之辨識率提升幅度
DHMM+EMD 4.38 14.32 23.65 39.06 23.93 DHMM+FVQ 9.08 14.5 20 28.64 12.33 DHMM+EMD
+FVQ
12.28 21 32.72 43.1 33.33 20db 15db 10db 5db 0db
圖5.18 A 組人聲於不同 SNR 下辨識率提升幅度
DHMM+EMD 7.14 5.89 11.24 13.68 18.74 DHMM+FVQ 6.9 5.37 1.92 4.98 5.59 DHMM+EMD
+FVQ
8.12 11.49 25.22 19.2 25.18 20db 15db 10db 5db 0db
圖5.19 A 組汽車於不同 SNR 下辨識率提升幅度
DHMM+EMD 5.03 4.53 8.88 25.65 14.82 DHMM+FVQ 5.05 5.79 2.42 4.35 2.44 DHMM+EMD
+FVQ
7.33 8.85 15.1 28.81 24.27 20db 15db 10db 5db 0db
B組餐廳在不同SNR之辨識率提升幅度
DHMM+EMD 7.25 15.63 26 35.81 22.99 DHMM+FVQ 9.95 15.5 18.42 30.07 10.71 DHMM+EMD
+FVQ
10.95 20.19 32.73 46.11 31.87 20db 15db 10db 5db 0db
圖5.21 B 組餐廳於不同 SNR 下辨識率提升幅度
DHMM+EMD 3.58 6.04 20.43 21.92 17.62 DHMM+FVQ 3.72 4.69 3.86 1.11 5.02 DHMM+EMD
+FVQ
6.48 13.45 21.9 25.37 27.36 20db 15db 10db 5db 0db
圖5.22 B 組街道於不同 SNR 下辨識率提升幅度
DHMM+EMD 4.21 7.47 25.87 40.28 25.48 DHMM+FVQ 7.06 9.25 22.37 29.71 18.29 DHMM+EMD
+FVQ
9.08 16.67 34.76 43.72 31.38 20db 15db 10db 5db 0db
圖5.23 B 組機場於不同 SNR 下辨識率提升幅度
B組火車站在不同SNR之辨識率提升幅度
DHMM+EMD 2.31 6.83 22.62 37.66 24.15 DHMM+FVQ 5.38 7.66 18.86 27.3 14.37 DHMM+EMD
+FVQ
6.93 14.05 30.94 39.46 30.67 20db 15db 10db 5db 0db
圖5.24 B 組火車站於不同 SNR 下辨識率提升幅度
DHMM+EMD 1.98 2.48 9.25 24.78 15.15 DHMM+FVQ 3.35 3.01 1.93 2.24 2.08 DHMM+EMD
+FVQ
7.63 12.7 19.98 37.55 32.75 20db 15db 10db 5db 0db
圖5.25 C 組地下鐵於不同 SNR 下辨識率提升幅度
DHMM+EMD 5.1 3.34 13.02 23.8 15.58 DHMM+FVQ 6 3.78 3.28 9.12 1.99 DHMM+EMD
+FVQ
7.5 14.3 24.84 36.83 29.36 20db 15db 10db 5db 0db
由圖5.17 ~ 圖 5.26 中可看出幾個特點:
1. 在地下鐵(A 組雜訊環境)、汽車、展覽會館、人聲、餐廳、街道(B 組雜訊環境)、機
場 、 火 車 站 、 地 下 鐵(C 組 雜 訊 環 境 ) 、 街 道 (C 組 雜 訊 環 境 ) 與 不 同 SNR ， DHMM+FVQ+EMD 辨識率提升幅度高於 DHMM+FVQ 與 DHMM+EMD。
2. 在 SNR 為 20dB 和 15dB 以及所有測試環境下 DHMM+FVQ 辨識率提升幅度會高於 DHMM+EMD，在 SNR 為 10dB、5dB、0dB 時與所有測試環境下，DHMM+EMD
辨識率會高於DHMM+FVQ。
3. DHMM+FVQ+EMD、DHMM+EMD 在所有測試環境下與低 SNR 時，越能發揮抗雜
訊能力，但是DHMM+FVQ 在所有測試環境下與低 SNR 時辨識率提升有限。
由圖 5.27 可以看出，利用 EMD 分解雜訊再用 FVQ 來提升辨識率，對於不同噪音
程度的測試環境都有較高的辨識率。因此FVQ 加上 EMD 有助於提升語音辨識率與語 音抗雜訊的能力。
0~20dB 辨識率平均值
100 2030 4050 6070 80
測試環境
0~20dB辨識率平均值 % 單純DHMM(無EMD與FVQ) DHMM+EMD DHMM+FVQ DHMM+EMD+FVQ
單純DHMM(無EMD與FVQ) 64.18 47.898 57.574 60.826 49.668 58.546 50.484 51.982 58.342 58.502 DHMM+EMD 70.278 66.264 66.582 69.944 67.982 68.962 68.474 67.738 66.396 67.802 DHMM+FVQ 67.258 64.808 62.526 64.836 66.598 62.226 67.82 66.696 60.864 63.336 DHMM+EMD+FVQ 75.53 74.196 73.284 75.28 76.07 75.392 75.726 74.638 79.076 79.918
地下鐵
(Test A) 人聲 汽車 展覽會
館 餐廳 街道
(Test B) 機場 火車站 地下鐵 (Test C)
街道 (Test C)
圖5.27 0~20dB 平均 SNR 在不同的測試環境
5.3.4 針對 CHMM、DHMM 與 FVG+DHMM 辨識速度分析
圖 5.28 是由表 5-15 ~ 表 5-23 整理而成，為 CHMM、DHMM 與 FVQ+DHMM 在
不同測試環境與0 ~ 20dB SNR 平均語音辨識時間之比較圖，而圖 5.29 是由表 5-3 ~ 表 5-8 整理而成，為 CHMM、DHMM 與 DHMM+FVQ 在乾淨語音下辨識率比較圖。
CHMM與DHMM在0~20dB平均值與不同環境的語音辨識時間
0 10 20 30 40 50
測試環境
辨識時間(秒) CHMM
DHMM DHMM+FVQ
CHMM 42.6394 38.485 40.3064 39.1106 38.708 38.6342 37.6744 32.2948 32.9746 32.3238 DHMM 34.32 30.4 32.2 31.78 30.94 30.2 30.42 25.48 25.8 26.26 DHMM+FVQ 34.9 30.94 32.76 32.42 31.54 30.8 31.02 26.08 26.4 26.98
地下鐵
(Test A) 人聲 汽車 展覽會館 餐廳 街道(Test
B) 機場 火車站 地下鐵
(Test C)
街道(Test C)
圖5.28 CHMM、DHMM 與 FVQ+DHMM 在不同測試環境與 0 ~ 20dB SNR 平均語音 辨識時間之比較圖
CHMM、DHMM與FVQ+DHMM在乾淨語音
8082 8486 8890 9294 9698 100
測試環境
辨識率%
DHMM DHMM+FVQ CHMM
DHMM 97.51 97.28 97.21 97.63 97.1 97.28 97.1 97.2 97.55 97.63 DHMM+FVQ 98.53 98.36 97.85 97.95 98.53 98.36 97.85 97.95 98.4 98.6
CHMM 98.93 99 98.96 99.2 98.93 99 98.96 99.2 99.14 99.05
地下鐵 人聲 汽車 展覽會館 餐廳 街道(Test 機場 火車站 地下鐵 街道(Test
由圖 5.28 可看出 DHMM 的辨識速度優於 CHMM。圖 5.29 可以看出 CHMM 的辨
識率高於DHMM，不過兩者差距不大。我們以 DHMM 做為語音辨識的方法而不用 CHMM 的原因是 DHMM 的辨識速度比 CHMM(如圖 5-28)快。雖然 CHMM 的語音辨識
率高於DHMM(如圖 5.29)，為了彌補 DHMM 的辨識率低於 CHMM 的缺點，本論文將 DHMM 加上 FVQ 來提升語音的辨識率，如此一來不但可以加快語音的辨識速度，也可 以彌補語音辨識率的差距。
第六章 以無線語音控制清潔機器人於嵌入式 FPGA 實作
本論文將提升語音辨識率的方式和語音抗雜訊的方法在嵌入式 FPGA 平台上實 作，並將 FPGA 平台加入無線發射模組，讓 FPGA 平台在辨識語音關鍵詞後可以遠端 控制清潔機器人。同時在清潔機器人上加入無線接收模組，讓清潔機器可接收自FPGA 平台發射的訊號，讓清潔機器人執行相對應的動作。圖6.1 為 FPGA 以無線方式控制清 潔機器人系統方塊圖。
圖6.1 為 FPGA 以無線方式控制清潔機器人系統方塊圖
6.1 FPGA 硬體平台
在嵌入式硬體部分，採用 DE2-70 開發板(如圖 6.2)，此硬體核心連接許多基本 IO 介面包括聲音輸出輸入、JTAG、段顯示器、指撥開關、按鍵、LCD panel 等等。我們只 需要將系統所需硬體如 CPU、記憶體控制器、硬體控制電路，下載到 FPGA 上，這些 電路皆提供現成IP 供呼叫整合。當硬體建立完成後，可透過 ALTERA 公司提供的 Nios II EDS[28]的 IDE 開發軟體，即可針對使用者建構之硬體，將使用者欲執行之程式碼編 譯成硬體可接受之機械碼，下載到 FPGA 平台上的記憶體上執行，就可以使用 FPGA 平台上的周邊硬體，我們可以稱此FPGA 硬體為 SOPC。
圖6.2 DE2-70 開發板
當完成了 SOPC 硬體下載後，即可將語音辨識程式下載到 SOPC 系統，執行語音辨
識功能。圖6.3[29]為語音辨識系統的 SOPC，可分成 SDRAM 控制器、SRAM 控制器、
PIO、LCD 控制器、七段顯示器控制、Audio 控制器敘述如下。
1. SDRAM 控制器:將輸入語音儲存於 FPGA 平台上的 SDRAM。
2. SRAM 控制器:將語音辨識主程式下載至 FPGA 平台上的 SRAM。
3. PIO:可連接 LED 並顯示目前辨識狀態、KEYPAD 為語音輸入按鍵、無線模組作為傳 送語音辨識結果之裝置。
4. LCD 控制器:可以控制 FPGA 平台上的字元型 LCD 並顯示辨識結果。
5. 七段顯示器控制:可顯示 FPGA 平台上的七段顯示燈，目前作為辨識時間之顯示。
6. Audio 控制器:可和外接麥克風連接，作為輸入語音的介面。
圖6.3 語音辨識系統的 SOPC
將語音辨識程式下載到 SOPC 系統後，輸入語音訊號經麥克風並透過 Audio 控制器 轉換成數位訊號。語音的數位訊號經由SDRAM 控制器將語音訊號儲存於 SDRAM，再 將儲存於 SDRAM 的資料做語音辨識的運算，最後將辨識結果由 PIO 控制器連結的無
清潔機器人執行相對應的動作。在語音辨識過程中，可以透過LCD 控制器在 LCD Panel 看到語音辨識狀態與結果。同樣可以透過 PIO 所連接的指撥開關來設定語音輸入的取 樣頻率。
6.2 語音辨識系統於 FPGA 平台之軟體架構與流程
圖 6.4 為 FPGA 平台上之語音辨識系統軟體架構，是以 C 語言所撰寫，可分為 PIO 模組、Audio 模組、LCD 控制模組、資料儲存模組、語音辨識模組、無線發射模組，各 模組敘述如下。
1. PIO 模組: 提供與外部輸入裝置做連接並提供相對應的程式，例如:LED 顯示程式、I/O 2. 中斷監控程式、I/O 輸入輸出控制、按鍵控制、指撥開關控制。
3. Audio 模組: 可透過外接麥克風接收輸入語音，並儲存於 SDRAM。
4. LCD 控制模組: 提供相對應的程式來控制字元型 LCD Panel。
5. 資料儲存模組: 語音輸入可以暫存於 SDRAM。
6. 語音辨識模組: 語音辨識演算法，包含 FVQ、EMD、DHMM。
7. 無線發射模組:負責將語音辨識結果傳送至清潔機器人。
Audio模組
LCD顯示 LED顯示 按鍵輸入/指
撥開關輸入
主程式 語音辨識
模組 無線發射模
組
資料儲存模 組 PIO 模組
LCD控制模 組
麥克風錄音
圖6.4 語音辨識系統於 FPGA 平台之軟體架構
圖 6.5 為 FPGA 平台上之語音辨識系統軟體流程，在進行語音辨識前，必須將訓練 後的DHMM 模型參數 A、B、π 存放於 FPGA 平台上的 Flash RAM。語音辨識系統軟 體流程是由按鍵是否被按到來判斷是否進入語音辨識的流程，當按鍵被按到後就會開始 進語音辨識流程直到完成語音辨識，如果按鍵沒有被按到，軟體流程會停留在等待按鍵 輸入狀態。語音辨識流程敘述如下，輸入語音做語音端點偵測取出語音資料，再以EMD 將雜訊分離，然後經語音預強調、語音加上漢明窗、快速傅利葉轉換來取得語音的音框
語音辨識結果。
主程式
按鍵是否被 按?
開始麥克風 錄音
將錄音資料 暫存於
Buffer
語音端點偵 測
EMD去雜訊
特徵向量擷 取
FVQ
讀取儲存於flash 的DHMM(A，
B，π)參數
語音辨識結 果
無線發射模 組
是 否
codebook
圖6.5 語音辨識系統於 FPGA 平台之軟體流程
6.3 清潔機器人
本論文所採用的清潔機器人是以 AT89S51 為控制器，並且具有馬達模組、UART TO USB、Sensor 模組、ROM、LED 控制電路、電池充電模組、6 個擴充 I/O 點。圖 6.6 為 清潔機器人系統方塊圖，敘述如下:
1. 馬達模組: 接收 AT89S51 訊號後，讓清潔機器人動作的裝置。
2. UART TO USB: 與 PC 的 USB PORT 連接進行更新 AT89S51 軟體程式。
3. Sensor 模組: 偵測清潔機器人是否碰撞到物體，並將訊號回傳至 AT89S51。
4. ROM: 軟體設定值存放的記憶體。
5. LED 控制電路: 可控制 LED 顯示。
6. 電池充電模組: 偵測充電電池電壓，並判斷電池是否完成充電。
7. 6 個擴充 I/O 點: 外接無線接收模組，接收 FPGA 平台傳送至清潔機器人的語音辨識 結果。
我們可以利用 KEIL C 這套整合式 IDE 將寫好的機器人控制程式，編譯成 AT89C51
的執行碼後，利用UART TO USB 模組將執行碼下載到 AT89C51 進行清潔機器人控制。
AT89C51 是由 C 語言所撰寫，並提供對清潔機器人控制的應用程式，因此可以對清潔 機器人做控制。AT89C51 上的 6 個擴充 I/O 是用來做無線接收模組的介面，並將接收到 的訊號透過馬達做動作，例如清潔機器人的”前進”、”後退” 、”左轉” 、”右轉”。另外 我們也可以透過電池充電模組來判斷機器人是否需要充電，使用 Sensor 模組偵測清潔
器人的應用程式有，馬達控制、碰撞sensor 偵測、LED 顯示控制、電池狀態偵測。
圖6.6 清潔機器人系統方塊圖
6.4 FPGA 平台控制清潔機器人
我們在 FPGA 平台上加入無線發射模組電路，在清潔機器人上加入無線接收模組電
路，就可以利用語音來控制清潔機器人。圖6.7 為無線發射模組的電路圖，電路圖中的 TWS -BS 為無線發射模組:是以 ASK 方式作傳送，其頻率為 315MHZ，工作電壓為 3~12V，傳輸距離為 80m~120m，常用於無線安全系統、汽機車警報系統，遙控門。TWS
-BS 會搭配HT-12E 編碼 IC，而圖 6.7 中的輸入訊號( )經 HT-12E 編碼後輸出至 TWS-BS，再將訊號以無線方式做傳輸。底下為 TWS-BS 與 HT-12E 接腳介紹。
4 1
T
I
~ I
TWS-BS 模組:
Pin1:為接地。
Pin2:為訊號輸入。
Pin3:為電源。
Pin4:為外接天線。
HT-12E 編碼 IC:
7 0
~ A
A
:地址線，可作為密碼設定。11 8
~ AD
AD
:輸入資料線。E :傳送資料是否準備完成接腳，低電壓動作。
1
DOUT
:資料輸出接腳(為串列輸出)。1
OSC
:頻率調整控制，以電組方式調整。2
OSC
:頻率調整控制，以電組方式調整。TWS-BS
接收感度-117dBm，工作電壓 3.5V~5.5V。RWS -371 會搭配 HT-12D 這顆解碼 IC，當 RWS -371 收到訊號後會將訊號傳送至 HT-12D 而 HT-12D 將訊號解碼後經 做輸
RWS -371 模組:
Pin1:為接地。
Pin2:為訊號輸出。
Pin3:空腳。
Pin4:為電源。
Pin5:為電源。
Pin6:為接地。
Pin7:為接地。
Pin8:為外接天線。
HT-12D 解碼 IC:
7 0