第四章 四章 四章 四章音素端點偵測器架構 音素端點偵測器架構 音素端點偵測器架構 音素端點偵測器架構
4.3 模型訓練 模型訓練 模型訓練 模型訓練
完成語音之聲學參數萃取後，本節中將介紹音素端點偵測器模型之演算法，本研究使用 NIKO toolkit[13] 多層感知器之類神經網路架構，將基於使誤差值最小化的準則（Error minimization）採用倒傳遞演算法（Back-propagation algorithm）將先前所建置之取樣式聲學 參數進行參數資料的分群訓練與模型目標函數的更新。以下分別會在 4.3.1 介紹初始化
（initialization）訓練以類神經網路建構的音素端點偵測器模型；4.3.2 節敘述反覆疊代
（iteration）更新模型參數之演算法。
4.3.1 多層感知器之類神經網路架構 多層感知器之類神經網路架構 多層感知器之類神經網路架構 多層感知器之類神經網路架構
類神經網路是一種基於模擬人類腦中之神經元相互傳遞資訊情況而發展的處理技術，其 可利用輸入與輸出所組成的資料對（training pair）來建立系統模型，並經系統自我學習、推 估甚至是做決策。因此，一個類神經網路其包含了許多人工神經元（neuron）與神經元彼此 間之鏈結（links），依此組成各種不同的神經網路。而依照不同的鏈結架構可分為前饋式
（feed-forward）與回饋式（feed-backward）的類神經網路，本論文使用屬前饋式類神經網路 的多層感知器，將在以下作其運作之介紹。
4.3.1.1 神經元 神經元 神經元之 神經元 之 之 之結構 結構 結構 結構
神經元（如圖 4.9）是類神經網路中最基本的單位，其負責處理資料之間的關係。而在 網路中的某個神經元，會收到一個至數個不等的輸入參數，神經元對於每個輸入參數xj經處 理後，會依照輸入參數的重要程度而加乘上一個權值（Weight，w）。最後，神經元將所有經 加乘權值過之所有輸入參數累加起來，接著與神經元中的偏移量（Bias，b）相加為一淨值
（net），經由激發函數（activation function）之特性將淨值轉換成模擬人類神經元的訊號。其 神經元的數值表示公式如(4-8)所示：
j j 非線性函數兩種。而激發函數的種類有很多，本論文使用雙曲正切函數（Hyperbolic Tangent function）作為神經元之激發函數，其數學式表示如下：
4.3.1.2 網路 網路 網路之 網路 之 之 之結構 結構 結構 結構
前饋式類神經網路結構如圖 4.11 所示，數個平行輸入參數的神經元並聯組成為網路的結 構層（Layer），再經由數個層之間的神經元相互鏈結進而串聯成一個前饋式的類神經網路。
依照各層不同的特性可將其分為輸入層、隱藏層與輸出層三種結構層的分類。
(1) 輸入層：輸入層之每個神經元以一個輸入參數數作為輸入值，以提供後級下一層之每個 神經元的輸入以進行訓練。意即此層之神經元作用類似暫存器的效用，不具有運算的功 能。輸入層神經元數目即為輸入參數向量的個數，本論文所使用是參數向量為 38 維，故 輸入層之個數為 38 個。
(2) 隱藏層：隱藏層介於輸入層與輸出層之間，而隱藏層神經元的個數並沒有一定的限制，
隱藏層的層數與神經元的個數是依照資料的複雜程度所測試後決定。本論文所使用之隱 藏層的層數為一層，隱藏層神經元的個數為 75 個。
(3) 輸出層：每個神經元的輸出值為類神經網路經過訓練所產生的目標函數輸出值，輸出層 神經元的數目應等同於網路的輸出值總數，其依照端點偵測任務（task）不同而調整不同 目標函數個數。
圖 4.11：多層前饋式類神經網路結構範例
4.3.1.3 網路學習方法 網路學習方法 網路學習方法 網路學習方法
本論文以半監督的訓練學習方法，藉由批次訓練4（batch learning）過程中利用倒傳遞演 算法來調整各神經元之間鏈結的強弱，亦即透過更新加權值來描述各神經元間之關連性，故 最小化。定義誤差函數（Error function）如以下：
( ) ( ( ) ( ) ) ( )
序訓練(sequential training)則為在處理完一個輸入樣本便立即更新加權值的方式。
( )
倒傳遞演算法之基本原理為利用最陡坡降法（Steepest decent method），藉由適當地調整 神經元之間的，以達到將誤差函數最小化的目的。如以下表示：
為學習速率（Learning rate）。相同地，我們也可由隱藏層至輸入層得到誤差函數對加權值偏 微分所得之權值差量∆w( )jl21 表示為：