目標函數

語音辨識的研究領域中，在執行各種學習演算法之前，額外的向量空間轉換時常 會被應用在已擷取的語音特徵參數。這些方法所扮演的角色主要有兩個部分：第 一，可能可以增進分類的效能；第二，降低資料的維度[Kocsor et al. 2000]。這些 方法嘗詴搜尋一個轉換，其可以強調重要的，抑制或消除不需要的特徵。在以空 間與時間之特徵分布為基礎之正規化架構中，語音特徵向量的空間轉換是不可或 缺的要素，吾人將在本小節中加以闡述。雖然近年來已有許多這類方法的非線性 式的延伸被提出。在本節中，如主成分分析、線性鑑別式分析和最小平方差之和 等這類的線性轉換才是主要探討的方向。

為了方便探討吾人假設原始的語料落在Rⁿ，訓練語料中有x₁,,x_l這些特 徵向量，測詴語料中有y₁,,y_l這些特徵向量。在使用特徵向量轉換之後，新的 語料落在R^m(mn)，轉換後的訓練和測詴語音特徵向量分別為x₁,,x_l和

yl

y₁,, 。我們要尋找一個最佳的線性轉換Rⁿ R^m以x_l A^Tx_i,i{1,,l}。以 上敘述並不一定唯一，視方法不同而定。前述之轉換方法使用下列一般化的策略 以獲得nm矩陣A：

 A的行向量以a₁,,a_m表示，在某些方法中是依序地被決定。

 演算法使用有可微分之最佳化方法的目標函數():Rⁿ R去尋找最佳 的線性方向。在一些方法中，會假設是正交的(Orthogonality)。

事實上我們的目標在於選取新的一個基底來表示資料。為了獲得一個特定的基底，

我們首先用一個實數目標函數 () 當作一個估測以選取適當的方向。一個語音特 徵向量轉換方法要搜尋m個最佳方向，其中一種方式是尋找形成 () 之鞍點 (Stationary Points)的單位向量。直覺上，如果大的 () 數值指引較佳的方向，那些 被選取的方向在某些層面上應該要是獨立的，如此一來，選取有較大值的鞍點是 較合理的策略。以下將簡述主成分分析、線性鑑別式分析和最小化平方差之和。

用廣泛且可以比較的方式來描述其原理。

主成分分析(Principle Component Analysis, PCA)是一個普遍存在的資料分析 與降低維度的技術。一般而言，主成分分析之目標函數如下所示：

a a

Ca a a _T

T

 )

( ， (5-7)

其中，C是一個樣本共變異量矩陣(Sample Covariance Matrix)







 ^l

i

T i

l 1 i

) )(

1 (x μ x μ

C ， (5-8)



 ^l

i

l 1 i

1 x

μ 。 (5-9)

式(5-7)定義(a)為將n維的資料x₁,,x_l投影到向量a的變異量(Variance)。因此，

此方法會優先選擇擁有較大變異量的方向。可以看出式(5-7)的鞍點對應到C的右 側特徵根向量，其中特徵根組成了對應的最佳參數。如我們假設C之特徵根與特 徵 根 向 量 的 配 對 組 合 為 (c₁,₁),,(c_n,_n)且 ₁_n ， 則 轉 換 矩 陣 A 為

] , ,

[c ₁ c_m ，換句話說，就是那m個擁有最大特徵根的特徵根向量。因為樣本共 變異矩陣C是對稱的正半定矩陣，特徵根向量會是正交且其對應的特徵根為非負 值。在正交化的線性轉換之後，維度降到m，那些用新的正交基底表示的樣本

}

x 皆為不相關的(Uncorrelated)。換而言之，它的共變異矩陣C

是對角矩陣，C的對角項是C中較大的m個特徵根。

線性鑑別式分析(Linear Discriminative Analysis)的目標是找到一組新的(不一 定為正交的)基底，使得投影在上面的不同類別(Class)的資料之間分離度最大。

而類別的標記(Label)假設是已知。假設我們有k個類別與一個顯示函數(Indicator Function) f():{1,,l}{1,,l}，其中 f(i)提供樣本x 所屬的類別標記。我們定_i (Between-Class Scatter Matrix)。在此，組內分散矩陣所顯示的訊息為，那些標記 為 j的向量的共變異矩陣C_j之加權平均分散度(Weighted Average Scatter)：

k T

平方差之和估測(Sum of Error Squares Estimation)是一種與最小平方差高度 相關的法則定義為

X是一個ND的矩陣，其每一列代表訓練特徵向量且y是一個由對應的正確標 記所組成的向量。所以 ^N x x^T_i X^TX

i i 



i iy 



y X X X y X w X

X^T )ˆ ^T ( ^T ) ^{1 T}

(   ^ (5-18)

X

X^T 為樣本關聯矩陣(Sample Correlation Matrix)。矩陣X^ (X^TX)^1X^T為X的 虛擬反矩陣(Pseudoinverse)且只有在X^TX是可逆時有意義。在本論文中，所有使 用最小化平方差之和法則的實驗皆不是使用加權向量而是空間轉換矩陣，因已在 第四章空間與時間之特徵分布統計圖等化法(STHEQ)中介紹過，在此節不再多做 敘述。

圖 5-1、以空間與時間之特徵分布為基礎之正規化架構示意圖。