首先，我們使用語句關聯資訊來幫助遞迴式類神經網路語言模型做估測，錯誤! 找 不到參照來源。是結合語句關聯資訊的辨識結果。在訓練模型時，語句關聯資訊 是挑選最相關的訓練語句，由於挑選過多的關聯資訊會導致辨識率下降，因此只 挑選最相關的部分。其中，因為遞迴式類神經網路語言模型是以詞為單位進行訓 練，所以每個詞需要對應到一個關聯向量，此部分的詞關聯向量為此句的關聯向 量。而關聯向量的表示方式分別使用了句子中詞出現的次數、將詞出現的次數做 正規化及出現該詞的維度設為 1。從實驗中可看到語言複雜度部份，以句中詞出 現的次數較好，而辨識率方面，則是使用正規化的表示較好，相較於基礎辨識率 85.17%小幅度的進步了 0.04%，而使用句中次數則下降了 0.08%，以及設定為 1 的方法也下降了 0.14%。
圖 5-3 是在語句關聯資訊中，使用三種表示法的辨識率結果，可看出使用正 規化的表示法較好，其餘兩種的辨識率則較 RNN 基礎辨識率來得低。探究其辨 識率進步不大的原因應為每一語句內，詞的關聯向量皆為此句的關聯向量，因此
關聯資訊 表示方式
發展集語 言複雜度
測試集語 言複雜度
發展集語 料字正確 率(%)
測試集語 料字正確 率(%)
絕對提 昇率(%)
相對提 昇率(%) RNN 基礎
辨識率 232.31 236.97 85.67 85.17 - - 句中詞出
現的次數 223.63 229.01 85.63 85.09 -0.08 -0.56 正規化 230.51 236.45 85.71 85.21 0.04 0.27 出現該詞
則設為 1 226.04 231.19 85.56 85.03 -0.14 -0.95 表 5-4：結合語句關聯資訊之實驗結果
55
56
訊，出現相同的相鄰詞則會累加出現次數，本論文則是取左右距離為 3。
表 5-5 使用詞關聯資訊於遞迴式類神經網路語言模型的實驗結果，由於部分 詞的詞關聯資訊相當多，包含了關聯詞和非關聯的詞，因此，我們試著去調整詞 關聯資訊的使用程度，其中詞關聯資訊的長度是根據發展集中最好的結果來設定。
語言複雜度方面，詞出現次數、正規化及出現該詞則設為 1 也都有進步；而字正 確率方面，詞出現次數、正規化及出現該詞則設為 1 均有提昇，絕對提昇率分別 為 0.19%、0.17%及 0.23%，相對提昇率則有 1.23%、1.16%及 1.52%的進步。圖 5-4 則是詞關聯資訊中，使用三種表示法的辨識率比較，可看到出現該詞設為 1 的辨 識結果較好，因為此方法對於每個關聯詞的關聯度較公平，大家皆設定為 1。而 詞出現的次數和正規化法，因為每個關聯詞之間的歧異度較高，尤其是詞出現的 次數，次數的差距很大，導致有些關聯詞的貢獻被埋沒。
另外此部份實驗結果顯示，使用出現該詞設為 1 且調整詞關聯資訊的長度較好，
於是我們進一步去觀察使用此表示法在不同詞關聯資訊長度上的比較，圖 5-5 則 是其辨識結果，可看出過多的資訊會導致效果減弱。
圖 5-4：詞關聯資訊-三種表示法之辨識率比較
82.00 82.50 83.00 83.50 84.00 84.50 85.00 85.50
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 字
正 確 辨 識 率(
%)
RNN權重參數
詞出現的次數 正規化
出現該詞則設為1 RNN基礎辨識率
57
圖 5-5：使用不同長度之詞關聯資訊辨識結果
雖然從實驗結果中得知，使用詞關聯資訊的確提升了辨識率，但我們仍希望可以 突破目前的瓶頸。於是我們發現到，雖然詞關聯資訊解決了語句關聯資訊的問題，
但是仍有類似語句關聯資訊的缺點存在，其缺點則是語料中的每個詞所對應到的 詞關聯資訊仍然一樣，造成在訓練中重複使用同樣的詞關聯資訊。此作法的詞關 聯資訊是比較屬於全域的，也就是是針對所有訓練語料中，獲得詞與詞的關聯度。
而在訓練遞迴式類神經網路語言模型中，我們也需要區域性的資訊，因為相同的 詞在不同的句子可能代表著不同的意思，所以我們希望藉由區域性的資訊來得知 上下文或句子中的資訊，使得預測下一個詞時能符合句子中的意思。舉例來說，
一篇關於林書豪的報導，我們可得知關聯的詞，像是 NBA、林書豪或是林來瘋。
但是就一句話來看，在句子中跟 NBA 相關的可能是其他球隊或是球員。因此，
我們希望詞的關聯資訊必須是會變動的，如此一來才能包含全域性的資訊和區域 性的資訊。為此，本論文提出了動態詞關聯資訊來做更進一步的改進，此部分是 先將所有歷史詞的關聯資訊做結合，其結合依據遠近來給予權重。因此，詞的距 離離目前的詞越遠，則該詞的關聯資訊貢獻越小；反之，詞的距離離目前的詞越
85.2 85.25 85.3 85.35 85.4 85.45 85.5
取前3 取前6 取前9 取前12
58
關聯資訊 表示方式
發展集語 言複雜度
測試集語 言複雜度
發展集語 料字正確 率(%)
測試集語 料字正確 率(%)
絕對提 昇率(%)
相對提 昇率(%) RNN 基礎
辨識率 232.31 236.97 85.67 85.17 - - 詞出現的
次數 229.72 234.35 85.84 85.26 0.09 0.58 正規化 231.42 236.19 85.83 85.34 0.17 1.14 出現該詞
則設為 1 229.98 234.62 85.86 85.34 0.17 1.16 表 5-6：結合動態詞關聯資訊之實驗結果
近，則該詞的關聯資訊越大。表 5-6 則是使用動態詞關聯資訊的實驗結果，結果 顯示使用動態詞關聯資訊效果與一般的詞關聯資訊較差一點，辨識率大約為 85.34%左右；語言複雜度則較詞關聯資訊好。探究其原因，應為關聯資訊中常包 含關聯與非關聯的資訊，因此我們難以準確知道越近距離的詞關聯資訊有較相關 的資訊，造成使用的關聯資訊無法正確代表與該詞相關。
根據本論文所提出的結合關聯資訊於遞迴式類神經網路語言模型的確有助 於辨識率的提升，但是其效果仍有限且不是那麼的明顯，其原因大概歸類為三種，
其一是關聯資訊可能會對輸入層所要傳遞的資訊造成干擾，使得輸入層所要傳遞 的資訊減弱，而關聯資訊被成為主要傳遞的資訊；其二是關聯資訊結合輸入層，
也可能只是將其表示方式做了延伸，而關聯資訊的表示法可能有更佳的表示方法；
其三則是難以準確的決定關聯資訊，導致效果無法彰顯。
59