討論

0.2 0.4 0.6 0.8 1 1.2

1 2 3 4 5 6

回饋次數

準確率

處理魚的男人和女人 1908年四月拍攝的羅馬照 片

約克大教堂

加拿大英屬哥倫比亞

圖 25: 使用者相關度回饋次數與準確率關係圖

第五節 討論

第三節的評估是對30個檢索問句的檢索結果取平均，但是對於每一個單獨 的檢索問句，效能的排名並非固定的。本節討論幾種狀況，在某些狀況下知識 本體鏈的方法會表現的特別好，甚至比單語言資訊檢索高；而某些狀況下知識 本體鏈的方法會比雙語字典比對差，但不會差太多。

4.4.1 檢索問句包含廣泛概念

當檢索問句是比較廣泛的概念時，例如「處理魚的男人和女人」，英文正確 翻譯是「man and woman processing fish」。由於向量空間模型中每個詞鍵都是獨 立的，也就是文件中的「男人」一詞權重很高，就可能被檢索出來，而且權重 過高時，它的相似度可能會比包含「男人」、「女人」、「處理」、「魚」四個詞的 文件還要高。而且當檢索問句比較廣泛時，通常有許多個翻譯，例如「處理」

在本論文的字典中有27個翻譯；「男人」有12個翻譯；「女人」有17個翻譯；

「魚」而只有3個翻譯。針對字典的翻譯個數來看，上述句子有

16524 3

17 12

27× × × = 種不同的語意，可以看出來這個檢索問句中，有三個詞是 廣泛的概念，並且有嚴重的翻譯歧義性問題。

表 17 中可以看到以字典為本的CLIR 效能準確率是 0%，這個結果並不令 人意外，因為該模型只有查詢雙語字典，取所有可能的翻譯，有16524 種語意 組合，會產生嚴重的翻譯歧義性問題。因此這個查詢主題對於這個方法來說是 一個失敗主題(Failed Topic)，也就是前 100 篇檢索出來的文件中沒有任何一篇 相關。

單語言檢索 字典為本 知識本體鏈 平均準確率 5.14% 0% 35.74%

表 17: 處理魚的男人和女人檢索結果的平均準確率

由表 17 中的單語言檢索系統在本例中表現也是不佳，這個方法使用「man and woman processing fish」作為檢索問句，並不需要字典比對，不會有翻譯歧 義性問題。經過統計，語料庫中28133 篇文章中包含「男人」的文件有 1720 篇；「女人」800 篇；「處理」有7 篇；「魚」有 130 篇。可以看出「男人」、「女 人」都是很一般性的概念，因此某篇文章要是有「男人」和「女人」並且權重 高，就可能會被檢索出來，而真正和「處理魚」相關的文件則可能排名到後面。

圖 26 是這個檢索問句的準確率/召回率相對圖。

處理魚的男人和女人 11-Point Recall/Precision

0 0.1 0.2 0.3 0.4 0.5 0.6

0 0.2 0.4 0.6 0.8 1

Recall

Precision Mono-lingual IR CLIR

Ontology-based CLIR

圖 26: 處理魚的男人和女人準確率/召回率相對圖

4.4.2 檢索問句包含特定概念

另一類的檢索問句則是語意非常明確，例如「1908 年四月羅馬拍攝的照 片」，英文檢索問句則為「Photos of Rome taken in April 1908」。和上個例子不同 的是，同時出現「Rome」、「April」、「1908」的文章並不多，因此只要三個詞鍵 都出現的文章容易被排名到前面，事實上三個詞鍵都出現的文章就是相關的文 章。

單語言檢索字典為本知識本體鏈 平均準確率 67.25% 59.34% 54.34%

表 18 是這個檢索問句的平均準確率，圖 27 是這個檢索問句的準確率/召 回率相對圖。可以看出由於語意相當明確，單語言資訊檢索的準確率很高。而 字典中「1908」不需要翻譯，「四月」只有一種翻譯，「羅馬」只有三種翻譯，

因此這個檢索問句的翻譯歧義性並不高，只有三種不同的語意組合。因此只要 使用關鍵字比對就可以得到不錯的效果，單語言資訊檢索和字典翻譯的效能都 不錯。而知識本體鏈會擴展其他相關的節點，在此例中，檢索問句和知識本體 中的義大利景色(Italy All View)最相關，會擴展其他和義大利相關的景色，準確 率就沒其他兩個方法高。但是知識本體鏈在這個例子也有單語言檢索的80%效 能，平均準確率也有54%，雖然沒有其他兩者高，但是也只比字典比對少 5%。

單語言檢索 字典為本 知識本體鏈 平均準確率 67.25% 59.34% 54.34%

表 18: 1908 年四月羅馬拍攝的照片檢索平均準確率

1908年四月拍攝的羅馬照片 11-Point Recall/Precision

0 0.2 0.4 0.6 0.8 1 1.2

0 0.2 0.4 0.6 0.8 1

Recall

Precision Mono-lingual IR

CLIR

Ontology-based CLIR

圖 27 1908 年四月羅馬拍攝的照片準確率/召回率相對圖

總結上面兩個比較極端的例子，可以發現知識本體鏈在處理高度翻譯歧義 性時，可以有很好的表現，以16524種翻譯組合為例來說，效能比單語言檢索 高30%，比字典比對高35%。而在歧義性較低的檢索問句，例如只有3種翻譯 組合，則效能會稍微低一點，準確率比字典比對低 5%。因此本論文提出的知 識本體鏈在翻譯歧義性高的狀況效能很高，在歧義性低的狀況下效能稍差。