第八章 受詴者實驗
8.4 實驗三：提供英漢資訊的動名詞組合選擇題
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
68
圖 8.2 實驗二：受詴者及系統翻譯模型答題正確率 表 8.3 實驗三題目範例
題目
improve efficiency : ______ 效率
答案選項 (1) 增進 (2) 提高 (3) 改進 (4) 改善
8.4 實驗三：提供英漢資訊的動名詞組合選擇題
在實驗三中，我們不提供受詴者完整題目的環境，僅提供翻譯模型所能得到的資 訊給受詴者並提供答案選項；如表 8.3 所示，我們僅提供英文動名詞組合及英文 名詞的中文翻譯，並將英文目標動詞以灰底粗體標記，要求受詴者從我們提供的 四個答案選項中選出一個最適合的詞彙作答，這四個答案選項與實驗一的選項相 同。
從下頁圖 8.3 可以看到除了編號 8 號的受詴者答對 7 題，表現贏過我們的翻 譯模型，其他受詴者最多只能答對 5 題。從結果上來看，實驗三答對 5 題以上的 受詴者比實驗二的填空實驗人數多上 2 位，這是個有趣的現象。
0%
20%
40%
60%
80%
100%
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 System
百分 比
受詴者及系統翻譯模型
實驗二：受詴者及系統翻譯模型答題正確率
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
69
圖 8.3 實驗三：受詴者及系統翻譯模型答題正確率
圖 8.4 三種實驗受詴者平均答題正確率及翻譯模型表現評比
8.5 小結
圖 8.4 為三項實驗受詴者平均答題正確率及本研究翻譯模型的表現比較。實驗一 提供最多的資訊，受詴者平均答對的題數最多，約答對 52%；實驗二雖然提供英 漢的題目資訊，但是沒有提供答案選項，受詴者平均答對的題數最少，約答對 35%；實驗三的受詴者則平均答對了 41%。本研究的翻譯模型答對六題，因此答 題正確率為 60%，贏過三項實驗受詴者的平均表現。透過這三項實驗，我們發現 受詴者在提供答案選項的實驗表現較為良好，即使我們提供了完整題目的資訊讓
0%
20%
40%
60%
80%
100%
百分 比
受詴者及系統翻譯模型
實驗三：受詴者及系統翻譯模型答題正確率
0%
20%
40%
60%
80%
100%
實驗一:題目單選 實驗二:題目填空 實驗三:組合單選 系統翻譯模型表現
三種實驗受詴者平均答題正確率及翻譯模型表現評比
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
70
圖 8.5 三組實驗之答題情形比較
受詴者填空，受詴者還是很難猜出正確答案；這也就代表即使是人類來翻譯答 題，在只能回答一個答案時都很難答出正確解答，而我們的翻譯模型則有較好的 表現。
圖 8.5 為進一步觀察三群受詴者的答題情形，本研究有有趣的發現。第一題 的題目在提供題目完整語意環境及答案選項的實驗一及只有提供動名詞組合及 答案選項的實驗三的答題效果相似，與實驗二的填空題則有很大的差距；第三題 題目的實驗二及實驗三答題效果相似；第四題則是實驗三的答題效果最差；第五 題卻是三個實驗的效果都相似；第六及第七題反而是實驗三效果最好，但在第八 題情形卻倒轉；第九題三個實驗的表現也接近，第十題卻是實驗二的填空題效果 最好。
這些作答的現象讓我們認為受詴者作答的時候，在題目提供的附加資訊多寡 之外，受詴者閱讀到動名詞組合時可能有其特定的直覺，而且直覺的影響力可能 大過實驗所提供的附加資訊，不會根據附加資訊多寡而有固定的表現，因而產生 這些有趣的曲線變化。
0%
20%
40%
60%
80%
100%
1 2 3 4 5 6 7 8 9 10
受詴者於實驗各道題目的平均表現
實驗一:題目單選 實驗二:題目填空 實驗三:組合單選
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
71