神達電腦公司 Q&A

表6.6：使用 Yahoo!奇摩 Q&A 資料回覆 5 個最有可能答案實驗之正確率平均值

未分類資料 分類資料

ED-特徵向量法 IP-特徵向量法 INCSS ED-特徵向量法 IP-特徵向量法 INCSS 實驗一 99.3% 98.5% 96.3% 98.5% 98.5% 96.8%

實驗二 85.2% 95.7% 81.0% 81.3% 91.0% 75.9%

實驗三 92.4% 97.1% 88.3% 90.3% 94.9% 84.5%

平均 92.3% 96.1% 88.5% 90.0% 94.8% 85.7%

由表6.6 中可以發現本論文提出的方法在回覆前五名答案時，特徵向量搭配歐基理 德法或者是搭配內積法比INCSS 系統的正確率提昇 4.3%～7.6%。而觀察圖表發現，特 徵向量搭配內積法時其正確率較搭配歐基理德法來說有較為優秀的表現，其差距約在 4%左右。這與先前的理論分析有所出入，我們將在 6.4.2 節中詳加探討其中可能的因素。

實驗一其正確率高達 98%，即常見問題資料庫中的數量增加，顧客問題與常見問 題的問法類似時，可以預見有更高的正確率。如此，客服人員可以更快速的回覆需要進 一步處理之問題。

使用未分類Mitac Q&A資料回覆5個最可能答案之正確率比較 -實驗一(顧客問題類似FAQ問題)

50.0 60.0 70.0 80.0 90.0 100.0

50 100 150 200 250 300 350 400 450 500 550 實驗筆數

正確率(%)

ED-特徵向量法 IP-特徵向量法 INCSS系統

圖6.19：使用未分類 Mitac Q&A 資料回覆 5 個最可能答案之正確率比較 -實驗一（顧客問題類似 FAQ 問題）

使用未分類Mitac Q&A資料回覆5個最可能答案之正確率比較 -實驗二(顧客問題不似FAQ問題)

50.0 60.0 70.0 80.0 90.0 100.0

50 100 150 200 250 300 350 400 450 500 550 實驗筆數

正確率(%)

ED-特徵向量法 IP-特徵向量法 INCSS系統

圖6.20：使用未分類 Mitac Q&A 資料回覆 5 個最可能答案之正確率比較 -實驗二（顧客問題不似 FAQ 問題）

使用未分類Mitac Q&A資料回覆5個最可能答案之正確率比較 -實驗三(顧客問題為任意可能問題)

50.0 60.0 70.0 80.0 90.0 100.0

50 100 150 200 250 300 350 400 450 500 550 實驗筆數

正確率(%)

ED-特徵向量法 IP-特徵向量法 INCSS系統

圖6.21：使用未分類 Mitac Q&A 資料回覆 5 個最可能答案之正確率比較 -實驗三（顧客問題為任意可能問題）

使用分類Mitac Q&A資料回覆5個最可能答案之正確率比較 -實驗一(顧客問題類似FAQ問題)

50.0 60.0 70.0 80.0 90.0 100.0

50 100 150 200 250 300 350 400 450 500 550 實驗筆數

正確率(%)

ED-特徵向量法 IP-特徵向量法 INCSS系統

圖6.22：使用分類 Mitac Q&A 資料回覆 5 個最可能答案之正確率比較 -實驗一（顧客問題類似 FAQ 問題）

使用分類Mitac Q&A資料回覆5個最可能答案之正確率比較 -實驗二(顧客問題不似FAQ問題)

50.0 60.0 70.0 80.0 90.0 100.0

50 100 150 200 250 300 350 400 450 500 550 實驗筆數

正確率(%) ED-特徵向量法

IP-特徵向量法 INCSS系統

圖6.23：使用分類 Mitac Q&A 資料回覆 5 個最可能答案之正確率比較 -實驗二（顧客問題不似 FAQ 問題）

使用分類Mitac Q&A資料回覆5個最可能答案之正確率比較 -實驗三(顧客問題為任意可能問題)

50.0 60.0 70.0 80.0 90.0 100.0

50 100 150 200 250 300 350 400 450 500 550 實驗筆數

正確率(%) ED-特徵向量法

IP-特徵向量法 INCSS系統

圖6.24：使用分類 Mitac Q&A 資料回覆 5 個最可能答案之正確率比較 -實驗三（顧客問題為任意可能問題）

表6.7：使用神達電腦公司 Q&A 資料回覆 5 個最有可能答案實驗之正確率平均值

未分類資料 分類資料

ED-特徵向量法 IP-特徵向量法 INCSS ED-特徵向量法 IP-特徵向量法 INCSS

實驗一 99.0% 98.1% 93.5% 95.8% 96.3% 94.6%

實驗二 95.8% 96.6% 90.2% 87.9% 86.1% 85.0%

實驗三 97.3% 97.0% 91.3% 91.1% 91.6% 89.1%

平均 97.3% 97.2% 91.6% 91.6% 91.3% 89.5%

值得注意的是使用分類神達電腦公司Q&A 資料，回覆前五名答案之 EXP2 時（見 圖6.23），INCSS 系統的在資料量 400 至 550 筆時的表現優於本論文提出的兩個方法，

分析的因素是因為INCSS 系統中系統管理員對於常見問題專業關鍵詞權值有較好設定。

由表6.7 中可以發現本論文提出的方法在回覆前五名答案時，特徵向量搭配歐基理 德法或者是搭配內積法在整體上比INCSS 系統的正確率提昇約 2.1%～5.7%。而觀察圖 表發現，特徵向量搭配內積法與搭配歐基理德法的正確率為伯仲之間。

另外，本論文提出的方法在EXP1（顧客問題的答案在資料庫中而且與解答相對應 之常見問題的問法類似，即大部分的專業關鍵詞吻合）之正確率接近100%。因此，客 服人員在需要進一步處理顧客問題時，利用客服人員支援模組所提供前五名解答時幾乎 不再需要自行再由資料庫中搜尋，所以節省了時間的花費。

由以上 6.3.1 和 6.3.2 小節來說，在回覆前五名答案的實驗上，本論文所提出的兩 種方法不論在中文或者是英文的資料上相較於 INCSS 系統都有著長足的進步。實驗中 顯示其正確率差距最大者約有10%的差距。另外，我們可以發現系統不需要先對資料作 分類動作即有很好的正確率表現，如此可省下前處理的時間。而實驗中也可以發現 ED-特徵向量法適合運用在回覆最佳答案，IP-特徵向量法適合運用在回覆前五名答案；也 就是說我們在回覆顧客問題時可以運用ED-特徵向量法，在客服人員支援模組可以運用 IP-特徵向量法來求得最佳的效能表現。