• 沒有找到結果。

在 3.5 章節中,我們增加 ROUGE-2、ROUGE-3 的結果說明,並透過例 子的方式來進一步說明。

第二節 論文口試委員之提問

問題 1. 將所有摘要器都設定擷取 5、10、15、20、25 句視為摘要,能更客 觀比較模型在不同情況下之優劣。

我們加入設定擷取摘要的句子數上限的研究,探討不同摘要器表現的 優劣。並在第肆章第三節之二加入觀察結果的詳細說明,以及表 4-16 加入 實驗結果。

問題 2. 比較移除停用字與不移除停用字的預處理時間及摘要生成時間。

我們進一步實驗比較移除停用字資料集與不移除停用字資料集之間在 預處理與摘要生成所花費的時間,並於第肆章第二節之二加入實驗結果與 詳細說明,其資料集使用分割訓練集與驗證集之前 3 門課程,詳細說明請 至 4.1 節、詳細參數設定請至 3.3 節。

問題 3. 表 4-7、4-8 結果,不移除停用字資料集與移除停用字資料集的 ROC 與平均 ROUGE 值結果差異並沒有很明顯,可加入兩者資料集的訓練時間 來進一步探討。

我們加入訓練時間實驗來探討兩種資料集之間差異,其詳細參數設定 請至 3.3 節,並在表 4-7、4-8 實驗結果加入模型訓練時間,及 4.2.2.節加入

詳細結果說明;另透過設定相同參數,進一步探討移除停用字資料集與不 移除停用字資料集所訓練模型來產生新課程摘要的所需時間,詳細使用資 料集說明請至表 4-1,並於表 4-9 加入所需時間的實驗結果。

問題 4. 應使用 ANOVA 方法評估不同模型之間的差異顯著性。

透過採用單因子變異數分析(ANOVA),探討本論文所採用的 LSTM 深 度神經網路語言摘要模型與其他模型方法模型之間是否具有顯著差異,詳 細研究結果於表 4-23 中。

問題 5. 有沒有文獻探討監督式與非監督式方法何者較適合用於擷取摘要?

過去的研究已有探討不同方法用於擷取摘要的效益,Bravo-Marquez &

Manriquez (2012)探討 Wiki 新聞語料庫的多文件摘要研究,透過監督式的方 式來訓練模型進一步擷取摘要,並進一步比較非監督式方法 LexRank 演算 法之間的擷取效益,透過研究結果顯示,監督式方法能夠得到比起非監督 式方法更好的 ROUGE 結果表現。

問題 6. 英文標題建議改為 An LSTM Deep Neural Language Model to Extract Summary for an English courses。

已將英文題目改為口委建議的方式。

問題 7. 表 4-3 結果表達有誤,需進一步修正,並建議加入 0.9、1.0 值,更 能明顯的看出結果表現。

於表 4-3,修正為 Pcr<=?時,移除停用字,才符合本論文所想表達的演

算法用意。此外我們加入 0.9、1.0 值,於先前研究一致,必須完全移除停 用字進行匹配句子,能達到最高的正確率維 58.83%,能更明顯的看出需移 除完全停用字的方法才能準確匹配句子。

問題 8. 表 4-11~15 結果,建議使用能明顯看出摘要器優劣章節。

我們進一步挑選能較明顯看出不同摘要器所產生摘要之間差異的章節,

並更新在表 4-11 至 4-15 的結果。

問題 9. 有沒有文獻探討如何自動標記句子的類別?

以往的研究有提出各自不同標記句子類別的方法,並用於不同的資料 集上,Ren et al. (2017)使用 DUC 的新聞文章資料集進行分析,首先會逐一 比較原始新聞文件句子與人工所寫摘要,並透過 ROUGE-2 的方法取得各句 子的分數,並限制句子視為摘要句的字詞數上限,以較高的句子分數先視 為摘要句,其餘句子則為非摘要的句子;Nallapati et al.(2016)所提方法則是 使用於 Daily Mail 及 DUC 資料集上,首先將新聞文章句子與參考摘要逐一 進行比較,並以 ROUGE 的方式進行計算,並能得到最高 ROUGE 的句子作 為優先考量視為摘要句,再進一步新增句子到摘要句,如擁有最高 ROUGE 表現視為摘要句,並以此類推,一旦無法提升 ROUGE 時,則其餘句子視 為非摘要句子。

問題 10. 是否有跟其它深度學習用於自動摘要的研究進行比較?

我們有找到其他深度學習用於自動摘要的相關論文,如 Nallapati et

al.(2016)與 Ren et al. (2017)。因兩篇論文是針對多文件來產生摘要,且所用 的資料集也不同,因此並沒有進一步的探討,後續的研究可能由學弟來完 成。

相關文件