运用序列到序列生成架构於重写式自动摘要ExploitingSequence-to.PDF

The 2016 Conference on Computational Linguistics and Speech Processing ROCLING 2016, pp. 115-128  The Association for Computational Linguistics and Chinese Language Processing 運用序列到序列生成架構於重寫式自動摘要 Exploiting Sequence-to-Sequence Generation Framework for Automatic Abstractive Summarization 謝育倫Yu-Lun Hsieh, 劉士弘 Shih-Hung Liu, 陳冠宇 Kuan-Yu Chen, 王新民 Hsin-Min Wang, 許聞廉 Wen-Lian Hsu 中央研究院資訊科學研究所 {morphe, journey, kychen, whm, hsu}@.tw 陳柏琳 Berlin Chen 國立臺灣師範大學資訊工程學系 berlin@.tw 摘要 自動摘要 (Automatic Summarization) 一直以來都是熱門的研究議題，過去多著重在節 錄式 (Extractive) 摘要，而重寫式 (Abstractive) 摘要相當稀少。有鑑於近期深度學習被 廣泛應用在自然語言處理，尤其是機器翻譯等領域的成功，讓重寫式摘要的研究又熱絡 起來。近期文獻中已初步驗證了遞歸神經網路 (Recurrent Neural Network) 在文件的重 寫式自動摘要之成效。因此本文欲探討加入注意力 (Attention) 機制的效果 。注意力機 制的特點是它能夠在生成文的同時，對於關鍵片段增強注意力，藉此產生更佳的摘要。 此外本文亦欲探究單向 (Uni-directional) 及雙向 (Bi-directional) 遞歸神經網路的差異。 本文採用語料是大規模中文短文摘要集 (Large-scale Chinese Short Text Summarization Dataset, LCSTS) 。結果顯示，本文所提出之改進對於摘要品質有明顯的助益。 關鍵詞：重寫式自動摘要、序列到序列、遞歸神經網路 一、緒論 隨著大數據時代的來臨，巨量的文訊息充斥於網際網路之中，並且被快速地傳遞並分 享於全球各地，資訊超載 (Information Overload) 的問題也因此產生。如何能讓人們快 速且有效率地瀏覽或消化與日俱增的資訊，已成為一個刻不容緩的研究課題，其中自動 摘要 (Automatic Summarization) 更是不可或缺的關鍵技術 [1] 。自動摘要之目的在於擷 取單一文件 (Single-Document) 或多重文件 (Multi-Document) 中的重要語意與主題資 訊，讓使用者能更有效率地瀏覽與理解文件的主旨，並快速地獲得其中關鍵資訊，省去 115 大量審視文件時間。 約略來說，自動摘要研究可分為二大類，節錄式(Extractive) 摘要與重寫式 (Abstractive) 摘要（或稱抽象式摘要）。前者主要是依據特定的摘要比例，從最原始的 文件中選取重要的語句來組成摘要；而後者是在完全理解文件內容之後，重新撰寫產生 摘要來代表原始文件的內容，其所使用之詞彙不全然來自於原始文件。此種摘要方式可 說是最貼近人們日常撰寫摘要的形式。然而 ，重寫式摘要需要複雜的自然語言處理 (Natural Language Processing, NLP) 技術，如資訊擷取 (Information Extraction) 、對話理 解 (Discourse Understanding) 及自然語言生成 (Natural Language Generation)