第15章自动文摘与问答系统资料.pptVIP

第14章 自动文摘与自动问答 自动文摘问题的提出 由于信息量的爆炸式增长，使得人们从网络上获得自己真正需要的信息变得更加困难 问题的提出 自动文摘主要内容 关于自动文摘 自动文摘的方法 自动文摘的评测 自动文摘系统 文摘的定义 国际标准—— 一份文献内容的缩短的精确的表达而无须补充解释或评论，且对写文摘的人来说没有差别 自动文摘实例 澜科文本内容自动标引系统 网址：/class_demo.aspx 自动文摘实例续1 文摘的分类 指示性文摘Indicative Summary 报道性文摘Informative Summary 评论性文摘Critical Summary 文摘的分类续1 按文摘处理的文本对象划分: 文摘的分类续2 摘录型文摘Summarization Based on Extraction，SBE 基于理解的文摘Summarization Based On Understanding，SBU 模板型文摘Summarization Based On Template，SBT 基于结构的文摘Summarization Based On Discourse Structure，SBS 国际国内会议 ACL ACM SIGIR AIRS TREC DUC 全国计算语言学联合会JSCL 全国搜索引擎和网上信息挖掘学术研讨会 SEWM 主要内容 关于自动文摘 自动文摘的方法 自动文摘的评测 自动文摘系统 自动文摘的方法 基于统计的自动文摘 基于理解的自动文摘 基于信息抽取的自动文摘 基于结构的自动文摘 基于统计的自动文摘 基本思想： 基于统计的自动文摘将文本视为句子的线性 序列，将句子视为词的线性序列 基于统计的自动文摘续1 步骤：4步进行 计算词的权值； 计算句子的权值； 对原文中的所有句子按权值高低降序排列，权值最高的若干句子被确定为文摘句； 将所有文摘句按照它们在原文中的出现顺序输出。 基于统计的自动文摘续2 计算词权、句权、选择文摘句的依据是文本的6种形式特征 ： 词频Frequency 标题Title 位置Location 句法结构Syntactic Structure 线索词Clue 指示性短语Indicative Phrase 自动文摘的方法 基于统计的自动文摘 基于理解的自动文摘 基于信息抽取的自动文摘 基于结构的自动文摘 基于理解的自动文摘 基本思想： 以人工智能，特别是自然语言理解技术为基础而发展起来的文摘方法 它不仅利用语言学知识获取语言结构，更重要的是利用领域知识进行判断、推理 得到文摘的意义表示，最后从意义表示中生成摘要 基于理解的自动文摘（续1） 步骤：4步进行 语法分析：借助词典中的语言学知识对原文中的句子进行语法分析，获得语法结构树 语义分析：运用知识库中的语义知识将语法结构描述转换成以逻辑和意义为基础的语义表示 语用分析和信息提取：根据知识库中预先存放的领域知识在上下文中进行推理，并将提取出来的关键内容存入一张信息表 文本生成：将信息表中的内容转换为一段完整连贯的文字输出 基于理解的自动文摘（续2） 篇章意义的机内表示:是原文分析的结果和文摘生成的依据，它在基于理解的文摘系统中处于中枢地位 脚本 --美国耶鲁大学的SAM 和FRUMP系统 概念从属结构 --改进的FRUMP系统 框架 --美国GE研究与开发中心的SCISOR系统 一阶谓词 --意大利 Udine大学的SUSY系统 自动文摘的方法 基于统计的自动文摘 基于理解的自动文摘 基于信息抽取的自动文摘 基于结构的自动文摘 基于信息抽取的自动文摘方法 基本思想： 基于信息抽取Information Extraction的自动文摘方法只对有用的文本片段进行有限深度的分析，其效率和灵活性显著提高 基于信息抽取的自动文摘方法续1 信息抽取的自动文摘以文摘框架Abstract Frame为中枢，分为选择与生成两个阶段。文摘框架是一张申请单，它以空槽的形式提出应从原文中获取的各项内容 在选择阶段，利用特征词从文本中抽取相关的短语或句子填充文摘框架 在生成阶段，利用文摘模板将文摘框架中的内容转换为文摘输出。文摘模板是带有空白部分的现成的套话，其空白部分与文摘框架中的空槽相对应 自动文摘的方法 基于统计的自动文摘 基于理解的自动文摘 基于信息抽取的自动文摘 基于结构的自动文摘 基于结构的自动文摘 基本思想： 篇章是一个有机的结构体，篇章中的不同部分承担着不同的功能，各部分之间存在着错综复杂的关系 篇章结构分析清楚了，文章的核心部分自然能够找到 基于结构的自动文摘（续1） 常用的几种方法有： 关联网络 修辞结构 语用功能 主要内容 关于自动文摘 自动