信息摘要技术.pptVIP

小毛毛儿 信息摘要技术 3.3.1 文本信息摘要的生成与实现技术 一、文本信息摘要概述 1、文本信息摘要 文本信息摘要的生成是将文本中所表达的主要内容概括起来形成简短的摘要。 文本信息摘要生成的研究对象：自然语言书写的文本 文本摘要生成涉及自然语言理解和自然语言生成方面，还涉及知识获取以及统计分析等方法。 文本摘要生成技术： 篇章技术 基于统计的文摘生成 其他相关技术 1、篇章技术 篇章的分段：利用词的内在联系来把带有注释的文本按照子标题分成多段 照应问题的研究算法：用词语标注法代替句法分析解决代词指代问题 描述对象的终止与否的判定：如何确定连接描述词与其前述词的关系 基于会话分析的摘要生成：把连贯和衔接用于建立一种基于分类的模型从而生成文摘 主题的确定：根据文本及篇章结构的不同从语料中学习句子出现的位置规律进而确定题目 基于会话分析的摘要生成 EG.新华社外事新闻 通过对大量《人民日报》上的新华社外事新闻文稿进行研究, 我们发现这类篇章有如下特点: 这类新闻的主要部分是记者A 记录的两个谈话者B 和C 的言谈, 内容由直接引用的会谈原话和记者的转述两部分构成。 可以对会谈内容进行分类. 会谈者对会谈内容的态度各异, 但是可以用言语行为理论来对它们进行分类。 言语行为：承诺行为、表达行为、断言行为、指示行为、宣布行为 会谈的对话性质确定了几乎所有的话语都可以归结为五种言语行为之一 识别言语行为的类型为我们理解会谈者的立场、观点和主张提供了一条很重要的线索 每一以言行事行为都必定对应不同的语言表层现象, 如动词“呼吁” 、“希望” 、“愿”对应指示行为; “对……表示(感谢、赞赏、遗憾… …)”结构对应于表达行为;“说” 、“认为” 、“相信”等引导断言行为 建立模型： (Speech Act roleact type oneventevent type) 例如： (Speech Act (role(洛佩斯))　(act type(承诺))　on(event(坚持一个中国的政策))(event type(一个中国问题))) 2、基于统计的文摘生成 词加权：利用对所有句中的词加权建立一个矩阵方法从而生成摘要 段落抽取：利用一个基础语料及共同出现的高频率的词在各段落中出现的相似度从而确定出重要的段落形成摘要 句子抽取：利用各种加权特征对句子进行打分，选出最具有代表意义句子作为文摘句 基于模板填充的信息抽取（此处有例子）：利用背景知识建立时事新闻模式对多篇报道进行比较分析形成摘要 文本分类：通过语料学习建立一组具有相关语义词典作为以后判断所读文本类别的依据 基于模板框架填充的方法分为四个步骤： （1）为文摘预定义好框架结构； （2）从原文中检索出文摘框架所要求的内容，填充到文摘框架中； （3）制定文摘模板； （4）利用文摘模板，将文摘框架中的内容转换为文摘输出。 Eg:基于模板填充的信息抽取 对于“天气公报”的内容规划，本文采用了简单模板方法即通过对历史文本的特征提取来形成了一定的模式与规则； 对于句子规划，语句的先后顺序需要遵循以下规律：（1）地理区域空间的描述顺序。全国范围内的总体方向主要是先由西向东，再由北到南，如一级地理区域主要依次为西北地区、西藏地区、内蒙古地区、东北地区、华北地区、黄淮地区、江淮地区、江汉地区、江南地区、华南地区、西南地区。 （2）地理区域分级的描述顺序。先是全国一级气象地理区域，接着是全国二级气象地理区域，依次类推。但对风要素来看，地理位置包括了陆地与海洋区域，一般顺序为先为大陆然后为海洋。 （3）气象要素类型的描述顺序。主要顺序为降雨、大风、降温以及其他天气现象。 3、其他相关技术 基于快速文本浏览的超文本摘要生成提取的图形用户接口技术 基于心理学方法的摘要生成技术 从多媒体中生成最新摘要技术 摘要系统的评估和可移植技术 3.2.2 网页信息摘要的生成与实现技术 准备工作：将服务器上的Web页面文件下载，并按照一定层次的目录格式保存在本地机器 摘要处理要分析的对象就是这些页面源文件 对web页面进行摘要处理的流程 Web页面预处理 摘要分析 归纳整理 已经下载得到的页面源文件 摘要文件 1、页面预处理 1）过滤无用信息 STYLE…/STYLE文档风格设定 SCRIPT…/SCRIPT脚本程序 !__...__文档注释 其他一些对摘要分析无用的HTML标签 2）处理特殊字符 特殊字符表由标准给出，它们都由“”开头，以“；”结尾。 3）确定段落和句子 P划分段落 TITLE…/TITLE网页标题栏的标题，可看成一个段落 CENTER…/CENTER页面中居中显示的标题，可看成一个段落 Hn为一个标题层次，n为1、2、3、4、5或6，可看成一个段落 B