文本信息提取技术概述教程.pptVIP

201303031352 汉语命名实体的识别 （1）人名（包括中国人名和外国人译名） （2）地名（包括中国地名和外国地名） （3）组织机构名（包括政府机构、社会团体、企业等名称） （4）数字表达式和时间表达式（包括数值、数码、时点和时段） 201303031352 汉语命名实体的识别 分两步走： 第一步是词语一级的，与分词同步进行；第二部是短语一级的，可作为句子(浅层)分析的一部分。 - 词语级命名实体的主要任务是： （1）中国人名识别； （2）外国译名识别； （3）中国地名识别； 可将此过程融入到基于词/词类共现的概率语言模型中(HMM segtag)，从候选词的标记路径上选择一条概率最大的路径。 201303031352 信息提取中的模式匹配 IE系统中的NE, ER, Event都有一大批Patterns； Event Patterns通常都是一些“广谱”模式：不限于终结符表达式；可以是句法、语义范畴。 信息提取系统通常有数十～数百个模式:性能瓶颈 常规的匹配方法(KMP, B-M)：为每个模式n构造一个DFA，逐个地匹配原文m；最好为线性复杂度O(m+n); 201303031352 分级/Cascaded 模式匹配 应对方法：模式分级 ＋ LR分析 模式分级 (1) 浅层短语与二元关系分析 (e_relation.y) Regular expressions 都是LR文法，可以使 用LR Parsing 来做！即“Shallow Phrases”; (2) 事件模式识别 (pattern_x.y) 在Shallow Phrase-Sequence上再做一次 LR Parsing “Cascaded FA”. 可以使用“优先的LALR(1)”分析器 (e.g., YACC/Bison parsers) 201303031352 模式分级的优点 本方法取得的几个显著结果： - 无论多少模式，都是线性复杂度O(m) （只要无冲突的YACC Parser能够构造出来） - 会议标题可以有效地进行识别 e.g., 今天交通部召开全国交通系统治理公路和水上”三乱“电话会议 201303031352 特别技巧 the Pre-Lookahead trick (as with some C++ compilers) to deal with the conflicts effectively！ pattern: IN_Pattern Conf KeyVerb %prec KeyVerb …… 201303031352 信息提取中的模式匹配 IE系统中的NE, ER, Event都有一大批Patterns； [公司] [发布] [产品]  [人] + “被” + [机构] + [APPOINT ] + [职务] Event Patterns通常都是一些“广谱”模式：节点不限于终结符表达式；可以是句法、语义范畴。 信息提取系统通常有数十～数百个模式 性能瓶颈：常规的匹配方法(KMP, B-M)：为每个模式n构造一个DFA，逐个地匹配原文m；最好为线性复杂度O(m+n); 201303031352 4、Web页面的文本信息提取 201303031352 “Web IE” IE技术运用于Web页面： 难点依然是难点 ;-)  局部的优势(“很明显”)：HTML半结构化信息;XML “语义标签”、Semantic Web;Link Text;超链“上下文”提示信息;“Page Count”评分/加权(民主投票);…… 201303031352 WebIE的一些初步应用 Web页面中各类命名实体的提取实体数据库(人／公司／…地址、电话、Email信息） 命名实体的行业／特性／类别判定 行业公司数据库、产品目录、…… 在指定行业中某类命名实体流行度的估计 (popularity estimation)等 “XXX排行榜”, “人气指数分析”，… 201303031352 网上相关信息自动收集 其特征在于：根据用户预先提供的实体特性在信息网络上为用户自动收集和加工/归类/排序 用户的信息需求是通过指定一批有具体特性的实体来确定 通过实体特性描述同收集到的网上信息的对比和评价，判断网页与实体的定量相关程度 可以指定“实体”为“个人”、“公司”、“机构” （例子：名人信息收集） 也可以指定“实体”为特定专题、网络协议、技术术语（例子：TCP/IP相关文章收集） 201303031352 结语 文本信息提取是一个富有挑战性和探索性的课题 Google Search: Informa