孙 斌北京大学计算机系计算语言所.ppt

Layered Container/Iterator Model（分层的Container/Iterator模型） 设计思想 － 采用Generic Programming (GP)的设计思想，以概念(concept)作为抽象/隔离界面；根据概念的数据要求设计通用、高效、类型安全的算法。 － 每一个语法/语义分析层次都有相应的结点容器； － 用iterators抽象各个容器的操作界面，实现算法与容器的互操作； 要求： 各个容器都至少是sequence containers (Reversible, BackInsertible); 各个遍历器都至少是bidirectional_iterator; 各级算法都是Mutating algorithms (transform) class ie_unit [idx] == paragraph [idx] == sentence [idx] == phrase/word([idx]==) token 汉语命名实体的识别 （1）人名（包括中国人名和外国人译名） （2）地名（包括中国地名和外国地名） （3）组织机构名（包括政府机构、社会团体、企业等名称） （4）数字表达式和时间表达式（包括数值、数码、时点和时段） 汉语命名实体的识别 分两步走： 第一步是词语一级的，与分词同步进行；第二部是短语一级的，可作为句子(浅层)分析的一部分。 - 词语级命名实体的主要任务是： （1）中国人名识别； （2）外国译名识别； （3）中国地名识别； 可将此过程融入到基于词/词类共现的概率语言模型中(HMM segtag)，从候选词的标记路径上选择一条概率最大的路径。 信息提取中的模式匹配 IE系统中的NE, ER, Event都有一大批Patterns； Event Patterns通常都是一些“广谱”模式：不限于终结符表达式；可以是句法、语义范畴。 信息提取系统通常有数十～数百个模式:性能瓶颈 常规的匹配方法(KMP, B-M)：为每个模式n构造一个DFA，逐个地匹配原文m；最好为线性复杂度O(m+n); 分级/Cascaded 模式匹配 应对方法：模式分级 ＋ LR分析 模式分级 (1) 浅层短语与二元关系分析 (e_relation.y) Regular expressions 都是LR文法，可以使 用LR Parsing 来做！即“Shallow Phrases”; (2) 事件模式识别 (pattern_x.y) 在Shallow Phrase-Sequence上再做一次 LR Parsing “Cascaded FA”. 可以使用“优先的LALR(1)”分析器 (e.g., YACC/Bison parsers) 模式分级的优点 本方法取得的几个显著结果： - 无论多少模式，都是线性复杂度O(m) （只要无冲突的YACC Parser能够构造出来） - 会议标题可以有效地进行识别 e.g., 今天交通部召开全国交通系统治理公路和水上”三乱“电话会议 特别技巧 the Pre-Lookahead trick (as with some C++ compilers) to deal with the conflicts effectively！ pattern: IN_Pattern Conf KeyVerb %prec KeyVerb …… 信息提取中的模式匹配 IE系统中的NE, ER, Event都有一大批Patterns； [公司] [发布] [产品]  [人] + “被” + [机构] + [APPOINT ] + [职务] Event Patterns通常都是一些“广谱”模式：节点不限于终结符表达式；可以是句法、语义范畴。 信息提取系统通常有数十～数百个模式 性能瓶颈：常规的匹配方法(KMP, B-M)：为每个模式n构造一个DFA，逐个地匹配原文m；最好为线性复杂度O(m+n); 4、Web页面的文本信息提取 “Web IE” IE技术运用于Web页面： 难点依然是难点 ;-)  局部的优势(“很明显”)：HTML半结构化信息;XML “语义标签”、Semantic Web;Link Text;超链“上下文”提示信息;“Page Count”评分/加权(民主投票);…… WebIE的一些初步应用 Web页面中各类命名实体的提取实体数据库(人／公司／…地址、电话、Email信息） 命名实体的行业／特性／类别判定 行业公司数据库、产品目录、…… 在指定行业中某类命名实体流行度的估计 (popularity