使用互信息辅助在篇章范围内识别命名实体.pdfVIP

使用互信息辅助在篇章范围内识别命名实体 郭志立 113M中图研究中心 e-mail：guozhili@en．ibm．com 摘要：识别命名实体(本文指专有名称、未登录普通词和篇章术语)是中文处理的一个重要问题。 本文采用篇章内统计的方法，计算文本文档初步切分后任意两个邻接项(包括词和落单字)的互信息·以此 作为判定这两个邻接项是否可能形成新的命名实体的依据。对于可能形成新命名实体的串．继续利用互信 息并结合构词法向左右两个方向扩展来确定其边界。最后根据串的内都构造和篇章上下文确定命名实体的 类别。 关键词：互信息专有名称未登录词 inDocument Information Mutual Scope Using Entites of Named toAidtheIdenti6cationVarious and newterms,is stepintext animportant Abstract：Thetaskofidantifyingpropernames．unknownwards rantua／informationtocollectpossiblesegmentsas amethodofusing processingsystems．Thispaperdescr／bes also candidatesofthesethreeadocument utilizedto entitytypesinscope；Mutualinformmionvaluesm determinea theconstrnctionandcontextofeach isexaminedto boundaries．Then possibleentity pattern’s form determineits and type，canonicalmeaning． word nanse identification Keywords：mutual identification，new information。proper 1 引言 中文切词是中文处理系统的重要步骤。实用化的系统，比如概念抽取、文本分类、机 器翻译，往往要求切词程序在达到一定切词准确率的同时，能够识别篇章内的人名、地名、 组织机构名、缩略语、商标品牌、篇章术语、未登录的普通词等等。如果不识别这些命名 实体，切词结果中将出现真正的单字词和落单字混杂、普通词和专有名称混杂的情况，对 后续的处理造成障碍。 命名实体识别是目前公认的中文自动切词的难点。针对这～难点的解决方法大概可分 为两类：一类是专门解决特定的命名实体，另一类是用统计或学习的方法对各种命名实体 做一揽子处理。前一类