一种字母词语自动标注算法.pdfVIP

  1. 1、本文档共5页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
一种字母词语自动标注算法.pdf

第46卷第5期 厦门大学学报(自然科学版) Vo!.46No.5 111:兰!旦 !!兰:兰兰!!!兰!!竺!!旦兰二!:璺!!!型!!竺:兰!曼!生竺!!! 墨竺:!!!! 一种字母词语自动标注算法 郑泽芝 (厦门大学中国语言文学系,福建厦门361005) 摘要:自动分词是中文信息处理的基础。而未登录词识别是影响分词系统准确率的最主要的因素.字母词语作为中文 信息处理中的一类未登录词语,现有的分词软件仍不能有效识别.为此设计了一个规则+统计的自动标注算法,该算法 首先对原文本进行扫描.依据字母申正则表达式取得合法的字母串;再以字母申为锚点,往两边扫描,依次调用前后界规 则、汉字组成成分规则、例外校正规则.结合搭配概率矩阵对宇母词语进行识别和标注.实验结果表明一该算法的召回率 为Ioo%,准确率约为92%.该算珐不仅对中文自动分词有益,而且所开发的软件可用于建设字母词语知识库和对字母 词语语言现象的考察研究. 关键词:字母词语;搭配系数;自动标注 中图分类号:TP391.1 文献标识码:A 文章编号:0438-0479(2007)05—0630‘05 definitionofletteredwordsOrphrases,EL— 字母词语是汉语中出现的一种新型外来语(如t neering WP):主要指在汉语文本中出现的由文字字母(后面 wTO、CT、OA等)和构词形式(如:HSK、GB、3C等), 其正确识别不仅可用于对语言现象的考察研究,也可 有定义)和标记符号,或由文字字母、标记符号同汉语 以用于中文信息处理.据我们考察的字母词语中,60% 语索组合而构成的含文字字母的字符串,且该字符串 以上是名称词或者术语,如;移动PC、IS09000认证、 ABS防抱死系统、长征二号F捆绑式大推力运载火 箭、CDMA20001X分组数据服务节点系统等.作为字的组成成分不能随意加减和调整顺序. 母词语的专有名词或术语,在机器翻译中,可以整个地 文字字母(以下简称字母)。指拼音文字或注音符 翻译为相应的专业名词或术语,这样馓对提高机器翻 号的最小书写单位嗍,包括:拉丁字母,希腊字母、微软 译的质量有帮助,相应地也减轻了汉语分析的负担.作 的西里尔字母、日本片假名、平假名等. 为信息检索使用叙词,这种专指性很强的固定短语一 标记符号:指各种标点字符f货币字符-计量单位 旦分解将失去原有的检索意义,或者产生二义现象.在 字符}数字字符(包括阿拉伯数字和罗马数字)I数学运 自动分类、自动文摘、语音识别中长术语也是不分开比 算字符}以及其他特殊标记字符等. 分开好,为此我们开发了字母词语自动标注系统. 字母串;我们把由文字字母和标记符号组成的字 符串称为字母串(其形式化的表达参见文献[3]). 1字母词语的界定 2自动标注系统 传统的语言学对字母词语研究已有很多…-但基 本上还囿于传统的“词”范围,本文的字母词语界定不 该标注系统的基础是字母词语识别的几千条各种 仅面向语言学研究,同时也面向信息处理,为中文信息 规则和汉字串与字母串的搭配概率矩阵.如何从复杂 处理平台建设服务.因此对字母词语我们进行了。工程 的上下文环境中抽取出与字母词语识别有关的特征, 定义”以和传统语言学的“字母词”区别,事实上,该字 并能确定其有效与否,然后将它们有机地结合起来是 母词语的工程定义可以涵盖传统语言学的字母词. 提高字母词语识别精确率的一个重要方向.为此,我们 我

文档评论(0)

整理王 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档