基于不同分词框架的学术论文翻译系统-厦门大学学报（自然科学版）.docVIP

基于不同分词框架的学术论文翻译系统 官新均1 陈珂2 苏旋3 邹权1，4 (1 厦门大学信息科学与技术学院, 福建厦门, 361000 ; 2 广东石油化工学院计算机科学与技术系, 广东茂名 , 525000 ; 3 仟首网络科技有限公司, 上海 , 200000 ; 4 厦门大学深圳研究院, 广东深圳, 518000) 摘 要 针对国内学者和研究人员在撰写英语论文时出现一些术语对应翻译不正确的情况，本文设计实现了基于术语词库框架的学术论文例句检索系统。由于该检索系统的查询关键字多为专业术语，如新词或未登录词，很难被普通分词方法有效分词，本文对此提出了一种自建专业术语词典树的方法，有效的提高了分词的准确率，返回更为精准的检索结果。 关键词：信息检索；机器翻译；分词框架 中法图分类号： TP391 文献标识码： A  随着国内外学术交流的日趋频繁，国内学者和研究人员往往需要撰写英语论文，由于母语的不同，常常遇到某些专业术语翻译的障碍，为了保证学术论文的严谨性，需要查阅大量的资料和论文，这就为学术论文例句检索系统的出现产生了契机。 而在相关例句的检索中，需要对文本信息进行切分。对于英文文本，单词用空格隔开，可以直接依据空格切分单词。不同于英文文本，中文文本是以连续的字符串的形式出现的，中间没有任何明显的分隔标志，需要对中文文本进行分词处理。 国内自80年代后期，陆续提出了很多的中文分词方法，传统的分词算法有：最大匹配法（MM法），逆向最大匹配法（RMM法），逐词遍历匹配法，正向最佳匹配法和逆向最佳匹配法，但时间复杂度普遍不理想。文献[1]曾对分词算法做出介绍并总结。自从90年代以来，又陆续提出了很多新的分词算法：文献[2]提出了基于首字Hash的分词算法，是对MM算法的改进；文献[3]也对MM算法提出了改进和实现方法，效果良好；文献[4]提出的近邻匹配分词算法可以描述为首字Hash+二字词的二分查找+近邻匹配，效果更优；文献[5]提出了双字哈希机制，在不提升时空复杂度的情况下，提升了分词速度；文献[6]提出了迭代式二元切分方法，在新词识别和歧义消解上有一定的进步；文献[7]提出了字词联合解码的中文分词方法，即结合基于字的条件随机场模型和基于词的Bi-gram语言模型；而在SIGHAN国际中文分词评测(Chinese Word Segmentation Bakeoff)中，文献[8-10]基于字标注的分词方法体现出了优势，此后标注学习的思想更为流行（文献[11-13]），文献[14]对近10年提出的分词算法进行总结和展望。 在对上述分词算法进行分析的基础上，发现上述算法在对未登录词汇和新词识别上效果有待提升，本文提出了一种新的分词框架，采用正向最细粒度迭代算法和自建术语词典树，提升了局部学科术语的识别能力，使得分词更为准确，从而提高了准确率。 系统关键技术 项目基金：国家自然科学基金61102136),福建省自然科学基金(No.2011J05158)，深圳市科技创新基础研究（JCYJ20120618155655087） ： 国内知名的权威学术刊物网站提供了该期刊录用的论文的双语摘要，这些中英摘要往往简短且一一对应，是理想的数据来源。本文采用了部分计算机类论文的权威期刊网站如： ⑴电子信息学报 ⑵计算机科学与探索 ⑶模式识别与人工智能 ⑷软件学报 ⑸自动化学报 ⑹中国科学F辑 ⑺计算机科学与技术 通过爬虫技术，以及数据的预处理完成语料库数据的准备。 分词方法 现有的知名中文分词项目有: (1)SCWS (2)IK (3)盘古分词 (4)Paoding(庖丁) (5)ICTCLAS（文献[15]），大致基于以下的分词思想：⑴ 字符串匹配分词 ⑵ 理解分词 ⑶ 统计分词。 为了满足系统对学科术语和新词的识别和系统实际开发方便，本文采用根据字符串匹配分词的IK项目并自建专业术语词库，IKanalyzer采用词典分词，其分词算法称为“正向最细粒度迭代算法”，其词典以树结构存储，节点数据结构见表1。表1 词典树节点数据结构(类型为DictSegment) Tab.1 Data structure of terminologies tree’s node 类型 属性名称 属性内容描述 Int Int Int Char DictSegment MapChar,DictSegment LIMIT_SIZE NodeState StoreSize Nodechar ChildArray[] ChildMap 常量，用以决定采用数组或映射结构 节点状态，当前字符成词时为1，否则为