一种适用于机器翻译的汉语分词方法.pdfVIP

第 26卷 第 3期 中文信息学报 Vo1．26，No．3 2012年 5月 JOURNALOFCHINESE INFORMATION PROCESSING M ay，2012 文章编号 ：1003—0077(2012)03-0054-05 一 种适用于机器翻译的汉语分词方法 奚 宁，李博渊，黄书剑 ，陈家骏 (南京大学 软件新技术 国家重点实验室，江苏 南京 210093； 南京大学 计算机科学与技术系，江苏 南京 210093) 摘 要 ：汉语分词是搭建汉语到其他语 言的统计机器翻译系统的一项重要工作 。从单语语料 中训练得到 的传统分 词模 型并不一定完全适合机器翻译口]。该文提 出了一种基于单语和双语知识的适应于统计机 器翻译系统的分词 方法。首先利用对齐可信度 的概念从双语字对齐语料 中抽取可信对齐集合 ，然后根据可信对齐集合对双语语料 中 的中文部分重新分词 ；接着将重新分词的结果和单语分词工具 的分词结果相融合 ，得到新的分词结果 ，并将其作为 训练语料 ，利用条件随机场模型训练 出一个融合 了单双语知识 的分词工具。该文用该工具对机器翻译所需的训练 集、开发集和测试集进行分词 ，并在基于短语 的统计机器翻译系统上进行实验 。实验结果表 明，该文所提 的方法提 高了系统性能 。 关键词 ：中文分词 ；统计机 器翻译 ；对 齐可信度 中图分类号 ：TP391 文献标识码 ：A A ChineseW ordSegmentationforStatisticalM achineTranslation XINing，LIBoyuan，HUANGShuifan，CHENJiajun (StateKeyLaboratoryforNovelSoftwareTechnology，NanjingUniversity，Nanjing，Jiangsu210093，China； DepartmentofComputerScienceandTechnology，NanjingUniversity，Nanjing，Jiangsu210093，China) Abstract：Chinesewordsegmentationisthefirstphaseinbuildingstatisticalmachinetranslation (SMT)systems from Chineseintootherlanguages．ButtheChinesewordsegmenterstrainedfrom monolingualcorpusarenotneces— sarilysuitableforSMT systems．Therefore，itisnecessarytobuildaMT—motivatedChinesewordsegmenterinor— dertoimprovethequalityoftranslation．Inthepaper，weincorporatetwokindsofknowledgetOtrainaChinese wordsegmenter：thefirstcomesfrom theChinese-character—basedbilingualalignment；and theothercomesfrom conventionalmonolingualChinesewordsegmentation．BothkindsofknowledgearejointlyemployedtOtrainaMT— motivatedwordsegmenterusingConditionalRandom Fields．Intheexperiment，wesegmenttheChineseportionsof thetraining，developmentandtestsetswiththeproposedsegmenter，and builtap