面向短语统计机器翻译的汉日联合分词研究.pdfVIP

116 2015，51(5) ComputerEngineeringandApplications计算机工程与应用 面向短语统计机器翻译的汉 日联合分词研究 吴培 昊，徐金安 ，张玉洁 wUPeihao，XUJin’an，ZHANGYujie 北京交通大学，北京 100044 BeijingJiaotongUniversity，Beijing100044，China wuPeihao，XUJin’an，ZHANGYujie．ResearchonjointChinese—Japanesewordsegmentationforphrase—based statisticalmachinetranslation．ComputerEngineeringandApplications，2015，51(5)：116-120． Abstract：Unknownwordsandwordsegmentationgranularity aretwomain problemsforChinese—Japanesemachine translation．WordsegmentationisthefirstimportantstepforChineseandJapanesenaturallanguageprocessing．AsChi— neseandJapanesewordsegmentationisprocessedwithdifferenttaggingsystem andsemanticperformance，thegranularity ofwordsegmentationresultsshouldbereadjustedtoimprovetheperformanceofStatisticalMachineTranslation(SMT)． ThispaperproposesanapproachtoadjustthewordsegmentationgranularityforimprovingtheperfomranceofSMT， whichcombinesHanzi—KanjicomparisontableandJapanese—Chinesedictionary．Experimentalresultsexpressthatthepro— posedmethodcouldadjustthegranularitybetweenChineseandJapaneseeffectivelyandimprovetheperfomranceof SMT．ThispaperanalysestheexperimentalresultsanddiscussestheeffectofjointChinese—Japanesewordsegmentation granularityofrphrase—basedSM T． Keywords：segmentationgranulariyt；Kanji-Hanzicomparisontable；Chinese—JapaneseMachineTranslation(MT) 摘 要：未登录词与分词粒度是汉 日日汉机器翻译研究的两个主要 问题。与英语等西方语言不同，汉语与日语词语 间不存在空格 ，分词为汉 日双语处理的重要工作。由于词性标注体系、文法及语义表现上的差异，分词结果的粒度 需要进一步调整，以改善统计机器翻译系统的性能。提出了面向统计机器翻译的基于汉 日汉字对照表及 日汉词典 信息的汉语与 日语的分词粒度调整方法。实验结果表明，该方法能有效地调节源语言和 目标语言端的分词粒度，提 高统计机器翻译 系统的性能。通过对 比实验结果，分析探讨分词粒度对汉 日双语统计系统性能的影响。 关键词：分词粒度；汉字对照表；汉 日机器翻译 文献标志码 ：A 中图分类号 ：TP391 doi：10．3778／j．issn．1002—8331 1 引言 时分词粒度在信息检索、机器翻译等具体应用领域中产 汉语与 日语不同于英语等西方语言，句子不存在空 生不同的影响效果。另一方面，既有研究成果表明，评 格作为边界的词分隔符…。因此 ，分词为汉语与 日语 自 价分词性能的F．score值与机器翻译系统的质量之间并 然语言处理的重要工作。现有的关于汉语与 日语分词 没有明显关系 。就统计机器翻译而言，一种提高翻译 技术发展较为成熟，存在许多分词工具。然而，由于汉