面向复杂形态语言机器翻译的多模型融合词性标注研究.pdfVIP

第 3卷第 1期 2014年1月 网 络 新 媒 体 技 术 V0JI．3No．1 an．2014 面向复杂形态语言机器翻译的多模型融合词性标注研究 李 晓 蒋同海 周 喜 王 磊 杨雅婷 (中国科学院新疆理化技术研究所 乌鲁木齐 830011) 摘要：针对维汉机器翻译中所存在的效率低下以及数据稀疏等问题，本文提出一种多模型融合的词性标注方法。该方法在维 吾尔语浅层形态分析的基础上 ，结合渐进标注模型(ProgressivePOS，PPOS)对噪音数据的过滤能力及泛化标注模型(General— izePOS，GPOS)的泛化表示能力 ，对维吾尔语进行词性标注。实验证明，使用该方法进行维吾尔语词性标注，其标注效果已接 近实用。 关键词 ：维汉机器翻译，维吾尔语词性标注，感知器算法，泛化，复杂形态语言 ResearchonMulti--M odelsCombinedPart—-Of-·SpeechTaggingfor M achineTranslationBetweenLanguageswithComplexM orphology LIXiao，JIANGTonghai，ZHOUXi，WANG Lei，YANGYating (TheXinjiangTechnicalInstituteofPhysicsChemistryofChineseAcademyofSciences，Wulumoqi，830011，China) Abstract：FortheInefficientanddatasparseinUyghurPart—Of—Speech(POS)tagging，thispaperpresentsataggingmethodthat mergedmulti—models．Thetaggingmethodbasedontheshallow morphologicalanalysisofUyghur，andcombinedthenoisedatafilte— ringcapabilityoftheProgressivePart—Of—SpeechmodelandgeneralizationcapabilityoftheGeneralizePOSmode1．Experiments showthatwiththetaggingmethodmentionedabove，thequalityofUyghurPart—Of—Speechtaggingisclosingtothepractica1． Keywords：Uyghur—Chinesemachinetranslation，Part —Of—SpeechtaggingofUyghur，perceptron algorithm，generalization，lan— guagewithcomplexmoprhology 1 引言 统计机器翻译…(StatisticalMachineTranslation，SMT)是非限定领域机器翻译 中性能较佳的一种方法。 统计机器翻译的基本思想是对大量的平行语料进行统计分析，构建统计翻译模型，并使用此模型进行翻译 。 统计机器翻译模型主要包括基于词的翻译模型 ¨2J，基于短语的翻译模型以及基于句法的翻译模型。 1．1 机器翻译的发展现状 近年来，机器翻译技术特别是统计机器翻译技术取得了巨大的进展，一些语言之间的翻译已经在人们 的实际生活和工作中得到了广泛的应用。越来越多的互联网和软件公司都成功推 出基于统计的在线 自动 翻译系统，譬如GoogleTranslator，MicrosoftBingTranslator，BaiduTranslator和 Yahoo!BebelFish。国内机器翻 译领域发展较快，近年来从事机器翻译研究的团队越来越多，逐渐从最初的汉英、英汉机器翻译，向多语言 本文于2013—10—31收到，2012—12—23收到修改稿。 基金项 目：中国科学院战略性先导科技专项课题 “新疆少数民族信息处理”(课题编号：XD。 1期 李晓等：面向复杂形态语言机器翻译的多模型融合词性标注研究