基于机器翻译的查询结果Rerank技术-计算机技术专业论文.docxVIP

原创性声明本人声明：所呈交的学位论文是本人在导师的指导下进行的研究工作及取得的研究成 原创性声明 本人声明：所呈交的学位论文是本人在导师的指导下进行的研究工作及取得的研究成 果。除本文已经注明引用的内容外，论文中不包含其他人已经发表或撰写过的研究成果，也、 不包含为获得凼墓直太堂及其他教育机构的学位或证书而使用过的材料。与我一同工作的同 志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：二五绰 指导教师签名： 日 期。 在学期间研究成果使用承诺书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：内蒙古大学有权将 学位论文的全部内容或部分保留并向国家有关机构、部门送交学位论文的复印件和磁盘，允 许编入有关数据库进行检索，也可以采用影印、缩印或其他复制手段保存、汇编学位论文。 为保护学院和导师的知识产权，作者在学期间取得的研究成果(含计算机软件、程序)属于 内蒙古大学计算机学院。作者今后使用涉及在学期间主要研究内容或研究成果，须征得内 蒙古大学计算机学院就读期间导师的同意：若用于发表论文，版权单位必须署名为内蒙古大 学计算机学院方可投稿或公开发表。 莩位论≥作者签名： 蛰垒盘 指导教师签名： 日 期： .J 内蒙古大学硕士学位论文基于机器翻译的查询结果Rerank技术 内蒙古大学硕士学位论文 基于机器翻译的查询结果Rerank技术 摘要 随着因特网的发展及信息进程的全球化，不同语言之间的交流越来越多，人 们对不同语言的信息需求也越来越多，但是由于不同国家语言交流上的障碍， 对于大多数不精通外语的用户而言，获取用户需求的信息存在一定的难度。因 此有研究者提出了跨语言信息检索，跨语言信息检索的研究是为了解决不同语 言之间的障碍。而怎样通过跨语言信息检索有效获取信息是研究人员研究的重 要内容。目前研究人员已经提出一些提高跨语言信息检索质量的方法，其中根 据用户的反馈信息提高检索系统的性能已经在研究界有很多的相关工作，主流 的工作可以分为两个方向，1)查询扩展；2)检索结果重排序。本文的工作是 通过机器翻译对检索结果重排序。 在进行机器翻译之前，对检索的结果文档进行关键词抽取，通过关键词抽取 降低机器翻译的代价，关键词抽取主要抽取能够代表文档内容的短语，本文应 用TF*IDF算法抽取关键短语。抽取关键词后将重组的文档做机器翻译，目前机 器翻译的主流是统计机器翻译，其中基于短语的统计机器翻译，在机器翻译中 获得了比较好的结果。本文利用开源的基于短语的统计机器翻译解码器Moses。 在这个开源的工具上引入语言模型概率、翻译模型概率特征，机器翻译得到翻 译文档，利用新的文档计算与查询项的相似度，并与第一次检索计算的相似度 加权，根据加权后的值对检索结果重排序，从而提高检索质量。 关键词：跨语言信息检索，信息抽取，机器翻译，相似度 基于机器翻译的查询结果Rerank技术Rerank 基于机器翻译的查询结果Rerank技术 Rerank of Retrieval Result Based on Machine Translation ABSTACT With the development of the Internct and the globalization of information，communication between different languages become more and more，the needs ofdifferent languages become more and more for people，but due to barriers of different national language，for most non—proficient in foreign language users，it is difficult to obtain the information．Therefore，some researchers propose a cross-language information retrieval(CLIR)，research of CLIR is to deal with the barriers between different languages，and how to obtain effectively the internet information is the important study by CLIR． Now some researchers have proposed some methods to improve the quality of cross—language information retr