基于Web数据的双语资源挖掘技术研究-计算机软件与理论专业论文.docxVIP

沈阳航空航天大学硕士学位论文摘要 沈阳航空航天大学硕士学位论文 摘要 随着统计方法在自然语言处理中的广泛应用，双语语料库资源对于自然语言处理研 究的巨大价值已经得到越来越多的认可，尤其在机器翻译、跨语言信息检索和双语术语 翻译等领域具有不可或缺的重要作用。以互联网为数据源挖掘双语资源可以有效解决传 统人工构建语料库的规模不足，时效性、真实性、语种灵活性差等问题。现有的双语资 源挖掘技术主要针对双语平行网页，从中提取相同位置的互译资源。由于这类网页数量 少，对齐模型复杂，本文提出针对单一双语网页进行双语资源挖掘方法，通过介绍重点 技术来描述双语资源挖掘的过程。 本文提出了一种基于联合策略的双语网页获取方法。该方法通过启发条件扩展搜索 项、过滤不相关网页，得到含有双语信息的网页，以频繁序列模式为特征，使用支持向 量机对网页进行二分类，判断所得网页是否为双语网页。 然后根据双语网页特点提出用频繁序列模式和种子模式构建规则库，通过规则匹配 的方法提取出双语片段，同时使用非规则文本归属度来度量一个无法与规则相匹配的片 段模式能否作为规则加入规则库。这样可以扩充规则库，满足双语资源存在的多样性与 特殊性要求。 在双语资源抽取的过程中，考虑到语言的差异性，对于难以通过编码区分的语言， 加入语言特征，并在抽取信息时考虑语言特征的优先级等因素来完成双语资源的最终抽 取。 最后，本文构建了“基于Web数据的双语资源挖掘系统”，该系统不仅实现了上述 双语资源挖掘方法，以可视化的方式展示实验效果，更加入了方便用户使用的查词、浏 览网页、用户添加、指定网址抓取以及种子选择等功能，成为完整的面向用户的使用程 序。 关键词：Web挖掘；双语资源；频繁序列模式；网页分类 AbstractWim Abstract Wim the statistic method widespread applied in nature language processing，the great value bought by bilingual corpus resources for the nature language processing research has been 印proved by more and people． Especially in the field of machine translation， cross．1a11舀Jage information retrieval and bilingual terms translation，the bilingual corpus data resources are also important．To mine the bilingual resources by using Intemet as the source can efiectively solve the problems which appear in the traditional bilingual corpus establisIⅡnent process by handwork，such as lack of scales，timeliness，realness，language flexibility’etc．The existing techniques for mining bilingual resources are mainly in coIulection with the parallel bilingual web pages，from which they mine the translatlon web pages resources appearing in the same positions．Since there are limited parallel bilingual in Intemet aIld the alignment models are complicated，this paper proposed a method of mlmng the mlmng bilingual resources from the single bilingual web pages．The article will describe process of bilingual resources with introducing the key techniques· on a comblned This p印er proposes a method of obtaining bilingual web pages based strate卧The method extends the se