一种基于Web 数据挖掘构建中英双语对照翻译语料库的方法.pdfVIP

一种基于Web 数据挖掘构建中英双语对照翻译语料 库的方法 刘东飞，周 星 武汉理工大学计算机科学与技术学院，湖北武汉(430070) E-mail: 摘 要：本文介绍了一种基于 Web 数据挖掘构建中英双语对照翻译语料库的方法，通过网 络爬虫技术，搜集海量网页数据，并进行一系列复杂的净化、分析等过程识别含有中英文对 照翻译的双页文本，并对双页文本进行DOM 结构分析，提取中英文翻译平行语料，存入数 据库。该语料库由机器自动积累，效率较高，翻译内容均来自互联网，数据量大且相对准确， 能够为机器翻译提供良好的数据参考。 关键词：Web 数据挖掘；翻译；搜索引擎；双语识别 中图分类号：TP311.52 1 引言 随着我国经济与对外交流的不断发展，翻译市场规模迅速扩大，利用计算机软件等辅助 翻译工具越来越受到用户的青睐。 目前，机器翻译领域的方法大致可以分为两大类，分别是基于规则的方法和基于语料库 的方法。基于规则的机器翻译最大的难题就是语言歧义的消解；基于语料库是采取翻译记忆 的模式，用户利用已有的原文和译文，建立起一个或多个语料库，在翻译过程中，系统自动 搜索库中相同或相似的翻译资源，并给出参考译文，该方法逐渐打破了语言歧义在翻译领域 的瓶颈，因此，构造平行语料库成为当前机器翻译的热点[1]。 构造平行语料库是对原始语料首先进行人工预处理，主要包括固定编排、统一格式、消 除噪声等工作，然后再用句子对齐算法处理，构建语料库。该方法并非自动积累，需要人工 干预，效率不高[1]。因此，能否寻求一种方法，通过机器自动积累语料，成了我们迫切需 要解决的问题。 “双语辅助翻译搜索引擎”是我们设计并实现了的一个项目，该项目主要通过 Web 数据 挖掘技术，对原始网页进行一系列复杂的识别、匹配、索引等步骤构建出中英双语平行语料 库，本文将围绕该项目中关于网页识别和提取双语对照语料的具体细节作详细介绍。 2 web 数据挖掘 在高速发展的网络信息时代，万维网已经形成一个巨大的知识数据库，如何在该数据库 中提取具有某种价值的相关资料，并构建知识积累，是web 数据挖掘解决的核心问题[2]。 基于web 的数据挖掘，不但要充分利用web 文档的内容，而且需要充分利用web 上的 资源以及彼此之间的关系。web 数据挖掘一般分为3 类[2]：web 内容挖掘、web 结构挖掘和 Web 使用挖掘（如图 1）。第一类主要是针对数据内容的提取；而结构挖掘则用来判断与请 求信息的匹配度，如HITS 算法和Page Rank 算法便是该类挖掘的典型应用；Web 使用挖掘 主要致力于数据挖掘智能性及个性化的研究。由于“双语辅助翻译搜索引擎”主要集中在构建 语料库方面，因此，我们仅对内容挖掘展开论述。 - 1 - 图1 web 数据挖掘分类[3] Web 上存在大量的无结构和半结构化的文档，大部分的半结构化文档都有助于数据挖 掘，Web 内容挖掘采取的策略主要有网页摘要法和搜索引擎结果摘要法，网页摘要法直接挖 掘文档内容，从结构化文档、超文本以及半结构化的文档中获取信息[3]；搜索引擎结果摘 要法通过网络蜘蛛抓取文档，并收集如 URL 、标题、文件类型、长度、修改日期等信息， 然后采用类似 SQL 的描述语言从搜索结果中获取相关文档。狭义上讲 Web 信息检索就是 Web 内容挖掘的一种。 “双语辅助翻译搜索引擎”正是采用了搜索引擎结果摘要法这一策略，并进行一系列复杂 的识别、匹配、索引等步骤才得以实现。 3 系统结构总揽 该系统利用网络蜘蛛从互联网上抓取双语网页，初步过滤后建立索引，存入数据库，然 后对网页进行复杂的识别过程，抽取中英双语对照语料，最后再建立索引供用户使用。“双 语辅助翻译搜索引擎”主要包含4 大模块：网络爬虫、网页识别、匹配入库、建立索