基于Web的双语平行语料库获取系统使用手册.docVIP

基于Web的双语平行语料库获取系统使用手册 欢迎使用 本系统可以用于从互联网上获取双语平行信息包括双语平行网页和双语平行句对。主要致力于获取中英平行信息，但是如果要移植到其他语言对上，只需要修改一些与语种相关的配置文件与相关设置就可以了。 系统需求 CPU 由于需要进行多进程处理，所以最好多核的。 内存 800M 硬盘 200G 操作系统 Linux 文件系统 代码文件系统 代码文件示意图： 按照不能的功能将整个任务划分为三个模块，step0，step1，step2。每一个模块在Webmining目录下都有一个启动脚本以进行批处理（详见使用步骤说明） 每一模块又由图示中相应的小模块组成，所有的子模块所处的文件夹都在Webmining这个目录中，其中bin中存在的是一些各个模块公用的一些代码与脚本。 文档文件系统 在本系统中使用到一些配置文件，都存放在Webmining/Doc中包含有锚文本列表、可处理的网页类型、不可处理的网页类型以及Html特殊符号转换表。 数据文件系统 本系统关键是要维护一个数据流，每一模块的输入数据来自另一模块的输出，同时其输出数据又会成为其他模块的输入数据。 数据流图详见： 这些中间文件具体的存放路径如下图所示： 虚线框中的每个文件夹中都按照数字索引的方式来命名文件夹(即web1,web2,web3,……)，存放相应网站的处理结果。 使用步骤 初始化环境变