网络爬虫信息装载器开发使用手册.doc

版本信息 版本 最后修改日期 修改人 修改内容 备注 0.1 2006-04-10 武建彤 创建  目录 版本信息 1 1. 概述 3 2. 系统部署与执行 3 2.1. 基础环境准备 3 2.2. 数据环境准备 3 2.3. 信息装载器配置 3 2.4. 信息装载器程序配置及执行 3 3. 信息装载器配置 4 3.1. 信息装载规则 4 3.1.1. 概念 4 3.1.2. 数据结构 4 3.2. 网页访问规则 5 3.2.1. 概念 5 3.2.2. 数据结构 5 3.3. 文本格式化规则 6 3.3.1. 概念 6 3.3.2. 数据结构 7 附录A SmartApp.sql 11 附录B SA_Basic.sql 23 附录C 网站取轨迹实现过程 24 信息装载器开发使用手册 概述 信息装载器（Information Loader）是从文本中获取格式化信息的工具，目前主要支持从网站页面中获取格式化信息。 系统部署与执行 信息装载器部署包含以下步骤： 基础环境准备 数据环境准备 信息装载器配置 信息装载器执行 基础环境准备 基础环境准备步骤： 数据库安装：支持Oralce9i()并已经经过测试，估计Oracle8i以上都可以 JDK安装：支持JDK1.5以上并已经经过测试 数据环境准备 数据环境准备步骤： 在Oracle数据库中建立用户sa，密码sa 在sa用户下创建表结构：创建表结构SQL语句为SmatApp.sql，参见附录A 在sa用户下建立基础数据：建立基础数据SQL语句为SA_Basic.sql，参见附录B 信息装载器配置 信息装载器配置步骤： 使用网页分析器（WebAnalyzer）分析目标网页，网页分析器的使用参见《网站分析器开发使用手册》。 分析目标网页如何解析，包括如何定义文本、块、记录和字段等。 构建信息装载器SQL语句，或者使用信息装载器配置工具进行信息装载器配置。 信息装载器程序配置及执行 复制可执行程序：将可执行程序复制到工作计算机并解压缩，可执行程序为Execute_IL.rar 配置程序执行环境变量：修改bin目录下的setEnv.bat，将其中的set JAVA_HOME=C:\Program Files\java\jdk1.5.0_04中的目录设置为本机安装目录 配置执行程序参数：配置文件为bin目录下的il_config.xml 信息提示参数 Level：提示信息级别，调试时一般设置为DEBUG Mode：提示信息方式，一般可以设置为CONSOLE和FILE 装载信息参数 Type：装载信息类别 Website：网站 Status：此条信息是否装载 执行信息装载器：运行bin目录下的il.bat即可 信息装载器配置 信息装载器是通用的信息装载工具，信息装载器配置包括三个方面 信息装载规则： 网页访问规则： 文本格式化规则： 信息装载规则 概念 信息装载可以分解为页面访问、页面解析（格式化），格式化信息存储等几个部分，因此信息装载规则需要设置如下参数： 信息抓取器：告知装载器抓取某类信息的程序 抓取时间间隔：告知装载器抓取信息的时间间隔 装载参数：告知装载器转载信息时的特定参数 网页访问规则：告知装载器访问网页的规则 文本格式化规则：告知装载器解析网页获取有意义的格式化信息的规则 数据存储器：告知装载器存储格式化信息的程序 数据结构 信息装载规则表的表名为T_IL_InformationLoadRule。信息装载器规则包括如下字段： 字段名 字段类型 主键 外键 必填 注释 ILR_Code VARCHAR2(30) 是 否 是 信息装载规则代码 WPAR_Code VARCHAR2(30) 否 是 否 网页访问规则代码 TFR_Code VARCHAR2(30) 否 是 否 文本格式化规则代码 ILR_Name VARCHAR2(100) 否 否 是 信息装载规则名称 ILR_Type VARCHAR2(30) 否 否 是 信息装载规则对应信息类别 ILR_WebSite VARCHAR2(30) 否 否 是 信息装载规则来源网站代码 ILR_FetcherName VARCHAR2(100) 否 否 否 信息装载规则抓取程序名称 ILR_DepositorName VARCHAR2(100) 否 否 否 信息装载规则存储器名称 ILR_FetchInterval NUMBER(10,3) 否 否 否 信息装载规则信息抓取时间间隔，上次开始访问时间超过此时间则开始进行下次访问 ILR_Parameter VARCHAR2(256) 否 否 否 信息抓取参数，供Fetcher和Depositor使用，采