抓站工具用户手册.docVIP

益众网站信息抓取工具 用户手册  目 录 1. 概述 4 1.1. 关于网站抓取工具 4 1.2. 特点 5 2. 软件安装 5 2.1. 安装环境 5 2.1.1. 硬件环境 5 2.1.2. 软件环境 5 2.2. 安装步骤 6 2.2.1. 安装JDK 1.5.x 6 2.2.2. 安装数据库 6 2.2.3. 导入系统数据 6 2.2.4. 安装本系统 7 2.2.5. Tomcat启动和停止 9 3. 术语 10 4. 使用说明 11 4.1. 辅助功能 12 4.1.1. 登录 12 4.1.2. 修改管理员信息 12 4.1.3. 系统参数配置 12 4.1.4. 入库数据表配置 13 4.1.5. 抓取统计 14 4.1.6. 查看网页源码 14 4.1.7. 软件注册 14 4.2. 页面配置 14 4.2.1. 增加页面基本信息 15 4.2.2. 修改页面基本信息 16 4.2.3. 删除页面基本信息 16 4.2.4. URL配置 17 4.2.5. 增加正文页URL及定位配置信息 17 4.2.6. 修改正文页URL及定位配置信息 19 4.2.7. 增加列表页URL配置信息 19 4.2.8. 修改列表页URL配置信息 21 4.2.9. URL参数配置 21 4.2.10. 增加URL参数 21 4.2.11. 修改URL参数 22 4.2.12. 删除URL参数 23 4.2.13. 设置URL参数值 23 4.2.14. 增加URL参数值 23 4.2.15. 修改URL参数值 24 4.2.16. 删除URL参数值 24 4.2.17. 定位信息设置 24 4.2.18. 增加列表页定位配置信息 25 4.2.19. 修改列表页定位配置信息 26 4.2.20. 下级页面配置 26 4.2.21. 增加子页面 27 4.2.22. 修改子页面 28 4.2.23. 删除子页面 28 4.2.24. 设置抓取时间 28 4.2.25. 抓取 30 4.3. 页面解析 30 4.3.1. 增加页面解析配置信息 30 4.3.2. 修改页面解析配置信息 34 4.3.3. 删除页面解析配置信息 34 4.3.4. 值替换配置信息 34 4.3.5. 增加值替换配置信息 35 4.3.6. 修改值替换配置信息 35 4.3.7. 删除值替换配置信息 35 4.4. 页面入库 36 4.4.1. 增加页面入库数据表信息 36 4.4.2. 修改页面入库数据表信息 37 4.4.3. 删除页面入库数据表信息 37 4.4.4. 字段对照值配置信息 37 4.4.5. 增加字段对照值 38 4.4.6. 修改字段对照值 39 4.4.7. 删除字段对照值 39 5. 配置样例 39 5.1. 登录 40 5.2. 入库数据表配置 40 5.3. 页面配置 40 5.3.1. 页面基本信息配置： 41 5.3.2. URL配置： 42 5.3.3. 定位信息配置： 43 5.4. 页面解析 44 5.5. 下级页面配置 46 5.6. 下级页面解析： 48 5.7. 入库配置： 51 5.7.1. 选定入库数据表 51 5.7.2. 字段对照值配置 53 5.8. 抓取： 55 6. 参考内容 56 6.1. 规则表达式 56 6.2. JDBC URL 58 7. 服务支持 60 概述 关于网站抓取工具 本工具可以抓取互联网上的任何网页，包括需要登录后才能访问的页面。对抓取到页面内容进行解析，得到结构化的信息，比如：新闻标题、作者、来源、正文等。支持列表页的自动翻页抓取，支持正文页多页合并，支持图片、文件的抓取，可以抓取静态网页，也可以抓取带参数的动态网页，功能极其强大。 用户指定要抓取的网站、抓取的网页类型（固定页面、分页显示的页面等等），并配置如何解析数据项（如新闻标题、作者、来源、正文等），系统可以根据配置信息自动实时抓取数据，启动抓取的时间也可以通过配置设定，真正做到“按需抓取，一次配置，永久抓取”。抓来的数据可以保存到数据库中。支持当前主流数据库，包括：Oracle、SQL Server、MySQL等。 本工具完全可以替代传统的编辑手工处理信息的模式，能够实时、准确、一天24*60不间断为企业提供最新资讯，真正能为企业降低成本，提高竞争力。 系统功能结构图如下图所示： 特点 适用范围广，可以抓取任何网页（包括登录后才能访问的网页） 处理速度快，如果网络畅通，1小时可以抓取、解析10000个网页 采用独特的重复数据过滤技术，支持增量式数据抓取，可以抓取实时数据，如：股票交易信息、天气预报等 抓取信息的准确性高，系统提供了强大的数据校验功能，保证了数据的正确性 支持断点续抓，在当机或出现异