irs系统使用手册.pdfVIP

网络数据挖掘2 1.1 网络数据挖掘定义2 1.2 网络信息挖掘面临的问题2 1.3 网络信息挖掘的分类3 1.4 网页数据的结构与特点3 1.4.1 HTML 超文本标记语言3 1.4.2 WML 无线标记语言5 1.5 网页数据挖掘的基本方法6 1.5.1 预备知识7 1.5.2 树节点直接标识方法 11 1.5.3 语义规则识别方法 14 1.6 智能网络爬虫 15 1.6.1 智能网络爬虫的定义与特点 15 1.6.2 抓取入口定义 15 1.6.3 次级页面自动发现 16 1.6.4 次级页面地址拼接 18 1.6.5 已爬地址处理 19 1.6.6 信息采集强度控制20 1.6.7 模拟用户登录20 1.6.8 验证码识别21 1.6.9 代理服务器设置21 1.6.10 JavaScript 解析控制22 2 网页信息挖掘专用程序设计语言IRS23 2.1 IRS 语言的简介与设计原则23 2.2 IRS 脚本语法结构24 2.2.1 页面配置块24 2.2.2 页面名语句24 2.2.3 入口声明语句24 2.2.4 编码配置28 2.2.5 步长配置28 2.2.6 重试次数配置29 2.2.7 正则模式匹配语句29 2.2.8 匹配名声明30 2.2.9 IEE 表达式30 2.2.10 模式匹配修饰符31 2.2.11 节点模式匹配语句34 2.2.12 次级页面入口语句34 2.2.13 保存语句36 2.2.14 Ruby 控制语句37 2.2.15 爬虫配置语句38 2.2.16 系统配置语句39 2.2.17 外部配置文件39 2.2.18 执行语句块40 2.2.19 IRQL 存储语句41 2.2.20 IRQL 语言中的数据表46 2.2.21 IRQL 内部函数50 2.2.22 POST 方式的入口生成56 2.2.23 实例解析59 3 附录74 3.1 IRS 错误号74 网络数据挖掘 1.1 网络数据挖掘定义 数据挖掘(Data Mining，DM)是是从存放在数据库、数据仓库或其他信息库中的大量数 据中提取或挖掘有趣知识的过程。随着网络的不断发展，因特网目前已成为一个巨大的、分 布广泛的和全球性的信息服务中心。从海量的网络信息中寻找有用的知识，早已成为人们的 迫切需求。各种类似Google、Baidu 等的搜索引擎也层出不穷，网络数据