第1章网络爬虫快速入门-猎兔搜索.doc

使用C#开发网络爬虫 罗刚 2012使用C#开发网络爬虫 1 第1章 网络爬虫快速入门 2 1.1 各种搜索引擎 3 1.1.1 通用搜索 3 1.1.2 垂直搜索 3 1.1.3 站内搜索 4 1.2 搜索引擎整体结构 5 1.3 搜索引擎基本技术 6 1.3.1 网络爬虫 6 1.4 软件工具 6 1.4.1 打字软件 6 1.4.2 搜索引擎 8 1.4.3 Windows命令行 10 1.5 术语表 12 第2章 C#开发快速入门 13 2.1 准备开发环境 13 2.2 第一个程序 13 2.2.1 字面值 14 2.2.2 变量 15 2.2.3 数组 17 2.2.4 多维数组 17 2.2.5 语句 18 2.2.6 注释 18 2.2.7 整数运算 19 2.2.8 字符 20 2.2.9 浮点数 21 2.2.10 表达式执行顺序 23 2.3 调试 24 2.4 小结 24 2.5 术语表 25 第3章 结构化程序设计 27 3.1 方法 27 3.1.1 参数 28 3.1.2 检查输入 30 3.2 控制结构 30 3.2.1 判断条件 31 3.2.2 条件判断 33 3.3 循环 39 3.3.1 while循环 39 3.3.2 do-while循环 41 3.3.3 for循环 43 3.4 整数运算 46 3.5 数值运算 48 3.6 简化的运算符 50 3.6.1 自增和自减 51 3.7 类型转换 52 3.8 编程风格 52 3.9 注释 53 3.10 小结 53 3.11 术语表 54 第4章 面向对象程序设计 55 4.1 类和对象 55 4.1.1 类 55 4.1.2 类方法 55 4.1.3 类变量 57 4.1.4 实例变量 57 4.1.5 构造方法 60 4.1.6 字符串 62 4.1.7 命名空间 64 4.1.8 字符串 64 4.1.9 位运算 66 4.1.10 枚举类型 68 4.1.11 面向对象 69 4.2 封装 71 4.2.1 程序集 71 4.2.2 继承 72 4.2.3 集合类 73 4.2.4 泛型 80 4.2.5 委托和事件 82 4.2.6 类库 84 4.3 文件 85 4.3.1 读写文本文件 85 4.3.2 二进制文件 86 4.4 运算符重载 86 4.5 异常 87 4.6 小结 87 4.7 术语表 88 第5章 应用程序开发 89 5.1 输入 89 5.2 输出 89 5.3 命令行参数 90 第6章 数据结构基础 91 6.1.1 双端队列 91 6.1.2 散列表 99 6.1.3 单链表 103 6.1.4 标准Trie树 105 6.1.5 二叉搜索树 108 6.1.6 三叉Trie树 110 6.1.7 保存和加载三叉Trie树 116 6.1.8 平衡Trie树 118 6.2 本章小结 120 6.3 术语表 120 第7章 算法 122 7.1 贪婪法 122 7.2 分治法 125 7.2.1 归并排序 125 7.2.2 快速排序 128 7.2.3 折半查找 130 7.3 动态规划 135 7.3.1 编辑距离 136 7.3.2 中文分词 143 第8章 使用C#开发网络爬虫 152 8.1 URL 152 8.1.1 URI 152 8.1.2 解析相对地址 153 8.2 网络爬虫抓取原理 154 8.3 爬虫架构 156 8.3.1 基本架构 157 8.3.2 分布式爬虫架构 159 8.3.3 垂直爬虫架构 160 8.4 下载网页 161 8.4.1 HTTP协议 161 8.4.2 HTML 164 8.4.3 下载静态网页 165 8.4.4 下载动态网页 169 8.5 下载图片 177 8.6 线程池 178 8.7 网络爬虫遍历与实现 181 8.8 网站地图 183 8.9 连接池 184 8.10 URL地址查新 185 8.10.1 嵌入式数据库 186 8.10.2 布隆过滤器 188 8.11 抓取RSS 191 8.12 网页更新 193 8.13 信息过滤 196 8.14 垂直行业抓取 202 8.15 抓取限制应对方法 202 8.15.1 更换IP地址 202 8.15.2 抓取需要登陆的网页 206 8.15.3 抓取ASP.NET网页 208 8.16 保存信息 211 8.16.1 存入数据库 211 8.16.2 数据倒入ECShop 212 8.16.3 存成图像 218 8.17 日志 218 8.17.1 log4net 221 8.18 本章小结 224 8.19 术语表 225 第9章