自己动手写搜索引擎.doc

搜索引擎开发实战 Java开发网络爬虫 ——Lucene+Solr 罗刚 2012 Java开发网络爬虫 1 第1章 Java基础 3 1.1 第一个程序 3 1.2 准备开发环境 4 1.2.1 JDK 4 1.2.2 Eclipse 5 1.3 类和对象 6 1.4 常量 6 1.5 命名规范 7 1.6 基本语法 8 1.7 条件判断 8 1.8 循环 9 1.9 数组 10 1.10 位运算 12 1.11 枚举类型 13 1.12 比较器 15 1.13 方法 16 1.14 集合类 16 1.14.1 动态数组 16 1.14.2 散列表 16 1.15 泛型 19 1.16 多线程 19 1.16.1 基本的多线程 19 1.16.2 线程池 19 1.17 本章小结 20 第2章 网络爬虫入门 21 2.1 获取信息 21 2.2 各种网络爬虫 21 2.2.1 信息采集器 23 2.2.2 广度优先遍历 24 2.2.3 分布式爬虫 25 2.3 爬虫相关协议 27 2.3.1 网站地图 27 2.3.2 Robots协议 28 2.4 爬虫架构 28 2.4.1 基本架构 29 2.4.2 分布式爬虫架构 31 2.4.3 垂直爬虫架构 32 2.5 自己写网络爬虫 33 2.6 URL地址查新 34 2.6.1 嵌入式数据库 35 2.6.2 布隆过滤器 37 2.6.3 实现布隆过滤器 38 2.7 部署爬虫 40 2.8 本章小结 41 第3章 定向采集 44 3.1 下载网页的基本方法 44 3.1.1 网卡 44 3.1.2 下载网页 45 3.2 HTTP基础 49 3.2.1 协议 49 3.2.2 URI 51 3.2.3 DNS 58 3.2.4 HttpCore 58 3.3 使用HttpClient下载网页 60 3.3.1 重试 65 3.3.2 抓取压缩的网页 65 3.3.3 HttpContext 68 3.3.4 抓取需要登录的网页 69 3.3.5 代理 74 3.3.6 并行下载 75 3.4 下载网络资源 77 3.4.1 重定向 77 3.4.2 解决套结字连接限制 78 3.4.3 下载图片 81 3.4.4 抓取视频 83 3.4.5 抓取FTP 83 3.4.6 RSS抓取 83 3.4.7 网页更新 86 3.4.8 抓取限制应对方法 89 3.4.9 URL地址提取 92 3.4.10 抓取JavaScript动态页面 95 3.4.11 抓取即时信息 99 3.4.12 抓取暗网 99 3.4.13 信息过滤 101 3.5 新闻 109 3.5.1 自动查找目录页 110 3.5.2 详细页 111 3.5.3 得到图片的大小 111 3.6 遍历信息 112 3.7 并行抓取 112 3.7.1 多线程爬虫 113 3.7.2 垂直搜索的多线程爬虫 116 3.7.3 异步IO 120 3.8 增量抓取 124 3.9 管理界面 124 3.10 本章小结 125 3.11 专业术语 126 第4章 数据存储 127 4.1 存储提取内容 127 4.1.1 Access数据库 127 4.1.2 写入维基 128 4.2 MongoDB 129 4.3 本章小结 129 第5章 信息提取 130 5.1 从HTML文件中提取文本 130 5.1.1 字符集编码 130 5.1.2 识别网页的编码 133 5.1.3 网页编码转换为字符串编码 136 5.1.4 使用正则表达式提取数据 136 5.1.5 使用HTMLParser实现定向抓取 140 5.1.6 结构化信息提取 146 5.1.7 网页的DOM结构 149 5.1.8 使用NekoHTML提取信息 150 5.1.9 Jsoup 162 5.1.10 使用XPath提取信息 166 5.1.11 HTMLUnit提取数据 168 5.1.12 网页结构相似度计算 168 5.1.13 提取标题 170 5.1.14 提取日期 172 5.1.15 提取RDF信息 172 5.2 网页去噪 172 5.2.1 NekoHTML 173 5.2.2 jsoup 177 5.3 从非HTML文件中提取文本 179 5.3.1 提取标题的一般方法 180 5.3.2 PDF文件 185 5.3.3 Word文件 188 5.3.4 Rtf文件 190 5.3.5 Excel文件 202 5.3.6 PowerPoint文件 205 5.4 图像的OCR识别 206 5.4.1 读入图像 207 5.4.2 准备训练集 207 5.4.3 图像二值化 208 5.4.4 切分图像 212 5