分布式网络爬虫-总体设计.docxVIP

中国矿业大学计算机学院 2014 级本科生课程报告 课程名称 应用软件开发实践 报告时间 2017.6.28 学生姓名 朱少杰、胥铁馨 学 号08143336 专 业 14级计科 6班 任课教师 徐慧 《应用软件开发实践》课程报告 任课教师评语 任课教师评语（①对课程基础理论的掌握； ②对课程知识应用能力的评价； ③对课程报告相关实验、 作品、软件等成果的评价； ④课程学习态度和上课纪律； ⑤课程成果和报告工作量； ⑥总体评价和成绩； ⑦存在问题等） ： 成 绩： 任课教师签字： 年 月 日 《应用软件开发实践》课程报告 摘 要 网络爬虫（ Web Crawler ），通常被称为爬虫，是搜索引擎的重要组成部分。随着信息技术的飞速进步，作为搜索引擎的一个组成部分——网络爬虫，一直是研究的热点，它的好坏 会直接决定搜索引擎的未来。目前，网络爬虫的研究包括 Web搜索策略研究的研究和网络分析的算法，两个方向，其中在 Web爬虫网络搜索主题是一个研究方向，根据一些网站的 分析算法，过滤不相关的链接，连接到合格的网页，并放置在一个队列被抓取。 把互联网比喻成一个蜘蛛网，那么 Spider 就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的 链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，