网络爬虫的设计与实现毕业设计论文.doc

毕 业 设 计 题目：网络爬虫的设计与实现 独 创 声 明 本人郑重声明：所呈交的毕业设计(论文)，是本人在指导老师的指导下，独立进行研究工作所取得的成果，成果不存在知识产权争议。尽我所知，除文中已经注明引用的内容外，本设计（论文）不含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体均已在文中以明确方式标明。 本声明的法律后果由本人承担。 ? 作者签名: 二〇一〇年九月二十日 ? 毕业设计（论文）使用授权声明 本人完全了解滨州学院关于收集、保存、使用毕业设计（论文）的规定。 本人愿意按照学校要求提交学位论文的印刷本和电子版，同意学校保存学位论文的印刷本和电子版，或采用影印、数字化或其它复制手段保存设计（论文）；同意学校在不以营利为目的的前提下，建立目录检索与阅览服务系统，公布设计（论文）的部分或全部内容，允许他人依法合理使用。 （保密论文在解密后遵守此规定） ? 作者签名: 二〇一〇年九月二十日 摘 要 网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。PHP语言实现了一个爬虫程序。本论文阐述了网络爬虫实现中一些主要问题：为何要使用多线程，以及如何实现多线程；网页的下载和分析等。 通过实现这一爬虫程序，可以搜集某一站点的URLs及一些我们想要的信息，并将搜