计算机专业毕业论文-基于PHP的网络爬虫的设计与实现.docVIP

毕 业 设 计 题目：网络爬虫的设计与实现 I 摘 要 网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页， 是搜索引擎的重要组成。通过网络爬虫不仅能够为搜索引擎采集网络信息，而 且可以定向采集某些网站的特定信息，如新闻内容等。 本文通过 PHP 语言实现了一个爬虫程序。本论文阐述了网络爬虫实现中一 些主要问题：为何要使用多线程，以及如何实现多线程；网页的下载和分析等。 通过实现这一爬虫程序，可以搜集某一站点的 URLs 及一些我们想要的信 息，并将搜集到的网址和信息存入数据库。 关键词：网络爬虫 PHP 信息抓取 II Abstract Web crawler is an process which can automated download web page, it download Web page for search engines, it is an important component of search engines. SPIDER can collect data for search engines, and can capture some of the websites the targeted specific information, such as the post content. In this paper, we use PHP implements a SPDIER process. This paper expatiates some major problems of SPIDER: why to use multi-threading, and how to implement multi-thread; download and analysis Web page. etc. Key Words: SPIDER PHP INFORMATION CAPTURE  PAGE \* ROMANIII 目录  HYPERLINK \l bookmark0 摘 要 I  HYPERLINK \l bookmark1 Abstract II  HYPERLINK \l bookmark2 引 言 1  HYPERLINK \l bookmark3 1 本文相关技术介绍 3  HYPERLINK \l bookmark3 1.1 所开发语言 PHP 简介 3  HYPERLINK \l bookmark3 1.1.1 PHP 语言 3  HYPERLINK \l bookmark3 1.1.2 PHP 的发展 3  HYPERLINK \l bookmark4 1.1.3 PHP 功能 5  HYPERLINK \l bookmark5 1.2 XML 简介 7  HYPERLINK \l bookmark5 1.2.1 XML 语言 7  HYPERLINK \l bookmark5 1.2.2 XML 与 HTML 的主要差异 7  HYPERLINK \l bookmark5 1.2.3 XML 的文档结构 7  HYPERLINK \l bookmark6 1.2.4 XML 语法规则 8  HYPERLINK \l bookmark6 1. 所有 XML 元素都须有关闭标签 8  HYPERLINK \l bookmark6 2. XML 标签对大小写敏感 8  HYPERLINK \l bookmark7 3. XML 必须正确地嵌套 9  HYPERLINK \l bookmark7 4. XML 文档必须有根元素 9  HYPERLINK \l bookmark7 5. XML 的属性值须加引号 9  HYPERLINK \l bookmark7 6. XML 中的注释 9  HYPERLINK \l bookmark8 1.3 XPath 简介 10  HYPERLINK \l bookmark8 1.3.1 XPath 语言 10  HYPERLINK \l bookmark8 1.4 开发工具 LAMP 简析 10  HYPERLINK \l bookmark9 1.4.1 linux 操作系统 11  PAGE \* ROMANIV  HYPERLINK \l bookmark10 Apache 12  HYPERLINK \l bookmark10 MySql 12  HYPERLINK \l bookmark11 1.5 爬行策略浅析 13  HYPERLINK \l b