原创力文档- 1、本文档共3页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
搜索引擎实验二
一、实验目的
了解数据抓取子系统的设计原理，体会基于数据抓取子系统的运行过程。
二、实验内容
编写一个程序实现网络爬虫的功能。
三、实验过程
3.1 流程图
系统流程图：
抓取线程流程图：
根据网址提取信息：
根据字符串提取链接：
四、实验截图
开始
初始化：起点网址，最大抓取深度
抛出10条抓取线程，并行抓取
对首页进行第一次抓取，提取后续可访问链接
输出最后抓取的结果：所耗时间，总链接，每一条链接信息，
结束
开始
是否还有未访问的链接
取出一条链接，对链接进行进行内容和链接提取
结束
开始
初始化：建立URL对象，建立连接，打开网页输入流，建立本地html文件
是否还有未读字符行
读取一行字符内容
根据字符串内容提取链接
将字符串输出道本地html文件
结束
开始
利用正则式提取第一个链接
判定是否存在链接
此链接是否已经存在链接队列
将新链接添加到链接队列中
重新截取提取链接后的字符串，重新使用正则式提取
结束
文档评论（0）