手写一个java爬虫，获取网页信息.pdf

⼿写⼀个java爬⾍，获取⽹页信息。 ⼿写⼀个java爬⾍，获取⽹页信息。 本⽂将介绍 1: ⽹络爬⾍的是做什么的? 2: ⼿动写⼀个简单的⽹络爬⾍; 1: ⽹络爬⾍是做什么的? 他的主要⼯作就是 跟据指定的url地址 去发送请求,获得响应, 然后解析响应 , ⼀⽅⾯从响应中查找出想要查找的数 据,另⼀⽅⾯从响应中解析出新的URL路径, 然后继续访问,继续解析;继续查找需要的数据和继续解析出新的URL路径 . 这就是⽹络爬⾍主要⼲的⼯作. 下⾯是流程图: 通过上⾯的流程图 能⼤概了解到 ⽹络爬⾍ ⼲了哪些活 ,根据这些 也就能设计出⼀个简单的⽹络爬⾍出来. ⼀个简单的爬⾍ 必需的功能: 1: 发送请求和获取响应的功能 ; 2: 解析响应的功能 ; 3: 对 过滤出的数据 进⾏存储 的功能 ; 4: 对解析出来的URL路径 处理的功能 ; 编写后端代码 1、创建⼀个java⼯程，添加⼀下依赖： dependencies dependency groupIdcom .googlecode.juniversalchardet/groupId artifactIdjuniversalchardet/artifactId version1.0.3/version /dependency dependency groupIdorg.kie.modules /groupId artifactIdorg-apache -commons -httpclient/artifactId version6.2.0.CR2 /version typepom /type /dependency dependency groupIdorg.jsoup/groupId artifactIdjsoup/artifactId version1.10.3/version /dependency /dependencies 2、以下是我的java⼯程的包结构： 2.1、LinkFile接⼝： package com .etoak.crawl.link; publicinterface LinkFilter{ publicboolean accept(String url); } 2.2、Link类：两个属性： ⼀个是存放 已经访问的url集合的set ; ⼀个是存放待访问url集合的 queue package com .etoak.crawl.link; import java.util.HashSet ; import java.util.LinkedList; import java.util.Set; /* 主要功能 * Link ; 存储已经访问过的 路径 和 待访问的 路径 * 1: URL URL ; * * * */ publicclass Links{ 已访问的 集合 已经访问过的主要考虑不能再重复了使⽤ 来保证不重复 // url set ; privatestatic Set visitedUrlSet= new HashSet (); 待访问的 集合 待访问的主要考虑 规定访问顺序 保证不提供重复的带访问地址 // url 1: ;2: ; privatestatic LinkedList unVisitedUrlQueue= new LinkedList(); 获得已经访问的 数⽬ // URL publicstaticintgetVisitedUrlNum(){