采集解析--web信息检索与数据抓取-采集解析-jsoup.pptxVIP

采集解析 -jsoup 北京信息职业技术学院 | 郑淑晖 伊新 简介 2 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 jsoup的主要功能如下： 1. 从一个URL，文件或字符串中解析HTML； 2. 使用DOM或CSS选择器来查找、取出数据； 3. 可操作HTML元素、属性、文本； jsoup是基于MIT协议发布的，可放心使用于商业项目。 官网为 / 3 主要功能1 jsoup 可以从包括字符串、URL地址以及本地文件来加载HTML 文档，并生成Document 对象实例。 一、 // 直接从字符串中输入HTML 文档 String html = htmlheadtitle开源中国社区/title/head +bodyp这里是jsoup 项目的相关文章/p/body/html; Document doc = Jsoup.parse(html); System.out.println(doc.text()); 4 主要功能1 二、// 从 URL 直接加载 HTML 文档 Document doc = Jsoup.connect().get(); String title = doc.title(); System.out.println(title); 三、// 从文件中加载 HTML 文档 File input = new File(D:/11.html); Document doc = Jsoup.parse(input, gbk); System.out.println(doc.text()); 主要功能2 5 使用DOM或CSS选择器来查找、取出数据 File input = new File(D:\test.html); Document doc = Jsoup.parse(input,UTF-8,/); Elements links = doc.select(a[href]); // 具有 href 属性的链接 Elements pngs = doc.select(img[src$=.png]);// 所有引用 png 图片的元素 Element masthead = doc.select(div.masthead).first(); // 找出定义了 class=masthead 的元素 Elements resultLinks = doc.select(“h3.r a”); // 找出 h3之后的a Jsoup 使用跟 jQuery 一模一样的选择器对元素进行检索，以上的检索方法如果换成是其他的 HTML 解释器，至少都需要很多行代码，而 jsoup 只需要一行代码即可完成。  主要功能3 6 修改数据 在解析文档的同时，我们可能会需要对文档中的某些元素进行修改，例如我们可以为文档中的所有图片增加可点击链接、修改链接地址或者是修改文本等。 doc.select(ments a).attr(rel, nofollow); // 为所有链接增加 rel=nofollow 属性 doc.select(ments a).addClass(mylinkclass); // 为所有链接增加 class=mylinkclass 属性 doc.select(img).removeAttr(onclick); // 删除所有图片的 onclick 属性 doc.select(input[type=text]).val(); // 清空所有文本输入框中的文本 jsoup 的过人之处——选择器 7 前面我们已经简单的介绍了 jsoup 是如何使用选择器来对元素进行检索的。本节我们把重点放在选择器本身强大的语法上。下表是 jsoup 选择器的所有语法详细列表。 java样例 8 public static void main(String[] args) throws IOException { String url=/weather/101010400.shtml; long start = System.currentTimeMillis(); Document doc = null; try { doc = Jsoup.connect(url).get(); } catch (Exception e) { e.printStackTrace(); } finally { System.out.println(Time is:+ (System