20170915-爬虫功能实现.docVIP

页面解析技术 练习： 进入当当网中的任意一个商品列表页面： （/books/soaringsales/01.00.00.00.00.00-0-0-0-2-1） 将这个页面的链接取得，分析链接地址为商品详细信息页的内容保留下来 这种链接有以下特点： 网址中会有 网址最后会以 数字.html 结尾 将这些链接提取到某个集合中保存。 public class DangdangDemo { private static ListString allLinks = new ArrayListString(); private static SetString allOverLinks = new HashSetString(); public static void main(String[] args) throws Exception { // 先去完成将所有链接提取出来的功能 URL url = new URL(/books/soaringsales/01.00.00.00.00.00-0-0-0-2-1); URLConnection conn = url.openConnection(); InputStream is = conn.getInputStream(); BufferedReader reader = new BufferedReader(new InputStreamReader(is)); String line = null; Pattern p = Ppile(a .*href=.*/a); while ((line = reader.readLine()) != null) { Matcher m = p.matcher(line); while (m.find()) { String link = m.group(); link = link.substring(link.indexOf(href=) + 6); link = link.substring(0, link.indexOf(\)); // 判断是否包含 if (link.startsWith(http) link.contains()) { // 截取出最后一段的内容 String temp = link.substring(link.lastIndexOf(/) + 1); // 由于正则表达式中 . 表示任意字符，因此如果想让 . 只表示 .，就需要对其进行转义 if (temp.matches(\\d+\\.html)) { allLinks.add(link); } } } } reader.close(); } } 对集合中的所有链接地址的网页内容进行分析，提取出里面的商品名称和价格。 商品名称可以找 h1 中的文字内容 商品价格可以找 p id=”dd-price”/p中的内容。 同样将数据也保存到文本文件中来进行处理。 package org.liky.test; import java.io.BufferedReader; import java.io.File; import java.io.InputStream; import java.io.InputStreamReader; import java.io.PrintWriter; import .URL; import .URLConnection; import java.util.ArrayList; import java.util.HashSet; import java.util.List; import java.util.Set; import java.util.regex.Matcher; import java.util.regex.Pattern; public class DangdangDemo { private static ListString allLinks = new ArrayListString(); private static SetString allOverLinks = new HashSetString(); public static void main(String[] args) throws Exception { // 先去完成将所有链接提取出来的功能 URL url = new URL(/books/soaringsales/01.00.00.00.00.00-0-0-0-2-1); URLC