Java爬虫：用java爬取小说.pdfVIP

Java爬⾍：⽤java爬取⼩说 Java也能做爬⾍。 现在提到爬⾍⼈第⼀个想到的就是python，其实使⽤Java编写爬⾍也是很好的选择， 下⾯给⼤家展⽰⼀个使⽤Java基础语⾔编写的爬取⼩说的案例： 实现功能： 爬取⽬标⽹站全本⼩说 代码编写环境 JDK：1.8.0_191 Eclipse：2019-03 (4.11.0) 素材： ⼩说：三国演义 案例实现⽤到的技术： 正则表达式 Java⽹络通信：URL IO流 Map—HashMap 字符串操作 异常处理 代码思路 根据⼩说存放位置创建file对象 根据⽹页结构编写正则，创建pattern对象 编写循环，创建向所有⼩说章节页⾯发起⽹络请求的url对象 ⽹络流BufferReader 创建输⼊流 循环读取请求得到的内容，使⽤正则匹配其中的内容 将读取到的内容写⼊本地⽂件，知道循环结束 注意代码中的异常处理 运⾏效果 第117章开始下载。。。。。。。。。。。。。。。。。 邓⼠载偷度阴平 诸葛瞻战死绵⽵_《三国演义》_诗词名句⽹ 第117章结束下载。。。。。。。。。。。。。。。。。 第118章开始下载。。。。。。。。。。。。。。。。。 哭祖庙⼀王死孝 ⼊西川⼆⼠争功_《三国演义》_诗词名句⽹ 第118章结束下载。。。。。。。。。。。。。。。。。 第119章开始下载。。。。。。。。。。。。。。。。。 假投降巧计成虚话 再受禅依样画葫芦_《三国演义》_诗词名句⽹ 第119章结束下载。。。。。。。。。。。。。。。。。 第120章开始下载。。。。。。。。。。。。。。。。。 荐杜预⽼将献新谋 降孙皓三分归⼀统_《三国演义》_诗词名句⽹ 第120章结束下载。。。。。。。。。。。。。。。。。 案例代码： package com.qianfeng.text; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; import java.io.FileOutputStream; import java.io.InputStreamReader; import java.io.OutputStreamWriter; import .URL; import java.util.regex.Matcher; import java.util.regex.Pattern; public class GetText { /** * 1、根据⼩说存放位置创建file对象 2、根据⽹页结构编写正则，创建pattern对象 3、编写循环，创建向所有⼩说章节页⾯发起⽹络请求的url对象 4、⽹络流BufferReader 5、创建输⼊流 6、循环读取请求得到的内容，使⽤正则匹配其中的内容 7、将读取到的内容写⼊本地⽂件，知道循环结束 8、注意代码中的异常处理 * @param args */ public static void main(String[] args) { // 1、根据⼩说存放位置创建file对象 File file = new File(D:\\File\\three_guo.txt); // 2、根据⽹页结构编写正则，创建pattern对象 String regex_content = p.*?(.*?)/p; String regex_title = title(.*?)/title; Pattern p_content = Ppile(regex_content); Pattern p_title = Ppile(regex_title); Matcher m_content; Matcher m_title; // 3、编写循环，创建向所有⼩说章节页⾯发起⽹络请求的url对象 for (int i = 1; i = 120; i++) { System.out.println(第 + i + 章开始下载。。。); try { // 创建每⼀个页⾯的url对象 URL url = new URL(/book/sanguoyanyi/ + i + .html); // 创建⽹络读取流 BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream(),utf8)); // 4、读取⽹络内容⽹络流BufferReader String str = null; /