网络爬虫之java基础.doc

网络爬虫之java基础 这张图为我给自己研究所人讲网络爬虫的一个流程，本人也将按照这个流程来讲网络爬虫，如果你的基础较好，可以直接跳过相关流程。 1、Java中maven的使用 使用maven能很轻松的从网络中下载所需的插件 及依赖（下载程序所依赖的JAR包），存储在某一位置中,在程序编译时自动去寻找jar包。初次使用maven时，可能会很慢，会遇到很多问题（国外的源，下载jar包很慢）可以配置一些国内的源，如csdn的。 使用maven最大的方面，在ecliplse中建工程的时候，我们选择maven工程。如下图所示，maven工程上面会有一个M的标致，同时生成一个pom.xml文件，通过在pom.xml中加入以下类型的文件，便可把jar包引入到Maven Dependencies中。 dependency groupIdorg.jsoup/groupId artifactIdjsoup/artifactId version 1.8.2/version /dependency 2、log4j log4j的介绍 log4j是Apache下的一个开源项目，用来控制日志信息，方便的日志记录。之所以要记录日志，可以详细的记录程序发生了什么，在哪里发生的，有没有错误等。在使用log4j之前需要使用maven引入log4j的jar包。 其中，日志的输出级别（%p ）：DEBUG，INFO，WARN，ERROR，FATAL(每个严重的错误事件将会导致应用程序的退出) log4j提供的几种方法 (1)Appender方法：日志输出目的地 org.apache.log4j.ConsoleAppender（控制台），org.apache.log4j.FileAppender（文件），org.apache.log4j.DailyRollingFileAppender（每天产生一个日志文件），org.apache.log4j.RollingFileAppender（文件大小到达指定尺寸的时候产生一个新的文件），org.apache.log4j.WriterAppender（将日志信息以流格式发送到任意指定的地方）。 (2)Layout方法：日志输出格式 org.apache.log4j.HTMLLayout（以HTML表格形式布局），org.apache.log4j.PatternLayout（可以灵活地指定布局模式），org.apache.log4j.SimpleLayout（包含日志信息的级别和信息字符串），org.apache.log4j.TTCCLayout（包含日志产生的时间、线程、类别等等信息）。 使用步骤 (1)导入log4j-1.2.8.jar包（我们使用maven）。 (2)在根目录src下建立并配置perties，如下图所示为我的配置。 (3)使用（演示），如下图所示。 logger.debug(“This is debug.”); (“This is an info.”); logger.warn(“This is a warning.”); logger.error(“This is an error.”); logger.fatal(“This is a fatal error.”); 3、输入流与输出流 这里也不做很多介绍，简单一点，输入流、输出流就是文件的读与写，当然这样理解比较狭隘。 （1）读取文件（输入流read()）、写文件(输出流write()) （2）文件字节流：FileInputStream（）、 FileOutputStream（） （3）文件字符流： FileReader()、FileWriter () （4）缓冲流（读写能力强，最常用）：BufferedReader（）、BufferedWriter（） 注意：缓冲流的源必须是字节流或者字符流 案列： 数据的读写程序以及map的使用 package FileUtil; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.FileReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.OutputStre