Java利用UrlConnection实现网页爬取与保存实验报告.pdfVIP

Java爬取网页并保存——使用UrlConnection

【实验目的】

1)使用UrlConnection爬取网页

【实验原理】

URL的openConnection方法将返回一个URLConnection，该对象表示应用程序和

URL之间的通信连接。程序可以通过它的实例向该URL发送请求，URL的资源。

URLurl=newURL(Url);//创建URL对象

【实验环境】

Windows7/2008系统、MyEclipse8.6、Tomcat6.0

【实验步骤】

一、项目的创建

1.1打开MyEclipse，选择【File】—【New】—【WebProject】命令，新建一个名

为web项目

1.2打开web，选中src右键【New】—【Class】命令，新建一个名为

UrlConnection的类，包名为test，如图3所示

Java爬取网页并保存——使用UrlConnection

【实验目的】

1）使用UrlConnection爬取网页

【实验原理】

URL的openConnection方法将返回一个URLConnection，该对象表示应用程序和URL之

间的通信连接。程序可以通过它的实例向该URL发送请求，URL的资源。

URLurl=newURL(Url);//创建URL对象

【实验环境】

Windows7/2008系统、MyEclipse8.6、tomcat6.0

【实验步骤】

一、项目的创建

1.1打开MyEclipse，选择【File】—【New】—【WebProject】命令，新建一个名为w

eb项目

1.2打开web,选中src右键【New】—【Class】命令,新建一个名为UrlConnection的类,

包命为test,如图3所示

二、编写实现主文件

2.1在建好的UrlConnection.java类中编写如下代码

packagetest;

importjava.io.BufferedReader;import

java.io.FileOutputStream;importjava.io.IOException;

importjava.io.InputStream;import

java.io.InputStreamReader;import

java.io.OutputStreamWriter;import

.MalformedURLException;importjava.

net.URL;.URLConnection;publicclass

UrlConnection{publicstaticvoidmain(String[]args){

Stringfilepath=c:/100.html;Stringurl_str=

;URLurl=

null;try{url=newURL(url_str);}catch(

MalformedURLExceptione){e.printStackTrace();}

Stringcharset=utf‑8;intsec_cont=1000;try{

URLConnectionurl_con=url.openConnection();

url_con.setDoOutput(true);url_con.setReadTi

meout(10*sec_cont);url_con.setRequestProperty(

User‑Agent,Mozilla/4.0+(兼容;MSIE7.0;Windows

NT5.1));

二