JAVA开发一个简单的爬虫的思路1.docVIP

JAVA开发一个简单的爬虫的思路1 使用Get方法请求网页数据 公司销售部门需求： 需要将网站 / 按地区，将所有的服装企业数据保存到Excel里去。 网络上有一堆通用的或是专用的爬虫，我一直也想去写一个通用的。两年前，同事培训过一个叫htmlparser 的，这几天和一个网友聊天，他推荐给我一些也都蛮不错的。 开始，准备工具： Eclipse 3.4.2 (下载地址： /downloads/) Jdk 1.6.7 (下载地址： /downloads/) Httpclient 3.1 相关jar包 (下载地址： /downloads.cgi) 在写本文之前，所有使用的版本均为次新版，保证稳定性能，对应的最新版分别为： Eclipse 3.5.1 Jdk 1.7 HttpClient 4.1 解压eclipse3.4.2，安装jdk1.6.7，配置eclipse，设置eclipse使用的java虚拟机。 如图：在eclipse菜单Window-Perferences中的Installed JREs 新建工程 新建普通的java工程，一切默认 新建libs目录，将相关的包，加入到编译环境 第一个jar包，是一个复合的包，将mons的相关包打进去，暂时用到 org\apache\poi中的相关，可以到本文后面提供的下载路径下载工程。用apache poi包代替即可。 Jar包找不到，可以到这里下载 /Code/Jar/CatalogJar.htm 选中这4个包，右键，build path-add to build path，这样，程序可以识别到外部引用的包 新建带Main()的类 Ef360Main.java import java.io.IOException; import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.regex.Matcher; import java.util.regex.Pattern; import mons.httpclient.HttpClient; import mons.httpclient.HttpException; import mons.httpclient.methods.GetMethod; import mons.logging.Log; import mons.logging.LogFactory; public class Ef360Main { private static final String LOGON_SITE = ; private static final int LOGON_PORT = 80; private Log log = LogFactory.getLog(this.getClass()); //用来写excel中的头描述 private static String[] desc=new String[]{ 公司介绍, 主营产品, 公司名称, 所在省市, 公司地址, 邮编, 联系人, 联系电话, 手机号码, 联系传真, 网址, 公司网址 }; //用来写excel的头描述字段 private static String[] key=new String[]{ companyInfo, products, companyName, province, address, zipCode, headerMan, phone, mobilePhone, tax, detailUrl, netUrl }; public static void main(String args[]) throws HttpException, IOException { HttpClient client = new HttpClient(); client.getHostConfiguration().setHost(LOGON_SITE, LOGON_PORT); // 地区编号 String areaIds = 350000; int pages = 200;// //每行的结果 List resultList=new ArrayList(); //已经添加的过滤 Map duclipcateCode=new HashMap();