主题网络蜘蛛程序设计及JAVA实现.docVIP

主题网络蜘蛛程序设计及JAVA实现 祝庆荣 （华南理工大学计算科学与工程学院 广东 广州 510640） 一、实验目的 1、掌握spider/crawler的工作原理及实现方法； 2、熟悉网页抓取的整个流程及操作步骤； 3、掌握spider/crawler应用程序的编写、调试和运行； 4、掌握主题爬行，内容分析技术； 二、实验环境 1、操作系统平台：Microsoft Windows Vista Ultimate x86 2、系统配置： 处理器：Intel Celeron M processer 1.50GHz 内存：1280M 3、开发平台Java 版本信息： java version 1.5.0_11 Java(TM) 2 Runtime Environment, Standard Edition (build 1.5.0_11-b03) Java HotSpot(TM) Client VM (build 1.5.0_11-b03, mixed mode, sharing) 4、开发工具：Source Inside Program Editing Information System version 3.50 5、帮助文档：JAVA中文API文档 三、实验要求 1、锁定某个主题抓取； 2、能够产生日志文本文件，格式为：时间戳(timestamp)、URL； 3、抓取某一URL