网页Email信息采集器设计与实现.pdfVIP

NETW0RKANDC0MMUNICAHON 网络与通信 网页Email信息采集器设计与实现 陈志伟 (福州大学工程技术学院，福州 350002) 摘 要：Internet上庞大的Web数据是一笔宝贵的财富。软件针对web数据进行分析和采集，并把采集到的数据 内 容保存下来，供分析和挖掘。该软件基于c#语言，开发WindowsForm程序 ，使用多线程操作 ，利用WebRequest， WebResponse获取网页数据，再用正则表达式匹配文本值获取到页面的内容。 关键词：正则表达式；多线程；WebRequest；WebResponse；Web文本采集 C删 刁 (EngineeringandTechnologyCoHege，Fuzhouuniversity，Fuzhou 350002) Abstract：Theimmenseamountof WebdataontheIntemetisavaluableasset．Thissoftwareisaim forthesievingand collectionofWebdatawhichcanbesavedofrfurtheranalysisandmining．OnthebasisoftheC#language．thisSoftware developsWindowsFomr program bymeansofmulti-threadedoperation，usingtheWebdataaccessedby WebRequestand WebResponse，ofHowedbythepagecontentfrom thematchofReuglarExpressionsandthetextvalue． Keywords：RegularExpressions；Muhithreading；WebRequest；WebResponse；WebContentcollection 1 引言 随着 Intemet网络的蓬勃发展 ，特别是 Web2．0技术的逐 渐成熟，并被广大程序员接受和使用 ，Web技术成为Intemet 网络的一项主要运用。大量的网络数据内容具有非常高的潜 在价值。如何从海量的Web数据中快速、准确的找到有效信 息呢?针对这样的问题 ，本软件模拟 “网络蜘蛛”的工作方 式进行数据的采集，并且可以让计算机对所采集的数据 自动 进行分析和采集。 2 设计思路 Web上的数据内容大量是以HTML、DHTML或XML体现 出来的。而这些信息可能是结构化、半结构化或非结构化 的 数据。要从这些数据中捕获到有效的信息，总体的操作方法 归纳为3点： (1)查找发现Web数据源。 (2)数据源文本 的分析和挖掘。 (3)分类整理保存有效信息。 图1采集URL流程 把这 3个方法配合运用起来 ，可以得到两个操作流程 ， 两个操作流程可以独立的设置多线程进行运行。如图 1和图2 所示。 3 功能界面 否 读下 本软件主要功能是搜集 URL、域名 、和Email的程序。为 提高操作效率和易用性 ，本程序使用了多线程操作 ，在界面 上可以进行数据采集线程的设置和控制，如图3所示。 4 数据库设计 数据库采用 MicrosoftSQLServer2005企业版。系统只需 要保存URL、域名、Email信息，设计数据库表信息如表 1、 表2、表 3所示。 5 代码设计 本文收稿Et期：2009—10—27 图2 采集Email流程 一 83—