基于．ＮＥＴ技术的网络信息采集系统的开发和应用.docVIP

基于．ＮＥＴ技术的网络信息采集系统的开发和应用 　　摘要:提出了一个基于.NET技术的网络信息采集系统,介绍了系统的设计思想和工作原理,阐述了整个系统关键部分的实现过程。文章最后介绍了网络信息采集系统在政府网站的应用,研究如何通过网络信息采集系统为公众和政府提供信息资源共享与服务。 　　关键词:.NET技术;信息采集;系统设计;政府网站;舆情监测 　　中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2009)15-3927-03 　　 　　Internet Information Collecting System Development and Use Based on .NET Technology 　　CHEN Hai-lun, TAO Song 　　(Anhui Economic Information Center, Hefei 230000, China) 　　Abstract: The paper proposed an internet information collecting system which is developed based on the technology of .Net. The design idea and working theory were introduced and the realization of the systems key part is also expounded. In addition, the paper elaborated how the information collecting system works in government portal to let the public share information resources provided by the government. 　　Key words: .Net technology; information collecting; system design; government portal; public opinion monitoring 　　 　　1 引言 　　 　　网络信息采集是一种全新的信息采集方式, 它自动将非结构化的信息从大量的网页中抽取出来保存到结构化的数据库。网络信息采集与传统信息采集方式比较,具有速度快、不受空间限制、成本相对较低等优势与特点。随着信息技术的发展和网络的普及,网络信息采集优势越发突出,已广泛应用于电子政务,行业门户网站,竞争情报系统,舆情监测系统,网站内容系统,垂直搜索,科研等领域[1]。 　　 　　2 系统架构 　　 　　2.1 关键技术 　　基于微软.NET框架,用C#语言开发,利用面向对象的方法,将系统复杂的处理分离出来,成为独立的可重复利用的模块[2]。配合强大的SQL Server 2000数据库支持,将采集到的信息保存到结构化的数据库。 　　2.2 B/S的系统模式 　　系统采用三层架构,形成一种瘦客户模式的B/S模式,其中表示层用Asp.NET开发管理平台,这是系统的用户工作平台。业务逻辑层是系统的核心,用C#开发数据采集类、采集调度管理类和数据存储类[3]。第三层的数据层采用SQL Server 2000,它高效、安全,满足系统的存储和吞吐要求。系统体系结构如图1所示。 　　 　　3 系统模块分析与设计 　　 　　根据采集系统的需求分析和应用系统建设技术规范书,将系统分成两个主要模块:管理平台模块和采集模块。下面具体分析一下几个主要模块的功能与设计方法。 　　3.1 管理平台模块 　　管理平台是操纵管理采集模块来采集数据的平台,它要求凭用户和密码进入,可进行专题管理,将所采集的数据按类别存储和编辑。进行任务管理,包括采集地址设置、采集页面模版和采集时间的设定等。管理平台模块还拥有用户管理、数据的备份和转存功能。图2为本模块的功能层次图。 　　3.2 采集模块 　　采集模块负责从Internet上采集数据,进行处理,存储入库。该模块的采集调度功能调度采集任务,利用采集器采集数据,采集的数据经过内容提取、剔除和文本格式化处理后存储。图3为本模块的功能层次图。 　　 　　4 系统的实现 　　 　　根据系统的模块分析和设计,完成了信息采集系统的开发。系统开发中采用Microsoft Visual Studio 8作为开发工具, Windows Server 2003的IIS 6.0作为Web服务, SQL Server 2000数据库用于存储管理。在本系统中,对数据采集模块采用多线程设计,使得采集任务可以并发执行,以充分利用CPU的效率,提高