.net互联网信息采集程序的开发 文献综述.docVIP

.net互联网信息采集程序的开发+文献综述 摘要近几年来，随着信息技术的快速发展，人们通过Internet的方式采集和发布信息变得越来越普遍。因此，网络信息采集系统应运而生，它由计算机实时动态采集网上信息，并对所采集的信息进行审核处理。网络信息采集主要是指通过网页之间的链接关系，从网页上自动获取页面信息，并且存储到本地，进行编辑存入数据库中。 本毕业设计主要设计一个网络采集系统。系统通过建立网页资源库，结合采集技术、内容分析技术、引入用户数据项和采集内容编辑器，提供和定制可视化通用性较强的互联网信息采集系统，能定期自动采集跟踪相关网站，进行比较、抽取、规整入库、分类等，从互联网上获取所需信息。6577 关键词互联网信息采集信息处理.net 毕业设计说明书（论文）外文摘要 TitleThe development ofInternet information collection procedures__ Abstract In recent years, with the rapid development of IT, by way of the Internet to collect and publish information becoming more common. Therefore, the network information collection system came into being, it is collected by the computer real-time dynamic online information and the collection of information processed by the. Network information collection refers to the links between pages automatically get from the web page information, and stored locally, edit stored in a database. This graduation design major design a network acquisition system. System through the establishment of the web resource library, and collection technology, and content analysis technology, the introduction of user data entry and gathering content editor, And custom visualization versatility strong Internet information collection system, can automatic track Web, filter information ,gather information ,extract information ,classify information and save to database termly. This paper introduces the design and implementation of the system in detail. 采集系统均基于网页内容分析，所有利用服务器实现采集的功能可以实现，也能解决比较实际的问题。 1．1采集系统直观流程图 第一步确定采集任务群，即确定采集的内容分类。 第二步确定采集站点群，即确定采集的目标网站或网页。 第三步确定规则采集群，即分析网站确定采集使用规则。 第四步执行采集，根据前面几步系统开始执行采集。 第五步数据入库，把采集下来的有效信息存储到数据库中 2技术背景 2．1 采集系统研究背景 根据中国互联网络信息中心( CNN IC )发布的《第26次中国互联网络发展状况统计报告》 显示, 截至2010年6月底, 我国网民规模达4. 2亿人,互联网普及率持续上升增至31. 8%。手机网民成为拉动中国总体网民规模攀升的主要动力, 半年内新增4334万, 达到2. 77亿人, 增幅为18. 6%。我国目前的网站数量为279万个, 全国每万人拥有21个网站, 每万名网民拥有66个网站。然而, 面对如此众多的网站, 如何了解、熟知, 并最终从这些网站得到对你有用的信息成为亟需解决的问题, 网络信息采集技术就是解决了这个问题。 2．2采集系统当前技术 目前, 网络信息采集技术主要可以分为基于人工系统的信息采集技术和基于计算机系统的信息采集技术。基于人工系统的信息采集