一种可自由配置的网页采集系统原理及其实现.docVIP

一种可自由配置的网页采集系统原理及其实现 　　摘要：随着信息技术的发展，互联网已成为信息发布和获取的主要渠道，大数据环境下，信息就是资源、竞争力，如何从互联网中发现并获取有效的信息已成为各行业亟待解决的问题。该文提出了一种可自由配置的网页采集系统的原理及其实现，该系统可高效采集用户所需信息，并对网页内容进行清洗，提供多种可视化的内容展示，解决了用户获取信息的难题。 　　关键词：网络爬虫；内容抽取；自由配置 　　中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2015）35-0133-03 　　Abstract： With the development of information technology， the Internet has become the main channel of publishing and achieving information and data. In a BIG DATA environment， the information is the resources and competitiveness， how to find and obtain effective information from the Internet has become an urgent problem for the indus