基于Python的Web信息获取方法研究.docxVIP

基于Python的Web信息获取方法研究 　　摘要：随着大数据和云计算等新一代互联网技术的迅速发展，Web信息量逐日海量递增。从海量数据中提取有效信息，挖掘有潜在价值的关系成为当前的研究热点，这对揭示已知规律、预测未知结果有极大的辅助作用。对当前Web信息获取方法、原理和关键技术进行研究分析，重点阐述了数据采集相关技术中网络爬虫算法的分类与应用。提出一种以Python和相关库为主要工具，结合模块化方法，构建Web文本信息获取系统框架与流程的策略。案例中通过定义采集函数，实现对给定的维基百科词条，快速搜索与该词条相关信息，对词条内链接和外链接进行有效爬取。结果表明，Python在数据采集方面具有较高的有效性和可扩展性。　　关键词：Python；信息获取；网络爬虫；正则表达式　　DOIDOI：/　　中图分类号：TP301　　文献标识码：A文章编号文章编号：　　Abstract：As the development of big data and cloud computing， an increasing number of information has been boosted significantly. Extracting the information and extract useful information from huge amounts of data effectively has been becoming the current hot spot. Moreover， it has contributed to revealing the known regulations and predicting unknown results. In this paper， the current Web information retrieval method， the principle and key technology has been analyzed and the algorithm， classification and application of Web crawler in data acquisition technology are emphasized. This paper presents a method of constructing Web text information acquisition system based on Python and related libraries. In the case， by defining the regular expressions and crawling function， it realized searching for the relevant information of the entry， and effectively retrievaling the internal links and the external links. The results show that Python has significant efficiency and expansibility in data retrieval.　　Key Words：Python； information access； Web crawler； regular expression　　0引言　　互?网提供了大量数据集，但是由于网站本身的多样化和异构性以及网页文档结构的复杂性，很多数据都被嵌入到网页结构与样式中。Web信息获取，也称为基于Web的知识发现。Web数据获取技术分为：基于本体的数据获取、基于自然语言的数据获取、基于网站查询的数据获取、基于规则和地理位置的数据获取。利用行之有效的方法，将可用的信息从海量数据中抽取出来，挖掘潜在价值，将在金融、电信业、舆情监控、数据分析以及其他科学领域发挥重要作用。由此可见，获取Web信息的技术显得尤为关键。　　1Web信息获取技术　　Web信息获取是指从网站上提取信息的一种计算机软件技术，能将任何可以在浏览器上显示的数据提取出来，因此也称为屏幕抓取或数据采集。Web信息获取是数据挖掘中的一项重要技术，它涉及到计算机网络、文本处理、决策分析、人工智能等多个领域。其中，基本Web文本信息获取和知识发现，包括Web文本内容获取、结构获取、拓扑获取等[2]，需要从网站获取所需的非结构化信息数据，分析处理后存储为统一格式的本地数据文件或直接存入本地数据库，涉及网络爬虫、数据结构化、正则表达式等关键技术[3]。　　网络爬虫工作原理　　网络爬虫是一个十分形象的名称，俗称网络蜘蛛或