Python爬虫采集方案.pptxVIP

Python爬虫方案采集 1.了解Python爬虫采集方案2.掌握Python爬虫采集方案分类 1、Python爬虫采集方案许多大型企业和政府机构在信息化过程中结合自身业务搭建起了各种各样的软件系统，网页等。随着信息化时代的来临，大数据越来越被重视，数据采集的挑战变的尤为突出。其中积累了大量的行业和客户数据，他们急需将这些数据汇聚起来，形成自己的大数据平台，做数据挖掘和分析，精准地服务他们的客户。为客户提供决策支持、提高运营效率、产生经济价值，需要多种的数据采集方法，来应对各种挑战。 2、Python爬虫采集方案分类采集方案针对网页的数据采集针对软件的数据采集1.正则表达式2.BeautiSoup模块3.lxml模块3.软件接口对接方式2.开放数据库方式1.底层数据直接采集方式 2、Python爬虫采集方案分类Beautiful Soup：是一个非常流行的Python模块。该模块可以解析网页，并提供定位内容的便捷接口，但是抓取数据较为缓慢。正则表达式：能为我们提供抓取数据的快捷方式，但又存在难以构造、可读性差的问题，且该方法过于脆弱，容易在网页更新后出现问题。Lxml：是基于libxml2这一XML解析库的Python封装。该模块使用C语言编写，解析速度比Beautiful Soup更快，不过安装过程也更为复杂。 网页数据采集方案优缺点： 2、Python爬虫采集方案分类软件数据采集方案优缺点：接口对接方式：数据可靠性较高；同时数据是通过接口实时传递过来，完全满足了大数据平台对于实时性的要求。但是接口对接方式需花费大量人力和时间协调各个软件厂商做数据接口对接；同时其扩展性不高。开放数据库方式：可以直接从目标数据库中获取需要的数据，准确性很高，是最直接、便捷的一种方式；实时性也有保证，但是需要协调各个软件厂商开放数据库，其难度很大。底层数据直接采集方式：通过获取软件系统的底层数据交换、软件客户端和数据库之间的网络流量包，进行包流量分析采集到应用数据，同时还可以利用仿真技术模拟客户端请求，实现数据的自动写入。 1.了解了Python爬虫采集方案2.掌握了Python爬虫采集方案分类 （1）针对网页的数据采集 （2）针对软件的数据采集 谢谢观看