《Python网络爬虫技术案例教程》PPT课件（共10单元）十单元项目实战-京东商品信息爬取及数据分析.pptxVIP

项目实战——京东商品信息爬取 及数据分析;本章导读;学习目标;;本项目的目标是根据输入的搜索关键字爬取京东网站相关商品的信息，包括商品名、价格、店铺名和评价数，然后将数据保存至MongoDB数据库中，最后读取数据库中的数据进行分析。;10.2 爬虫实现;10.2 爬虫实现;10.2 爬虫实现;10.2 爬虫实现;10.2 爬虫实现;在此模块中，定义一个解析函数goods_parse(collection)，其中collection参数为MongoDB数据库的集合名。该函数实现获取和解析网页内容，获取所需数据，并将数据保存到MongoDB数据库的集合中。其过程如下：;然后，循环60次使用beautifulsoup4库解析商品信息，每个li节点包含一个商品信息（见图10-4），并将商品信息插入MongoDB数据库的集合中；最后，定位“下一页”节点（class属性值为“pn-next”）并单击，实现翻页。整个过程循环的次数为搜索商品的总页数（如“共52页”，可以从class属性值为“p-skip”节点下b节点的文本中获取）。;主模块实现输入搜索关键字，以关键字命名选择或创建数据库的集合，并按顺序调用搜索函数和解析函数。实现代码如下。;运行程序后，MongoDB数据库中的内容如图10-5所示。;10.3 爬虫数据分析;10.3 爬虫数据分析;10.3 爬虫数据分析;10.3 爬虫数据分析;10.3 爬虫数据分析;10.3 爬虫数据分析;10.3 爬虫数据分析;10.3 爬虫数据分析;10.3 爬虫数据分析;本章以爬取京东网站的商品信息为例，介绍了使用Selenium模拟浏览器爬取网站数据、使用beautifulsoup4库解析数据、使用MongoDB数据库保存数据，并使用pandas库分析数据的全部流程。通过本章的学习，读者应学会分析网站、编写爬虫程序、处理和分析爬取到的数据的方法。;THANK YOU