大数据应用编程基础 课件 项目二之任务三　 使用beautiful soup库解析数据.pptxVIP

中高本一体化课程体系·大数据应用技术专业核心课程项目二实现数据爬虫

Contents实现数据爬虫大数据应用编程——从数据采集到可视化的完整项目实践路径01任务一使用HTTP爬取数据02任务二使用Scrapy框架爬取数据03任务三使用beautifulsoup库解析数据

任务三使用beautifulsoup库解析数据从Python基础语法入手，建立基本的数据分析处理意识与能力

大数据应用编程·实战任务以京东空调热销榜单数据采集为实战场景，学习BeautifulSoup库的四种核心对象和CSS选择器定位技术，掌握requests爬取→BS4解析→selector定位→json存储的另一种网页数据采集方案。任务描述为空调厂商采集京东电商平台热销空调的厂商、型号、价格、评价条数等数据使用BeautifulSoup库的CSS选择器替代XPath，实现更直观的网页元素定位京东数据采集BS4四种对象Tag对象：HTML标签节点，通过name和attrs属性获取标签名和属性值NavigableString对象：标签内部文字内容，通过.string方法获取；Comment对象是特殊的注释类型Tag·NavigableString文档树操作遍历文档树：通过contents获取直接子节点、parent获取父节点、兄弟节点遍历搜索文档树：find_all()搜索所有匹配子