人工智能数据服务 课件 人工智能数据服务 课件 2-1 项目二 数据采集 任务1 网络数据采集.pptx

项目2数据采集《人工智能数据服务》

学习引导任务3数据存储与加载1任务2端侧数据采集1任务11网络数据采集

项目导入随着互联网技术的飞速发展，我们生活在一个数据驱动的时代。数据采集作为信息处理的第一步，对于理解世界、指导决策具有至关重要的作用。设想一个城市交通管理中心，需要实时监控和分析交通流量，以优化交通信号灯的控制，减少拥堵，提高道路使用效率。通过在关键路口安装传感器和摄像头，收集车辆流量、速度、事故等数据，管理中心能够实时了解交通状况，并做出相应的调整。

项目导入数据采集不仅是一项技术活动，更是城市管理者服务社会、提高公共福祉的体现。然而，在智能交通系统的场景中，数据的准确性和公正性对于交通管理至关重要，这要求我们在数据采集和处理过程中保持诚信，对数据负责，确保信息的真实性和可靠性。

项目导入通过本章节的学习，学生不仅能够掌握数据采集的技术知识，更能够在思想上得到提升，学会如何在数据采集的实践中坚持社会主义核心价值观，培养成为具有社会责任感和专业素养的新时代青年。通过实际应用场景的学习和讨论，学生将更加深刻地理解数据采集在社会发展中的作用，以及作为数据采集者应承担的社会责任。

任务1网络数据采集1

任务描述任务导入知识准备任务小结任务实施在数字化浪潮中，网络数据采集成为企业获取关键信息、优化决策的重要工具。然而，网络信息的复杂性和海量性使得数据采集工作变得异常艰巨。因此，实施高效、精准的网络数据采集方案至关重要。通过采用先进的爬虫技术，自动抓取多源数据，并经过清洗、整理和分析，为用户提供结构化、可视化的数据支持。

任务导入任务描述知识准备任务小结任务实施本任务将采用多种网络爬虫技术，爬取房屋租赁网站上4个页面的房源信息数据，并将爬取到的数据保存到本地当中，其中房源信息包括房源封面照片、户型、面积等

任务导入知识准备任务描述任务小结任务实施网络爬虫的基本原理：发送请求接收响应解析网页存储数据循环抓取与调度2.1.1网络爬虫的基本原理及基本库的使用爬虫类型具体内容通用网络爬虫该类爬虫目标是整个互联网，采用深度优先或广度优先等策略遍历网页，构建搜索引擎的索引库，如百度。聚焦网络爬虫专注于特定主题或领域的爬虫，只爬取与主题相关的网页，用于提高特定领域搜索的准确性和效率。增量式网络爬虫定期检查并只爬取新产生或更新的网页，减少重复工作量，节省资源，提供更实时的信息。深层网络爬虫模拟用户填写表单，获取需要特定输入才能访问的网页数据，用于深入分析和挖掘隐藏数据。

任务导入知识准备任务描述任务小结任务实施2.基本库的使用2.1.1网络爬虫的基本原理及基本库的使用爬虫库或框架具体内容requests库用于发送HTTP请求。requests库提供了简单易用的API，支持GET、POST、PUT、DELETE等多种请求方法，并且可以方便地设置请求头、请求体等参数。BeautifulSoup库用于解析HTML或XML文档，提取出标签、属性、文本等信息。BeautifulSoup将复杂的HTML文档转换成一个嵌套的Python对象，使得信息提取变得简单直观。Scrapy框架一个高级的Python爬虫框架，提供了完整的爬虫开发流程，包括发送请求、解析网页、存储数据等。Scrapy还提供了丰富的扩展插件和中间件，支持异步IO、分布式爬取等功能。importrequestsurl=#可修改为具体的网页headers={User-Agent:My-Crawler}#请求头response=requests.get(url,headers=headers)ifresponse.status_code==200:print(response.text)简单使用frombs4importBeautifulSouphtml_doc=htmlheadtitleTestPage/title/headbodypThisisatestparagraph./p/body/html#网页文本soup=BeautifulSoup(html_doc,html.parser)#解析网页title=soup.title.stringparagraph=soup.p.string

项目导入知识准备任务描述任务小结任务实施1.网页的主要构成在数字化时代，网页是信息传递与交互的重要载体。一个完整的网页不仅仅是文字和图片的堆砌，它由多个部分协同工作，共同构建出丰富、互动的用户体验。2.1.2网页前端基础构成具体内容内容网页的核心，包括文字、图片、视