人大社课件数据服务实践 课件任务2.1 数据采集基础.pptxVIP

项目二数据采集服务主讲教师:段晓亮Datacollectionservice

1.项目背景及需求数据采集技术是数据服务技术的重要组成部分，已经广泛应用于国民经济各个领域，随着大数据技术的发展和普及，数据采集技术会迎来更加广阔的发展前景。数据采集是指从传感器和智能设备、企业在线系统、企业离线系统、社交网络和互联网平台等获取数据的过程。项目导入

2.项目分解项目导入数据采集基础01金融资讯的文本数据爬取02票据数据采集03视频数据采集05智能客服语音数据采集04

项目导入3.职业岗位介绍数据采集工程师通常需要具备如下的能力：运用传感器等硬件设备或爬虫类软件系统，获取原始数据；进行企业相关产品数据的采集、整理、录入工作；设计搭建数据中台，系统化实现数据提取、解析、调度、存储等服务；根据数据对于产品提出改进建议及解决方案建立异常检测机制，保证数据质量。

项目知识目标掌握数据采集的定义、基本流程01掌握不同类型数据采集的方法和采集工具02理解数据采集对智能系统的作用和意义03知识目标

项目技能目标具备使用Python编写爬虫采集、存储数据的能力具备使用工具或者编程对文本数据采集、存储的能力具备使用语音采集设备采集和存储语音数据的能力具备使用工具或者编写程序对图像数据采集、存储的能力具备使用工具或者编写程序对视频数据采集、存储的能力

项目思政目标具备良好的项目交流、组织、管理、协调能力0