项目2-2 知识技能：数据采集与清洗.pptxVIP

数据采集的定义数据采集(DataAcquisition,DAQ)又称数据获取,是指从各类数据库、机器设备、传感器等自动采集信息的过程。数据的重要特点：数据源多样化，包括数据库、文本、图片、视频、网页等各类结构化、非结构化及半结构化数据。数据仓库技术ETL(Extract-Transform-Load)

数据采集的分类大数据的数据采集是在确定用户目标的基础上，以传感器数据、社交网络数据、移动互联网数据等方式，针对该范围内的所有结构化、半结构化和非结构化的数据进行采集。数据采集系统日志采集Chukwa、Flume、Scribe网络数据采集网络爬虫、ApacheNutch、Scrapy数据库采集MySQL、Oracle、Redia、MongoDB

数据采集--依法依规《中华人民共和国数据安全法》（2021年9月1日起施行）数据新技术开发的底线？《数据安全法》第二十八条规定，开展数据处理活动以及研究开发数据新技术，应当有利于促进经济社会发展，增进人民福祉，符合社会公德和伦理。什么是数据分类分级保护？《数据安全法》第二十一条明确，根据数据在经济社会发展中的重要程度，以及一旦遭到篡改、破坏、泄露或者非法获取、非法利用，对国家安全、公共利益或者个人、组织合法权益造成的危害程度，对数据实行分类分级保护。什么是数据？《数据安全法》第三条明确，本法所称的数据，就是指任何以电子或者其