11-2 大数据相关技术.pptxVIP

主讲：贺萌大数据技术大数据的相关技术

问题引入大数据开发的过程大致分为大数据采集、大数据预处理、大数据存储与管理、大数据分析与挖掘、大数据可视化等五个阶段。

大数据采集

数据来源WEB端WEB端，包括基于浏览器的网络爬虫，或者API。APP端，包括无线客户端采集SDK，或者埋点。传感器，例如物联网测量值转化成数字信号。APP端传感器数据库第三方数据数据库，涉及源业务系统和数据同步，包括结构化数据与非结构化数据。第三方数据，一般是由合作方提供的，例如政府公布的数据。

ETL抽取（extract）：从各种数据源获取数据。转换（transform）：按需求格式将源数据转换为目标数据。加载（load）