大数据分析框架的关键技术要素.docxVIP

大数据分析框架的关键技术要素

目录

一、内容综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

二、数据采集与预处理关键技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.1、数据源接入技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.2、数据清洗与转换技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

三、数据管理与存储架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.1、分布式存储关键技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

3.2、版本控制与一致性管理技术．．．．．．．．．．．．．．．．．．．．．．．．．．．16

四、核心计算引擎与执行模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

4.1、并行计算框架技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

4.2、算子优化与执行计划．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

4.3、资源管理与调度技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

五、服务与调度基础设施．．．．．．．．．．．．．