前沿技术-云计算技术- HPCC平台数据检索任务的执行过程 (1).pptx

前沿技术-云计算技术-HPCC平台数据检索任务的执行过程

本文档来自教材《云计算与大数据技术》人民邮电出版社王鹏黄焱安俊秀张逸琴编著版权说明2前沿技术-云计算技术-HPCC平台数据检索任务的执行过程

HPCC平台数据检索任务的执行过程HPCC的平台上的数据检索任务在Thor集群和Roxie集群上运行，执行过程包含导入原始数据、数据切分与分发、ETL处理、Roxie集群发布，如图所示。图HPCC数据检索任务的执行流程3前沿技术-云计算技术-HPCC平台数据检索任务的执行过程

HPCC平台数据检索任务的执行过程4前沿技术-云计算技术-HPCC平台数据检索任务的执行过程加载原始数据将存储在HPCC平台以外的待处理数据加载到Thor集群，存放位置为LandingZone，可在HPCC配置中进行查询。切分、分发待处理的数据这个操作对应于图中的Spray，Spray操作将LandingZone中的数据进行均匀切分，发送到Thor集群的计算节点。切分的时候根据文件的逻辑记录结构进行切分，保证逻辑记录的完整性，不被切分到多个节点上。

HPCC平台数据检索任务的执行过程5前沿技术-云计算技术-HPCC平台数据检索任务的执行过程

HPCC平台数据检索任务的执行过程对分发后的原始数据ETL是Thor集群的典型应用，包含Extract操作、Transform操作和Load操作。Extract操作包含源数据映射、数据清洗、数据分析统计等操作；Transform操作是对数据集的常规操作；Load操作的主要作用是为数据仓库或一些独立的查询平台建立索引，索引建立后会被加载到Roxie平台以支持在线查询。6前沿技术-云计算技术-HPCC平台数据检索任务的执行过程分发后原始数据的ETL处理

HPCC平台数据检索任务的执行过程7前沿技术-云计算技术-HPCC平台数据检索任务的执行过程当一个查询被部署到Roxie集群，相关的支撑数据、索引文件也被加载到Roxie分布式索引文件系统。在HPCC系统中，这个文件系统与Thor的DFS分布式文件系统是相互独立的。Roxie集群查询请求的负载均衡一般由外部负载均衡通信设备负责。Roxie集群的规模由查询需求及其响应时间要求，规模一般小于Thor集群。Roxie查询可以通过Web应用发起，每个Roxie查询需要部署一个ECL查询程序向Roxie集群发布