数据中台建设方案.pdfVIP

目录

1.数据中台平台建设方案2

1.1.总体建设方案2

1.1.1.大数据平台・TDH2

1.1.2.云操作系统・TOS3

1.1.3.大数据平台产品优势7

1.1.4.大数据平台性能优化12

1.2.大数据集成平台22

L2J.数据采集层建设22

1.2.2.数据存储层建设32

1.2.3.数据交换层建设41

1.2.4.数据管理层建设62

12.5.资源管理层建设76

13.大数据计算平台82

1.3.1.数据计层建设82

1.4.大数据开发平台138

1.4.1.大数据平台可视化工具138

1.4.2.大数据平台集成能力183

1.5.大数据运维平台184

1.5.1.大数据平台运维184

1.5.2.大数据平台安全性218

1.53.大数据平台高可用性227

1.5.4.大数据平台开放性230

7.5.5.大数据平台兼容性231

1.数据中台建设方案

LL总体建设方案

通过对客户大数据应用平台服需求的理解，根据建设目标、设计原则的多

方面考虑，建议采用星环科技TranswarpDataHubT（DH）大数据基础平台的架

构方案，基于TranswarpOperatingSystem（简称TOS）云平台方式部署构建。

通过建立大数据集成平台、大数据计算平台、大数据开发平台及大数据运维

平台来满足客户大数据应用平台服建设的要求。

1.1.1.大数据平台・TDH

星环大数据平台TranswarpDataHub（简称TDH）基于开源Spark技术，从

查询引擎、计算框架、存储引擎和资源调度等方面做了性能的优化，相较于同类

产品，提供更好的性能。改进的分布式计算引擎Inceptor解决了开源Spark的

稳定性问题，并且已经在众多成功案例中经历了的考验。同时Ipcetor大幅提高

Spark计算性能，是开源的2-10倍。TDHInceptor极大提高了Spark功能和性能

的稳定性，可以7*24小时在企业的生产环境运行，并能在TB级规模数据上高

效进行各种稳定的统计分析。

星环大数据平台TDH采用基于Hadoop的数据平台架构，海量数据查询分

析服集群既可以处理结构化的数据，也可以处理非结构化、半结构化的数据,

满足配置、日志、网页、音视频、社交网络等多源异构数据的加载和存储，提供

数据查询、全文检索、数据离线批处理分析、交互式分析、图分析、数据挖掘、

机器学习等多种数据处理模式。同时，基于平台提供的实时流处理集群，可以满

足实时数据研判分析服的需求。整个平台提供完整的多租户功能，对于计算资

源与存储资源以及数据访问资源进行统一控制管理，对于计算资源进行高效的调

度管理与使用控制；对于存储资源进行配额管理；对于数据访问权限，进行严格

的权限管理。在安装、配置、监控、告警方面，通过统一的TranswarpManager

进行运维管理。

星环大数据平台TDH应用范围覆盖各种规模和不同数据量的企业，通过内

存计算、高效索引、执行优化和高度容错的技术，使得一个平台能够处理10GB

到100PB的数据，并且在每个数量级上，都能比现有技术提供更快的性能；企

业客户不再需要混合架构，TDH可以伴随企业客户的数据增长，动态不停机扩

容，避免MPP或混合架构数据迁移的棘手问题。

1.1.