大数据平台架构及业务方案.pptVIP

大数据平台架构及业务方案 大数据平台架构 终端数据采集 流式数据采集 批量数据采集 网络爬虫 数据转换、处理和集成 分布式存储系统 HDFS 统一资源调度管理 Yarn 批处理/交互式计算 分布式计算框架 内存计算框架 数据仓库工具 MapReduce SQL引擎 图计算引擎 流计算引擎 实时计算 流处理 消息队列 关系型数据库 非关系型数据库 数据服务与工具 算法库 SDK封装 分析展示工具 查询工具 数据API 平台运维管理 监控告警 安全管理 多租户管理 日志与审计管理 集群管理 数据资产管理 元数据管理 数据模型管理 数据标准质量管理 数据生命周期管理 数据安全与隐私 大数据平台能力 数据查找 数据存取 数据模型 IOT数据 互联网数据 系统数据 元数据 ETL 数据质量 大数据平台 采集 多元处理引擎（全量及实时计算、离线计算） 数据存储（混合分布式文件系统） 账户管理（多租户，权限控制，安全认证） 整合 访问 数据治理（元数据管理，数据安全，数据质量） 数据库 强基础、扩数据、深治理、统运维、智应用 企业级大数据中心实现企业数据资产统一管理、统一监控和统一运营的平台，有效的支撑大数据中心的运营和大数据应用的开发，提高运营效率。 深化数据治理，实现各类生产经营数据和分析的目标 1.数据标准规范 2.数据标准管理 3.优化数据资产可视化 4.提升数据资产健康度 5.提升数据质量 数据治理 大数据集群全量的运维监控，可视化、任务分析进行重点建设支撑，控制资源的非正常使用。 1.集群扩容、新增对象运维管控 2.可视化运维 3.统一日志管理 4.运维分析 5.故障定位 统一运维 以业务部门实际诉求为根本，建立大数据应用驱动智慧运营的运营体系 1.全行业大数据算力模型 2.用户行为分析 3.网络智能化 4.物联网应用支持 数据应用 基于应用驱动，持续提升基础平台能力，不断增强大数据基础支撑体系 1、实时能力提升 2、新增详单查询服务 3、服务能力提升 4、数据交换能力 5、全局调度能力提升 基础平台 基于业务发展和应用驱动，持续实现各类生产经营数据的汇聚，完善企业级数据中心的数据支撑 1、IOT物联网数据 2、持续汇聚新的数据源 3、按业务垂直建模 4、统一采集与统一分发 数据汇聚 大数据平台 大数据平台数据集成 大数据平台可视化操作 大数据分析展示功能及案例 大数据分析展示功能及案例 大数据分析展示功能及案例 大数据分析展示功能及案例 大数据平台是完全自建、自主的大数据平台，构建于混合云架构之上，基于Hadoop、Spark开源生态系统，引入了多种核心功能和组件，对复杂开源技术进行高度集成和性能优化。同时面向基础设施层进行深度调优。在分布式存储系统的基础上，建立了统一资源调度管理系统，高效地支持大规模批处理、交互式查询计算、流式计算等多种计算引擎。集群中节点数量可动态扩展，海量数据的采集、存储、分析和挖掘，提供了秒级和毫秒级的计算力。 大数据平台核心优势体现如下： ? 极佳的SQL兼容性，便于业务人员使用 深度优化的Spark SQL解析引擎，率先通过TPC-DS 99条语句的全部测试，满足企业OLAP和OLTP等多类场景支撑，在大幅提升系统易用性的同时，显著降低应用迁移的难度和工作量。 ? 全源数据整合能力，提供50多种数据类型的适配接入 自主研发，突破传统架构和性能瓶颈，提供五十多种数据接入适配能力；通过全图形化的灵活配置，可以实现多源异构数据的快速采集与集成。 ? 突破实时处理计算框架，支持物联网实时业务分析 CosmoBP采用深度优化的Kafka加Storm计算引擎，实现500MB/S的传感器数据的实时预警分析能力，通过服务器的线性无衰减叠加，可支持百万传感器的实时采集需求。实现了基于时间序列的传感器数据优化，可以支持分钟粒度的突发事件预警。通过高效的物联网数据存储压缩能力，成本最优的解决海量数据的存储问题。 ? 最完整的并行数据挖掘算法库，并原创前沿机器学习组件（需要单独产品） CosmoBP的数据挖掘模块内置了大量常见的机器学习算法，涵盖目前最全的50多种分布式算法，并且对部分算法进行了优化，精度平均高于原生算法10%。CosmoBP平台还提供了自然语言处理、文本分析、水军识别、信息传播等原创前沿机器学习组件。专为企业级用户打造了业界创新的机器学习+流处理引擎，满足大规模模型训练的高并发计算和实时流式计算处理的需要。 ? 一站式图形化的数据开放套件，快速分析应用 创建各种大数据任务和查询操作全部图形化完成，无需命令行入口，上手简单。支持丰富的开源扩展，图形化添加近百个高质量组件，全面支持和管理各种大数据业务场景。CosmoBP采用全图形化的开发和管理界面，方