集团大数据云服务平台技术方案.pptx

集团大数据云服务平台技术方案目录页01公司介绍Contents Page02整体方案03 实施建议04案例分享— — 总体方案大数据云服务平台框架设计理念大数据云服务平台整体功能架构图大数据云服务平台整体技术架构图大数据云服务平台数据分布架构图优势技术说明优势技术说明优势技术 以Docker封装应用，使得应用可以灵活构建、灵活迁移。不再受限于具体的语言和工具。Build — 以集装箱（Container）为单位管理应用，它将所有应用的依赖都打成一个包，不用担心环境、底层平台、语言之间的差异。将App变成一种标准化的、可移植的、自管理的组件。Ship — 自定义应用的生命周期，开发、调试、运行，最终非常方便和一致地运行在Production环境下。Run — 跨平台部署，可伸缩、安全、稳定。优势技术说明（续）优势技术 Kubernetes提供了诸多便利，使得开发者可以轻松构建符合12因子最佳实践的应用。大海航行靠舵手Google开源的Docker容器的集群管理平台高可用负载均衡应用编排容器网络服务注册服务发现租户管理优势技术说明（续）优势技术 CloudFoundry的Service Broker使得重型的大数据能力能快速集成。CloudFoundry是早期PaaS的事实标准，其创新的Service Broker机制可以便利地将有状态的服务快速集成。CatalogProvisionDeprovisionBindUnbind优势技术说明（续）优势技术Hadoop平台产品引领企业级大数据平台演进方向国际开放数据平台企业联盟ODPi 银卡会员100+补丁, 10+开源贡献者201520112013200920082006优势技术Hadoop平台优化Hadoop平台产品基于Hadoop生态系统，在引入了多种核心功能和组件外，还从开源社区中挑选优秀Patch进行了大量重构、优化与集成，使该平台具有更强的数据处理、更快的处理速度以及更加便捷的实施优势。核心功能组件分布式文件系统HDFS Spark计算框架资源管理与调度YARN安全组件及能力RangerNoSQL数据库Hbase数据加载处理Sqoop,Flume, kafka重构、优化在YARN资源管理能力的基础上进行了多租户能力的增强，提供了更好的资源隔离和资源共享使用的能力；基于YARN和Slider的提供一套功能强大的弹性服务管理框架；优势技术说明（续）优势技术多租户元数据管理实现每个开发团队输出到不同的开发目录。内容包括现有的数据字典、业务口径、程序代码等。这些输出到统一的元数据中心，进行统一的标准化和规范化检查统一的标准与规范，统一制定基本的规范和标准，不管哪个开发小组开发的内容必须满足这些基本的标准。 优势技术说明（续）MDA模型驱动技术采用MDA的模型驱动的概念，通过填单模式，支持对数据进行事前、事中、事后质量检测模型配置，实现全过程的质量管理。1）事前质量检查：在开发阶段定义好各元数据对象的质量规则，在上线时，调用检查规则对上线的数据进行检查是否满足质量的规则，在一开始规避一些常见的错误。 2）事中质量检测：有些质量的问题必须在ETL过程中进行检查，如分隔符的检查，格式的检查等。数据质量平台提供给ETL进行功能调用，可以实现事中的质量检测3）事后质量检测：指在数据处理之后进行质量的检测。有些时候，如主外键检查，检查时特别消耗系统的资源，为保证系统的运行及时性，可以将这些检查点移到数据处理后系统空闲时在进行检查。优势技术说明（续）监控阀值智能调整技术系统通过算法自动根据历史情况对数据各种监控阈值进行调整和优化，以简化运维配置工作。1 ）系统会根据历史情况对检查的指标的阀值，如波动率，自动进行统计，调整正常的分布区间。2 ）根据数据的特点合理选择检查方式。如有些表数据量小，波动率就大，就会采用阀值期间进行监控，大表就会采用波动率进行监控。 3 ）对周期性变化，有拐点的数据，系统会自动识别波动周期和挂点，在挂点附近位置会采用双加权平均计算来进行监控，以避免造成误报。4 ）对规则进行优化，系统会自动对规则的运行性能和发现问题的能力，对性能开销大，问题识别能力弱的进行降级。优势技术说明（续）数据库的智能检索技术通过元数据的关系，提供类似于baidu搜索，输入关键字，获取数据库的数据。元数据地图算法目前是通过关系数据库存储数据与数据的关系，通过多次递归查找关系进行可视化展示。因此在元数据的数据关系地图上，如何实现从那个点出发，到某个点的路径查找，关键路径的查找，来实现数据关系的路径分析。基于TopN的多维数据诊断算法从多维数据中自动发现异常点算法，充分利用业务人员经验，输出结果直观易懂。如果整体上是增长的，增长是在哪里？如果整体上是下降的，下降是在哪里？如果整体变化不大，那么各个维度