易达讯数据平台培训讲义.pptVIP

Hadoop 生态环境 第二十九页，共六十六页。 易达讯数据平台 eStar CMM – 分布式消息、分布式流数据、ESB 数据交换 数据共享 数据处理 Linux集群 HDFS Map Reduce Lucene HBase Storm Solr Zoo Keeper 大数据管理 共享交换管理 第三十页，共六十六页。 易达讯数据平台应用架构 第三十一页，共六十六页。 交换服务 超高性能、可靠性和处理能力提高 管理能力增强 云交换服务 eStar CMM – 分布式消息、分布式流数据、ESB 数据交换 数据共享 数据处理 Linux集群 HDFS Map Reduce Lucene HBase Storm Solr Zoo Keeper 大数据管理 共享交换管理 第三十二页，共六十六页。 数据平台 VS. 传统交换平台 QQ引擎 单台服务器 单机处理 外部存储 Pass-Through ASP 服务模式 16轮+大卡引擎 单台服务器至上千台服务器集群 多机并行处理 本地集群存储 Store-Forward 云交换服务模式 第三十三页，共六十六页。 云交换服务 虚拟平台 A （交换域、节点） 虚拟平台 C （部门内部交换） 虚拟平台 B （交换域、节点） 部门 业务 系统 部门 业务 系统 部门 业务 系统 本地 前置 中心 前置 云 计 算 中 心 第三十四页，共六十六页。 云交换SAAS服务 一套云交换产品 多租户虚拟交换平台（一对多） 可以支持无限多个虚拟平台 各虚拟平台完全独立运行 每个虚拟平台支持多个交换域 每个域内管理多个交换节点 支持互联网或政府网运行 第三十五页，共六十六页。 整合共享服务 整合 利用数据整合工具整合来自不同数据源的数据 数据源可以是结构化和非结构化数据 大量适配器组件 清洗、过滤、转换 查询、检索 可以检索任何数据，如Word、Excel、PDF、数据库和HTML文档 速度快、查询精准 在线实时分析 全量数据分析 eStar CMM – 分布式消息、分布式流数据、ESB 数据交换 数据共享 数据处理 Linux集群 HDFS Map Reduce Lucene HBase Storm Solr Zoo Keeper 大数据管理 共享交换管理 适配器 Oracle MS SQL 文件 Web Services API 查询 分析 调用 第三十六页，共六十六页。 数据轨迹实时跟踪核对 * 第三十七页，共六十六页。 数据核对跟踪 * 第三十八页，共六十六页。 云交换SaaS服务 * 在一个物理平台上建立多个虚拟交换平台 每个虚拟平台可分配多个交换域 第三十九页，共六十六页。 按业务域和节点管理信息共享 * 按业务流程建立业务域管理体系。业务域以横向协同为主，通常为一种跨部门业务流程 按业务域给出合作节点的状态，如运行，停止与未安装 按管理职能建立节点管理体系。节点以部门为主，在其职能范围建立管理 第四十页，共六十六页。 分布式云消息总线 * 提供集成平台所需的各种服务纵向 消息服务总线 企业服务总线 流程服务总线 提供总线服务器集群的监控 总线运行情况 总线服务器情况 提供总线服务器集群的管理 启动 停止 提供总线服务器集群 第四十一页，共六十六页。 云平台管理与监控 * 通用Hadoop框架 提供Hadoop以及Hadoop相关的服务 集成Hadoop管理监控 检查集群状态 操作集群的管理，如启动，停止等 Hadoop集群为平台提供统一的存储，数据库，数据批处理等功能 第四十二页，共六十六页。 建立新应用 * 云平台管理系统本身是建立在新的SSH应用开发体系 SSH－Hbase体系代替了传统的关系型数据库，提供的角色管理，界面框架，以及对象与NoSQL数据库的映射 新应用可以在平台上直接开发 平台提供完整的应用开发体系 第四十三页，共六十六页。 大数据平台特点 集数据采集、传输、存储为一体 支持交换服务、共享服务、存储服务和处理服务 支持传统交换和云交换服务模式 极高的可靠性、扩展性 极强的处理能力 低成本 第四十四页，共六十六页。 易达讯数据平台安全保障 认证 利用业界标准Kerberos可信的第三方认证协议 认证用户、服务、服务器等 授权 采用访问控制列表（ACL，Access Control List）技术 LDAP、HDFS权限设置等 保密 加密机制，RPC加密、HDFS数据传输加密、HTTPs 数据完整 数字见面方式保证数据的完整不被串改 审计 提供详细的审计报告 第四十五页，共六十六页。 易达迅云交换平台实例 eStar Cloud Bus Platfrom * 第四十六页，共六十六页。 eStar云交换平台实践 国家旧机动车交易