大数据治理平台建设与应用解决方案.pptVIP

大数据治理平台架构-数据服务总线功能架构图 服务资源目录中心 数据服务总线 总线监控中心 节点管理 服务管理 节点注册 服务信息的全网同步 节点审批 服务注册 服务审批 扩展管理 分类管理 发布管理 服务检索 服务维护 服务管理 服务调度 调度管理 资源扩展 路由管理 路由服务 路由规则 数据交换 消息交换 文件交换 服务调用 鉴权管理 资源查询 流交换 断点续传 重发处理 优先级 访问控制 服务编排 缓存管理 节点监控 启动管理 停止管理 异常管理 服务审计 传输监控 质量管理 统计及上报 服务监控 启动管理 停止管理 异常管理 数据服务总线基础服务 组织机构管理 用户管理 角色管理 日志管理 流控管理 元数据管理 服务视图 系统安全 标准规范 大数据治理平台架构-数据服务总线逻辑架构图 文件服务开发 接口服务开发 数据消费者 接入认证 接入路由 服务路由 配额管理 接口服务 文件服务 流媒体服务 数据共享层 数据传输引擎 统计引擎 数据服务 处理引擎 数据开发层 数据/文件 订阅 接口运行监控引擎 元数据管理 数据采集管理 数据资产 资产运营管理 数据服务注册管理 大数据治理平台架构-数据服务总线关键技术与特性 标点 数据服务总线重点解决高性能和高可用性能力 单Server处理能力：采用SEDA架构、轻量级部署架构（直接部署JVM之上）、异步Servlet接入等技术 分布式横向扩展能力：采用灵活的集群部署模式、配置热更新、资源统一监控 超量请求 资源配额 请求积压 基于队列 有策略丢弃 外部不稳定 异步通知 … … 异步多线程模型-SEDA 特点 逻辑分段 段之间基于队列通信 资源分配 ESB实例2 ESB实例3 ESB实例4 ESB实例5 硬件C 硬件D ESB管理服务器 ESB实例1 …… ESB实例n 硬件A 硬件B 通过控制台对多个 ESB Server 进行统一管理 跨机器、跨 JVM部署 配置更新、统一监控 单实例处理能力 分布式扩展能力 数据服务总线带来的价值 数据服务总线 渠道 快速 海量 统计 安全 大数据治理平台架构-数据监控平台功能架构图 导入导出资源 操作日志 用户权限管理 数据文件及时性监控 数据文件完整性监控 数据条数监控 数据文件大小监控 数据源连通性监控 服务运行情况 监控 服务访问情况 监控 服务依赖关系 监控 数据抖动监控 数据源管理 ETL服务器配置 邮件服务器配置 调度服务器配置 代理服务器配置 数据一致性监控 作业异常监控 监控规则及方法 专题库质量监控执行 源数据质量监控执行 …… 文件元模型监控 数据库元模型监控 接口模型监控 元数据变更影响范围监控 前台告警 短信告警 邮件告警 元数据监控分析报表 数据质量监控分析报表 数据传输监控报表 数据服务监控分析报表 ……… 数据 传输 调度 监控 统计 分析 质量 监控 数据 标准 落地 监控 数据 服务 监控 告警 提醒 系统 配置 元数据 监控 大数据治理平台架构-数据监平台逻辑架构图 数据服务总线 政府数据 城市数据 内部数据 数据资产 人口数据 ...... 外部数据 E（抽取） 流处理 数据开发 T（转换，清洗） L（加载） 离线数据采集 实时数据采集 大数据平台 其他应用平台 业务应用 分析类应用 人员类应用 预测类应用 挖掘类应用 ……… 大数据平台治理七条监控线 A专题库 B专题库 C专题库 大数据治理平台架构-数据监控平台关键技术与特性 数据质量监控 数据采集监控线 作业调度监控线 数据传输监控线 数据服务监控线 元数据监控线 标准执行监控线 1 2 7 6 5 4 3 数据监控平台给客户带来的价值 数据监控平台 便捷 及时 准确 集中 标准 总结：大数据的全生命周期闭环管理 大数据治理 数据保障 管理 共享 开发 使用 资产管理 开发利用 共享协作 运营分析 普元大数据治理平台特色 涉及数据全生命周期 跨行业、经验丰富 国内最权威的大数据治理厂商 全体系 全框架 全过程 全行业 全自主 全部平台自主研发 顶层规划，平台建设，过程服务 实践提炼稳定框架 大数据治理平台实施的实践路线 一阶段：建立平台 二阶段：项目实施 三阶段：治理数据 建立大数据运营平台 建立大数据治理平台（数据基础监控，数据传输监控，数据管理监控，数据服务监控） 根据数据治理平台的建立，以大数据平台为依托，实施数据治理项目，实现数据管理目的 逐步推进项目实施数据管理，建议先实施元数据 建立数据服务支撑体系，使数据管理实现为数据服务提供支撑的目的。 建立治理数据的一体化数据治理体系，实现全方位的数据管理，提升大数据平台数据质量。 平台验证 项目实施 全面提升 THANKS 大数据治理平台建设与应用解决方案 大数据治理平台背景