大数据分析平台总体架构方案.ppt

大数据分析平台总体架构——数据标准管理 消除一数多义，提升数据的唯一性、一致性，将逐步形成的数据标准纳入一个规范的管理流程中，进行数据标准的更新、发布、使用监督等工作。 数据标准管理工作可以分为以下几个部分：数据标准建立和维护、数据标准执行、数据标准管理的考评。 数据标准建立和维护 数据分类 数据结构 关键业务对象 关键代码 数据维度 代码映射 客户类 数据标准 产品类 数据标准 。。。类 数据标准 数据标准执行 数据标准管理的考评 定性考评 定量考评 数据标准 分析报告 数据标准理念推广 归档系统 …… ODS 第三十页，编辑于星期二：三点 八分。 大数据分析平台总体架构——数据质量管理 数据质量管理框架蓝图如下，其中数据质量提升是改进数据质量的手段和质量考评的目的： 数据质量要求确认，根据业务要求制定和明确数据质量要求，同时也需要符合数据标准的要求； 数据质量考评，对数据质量的量化评价 制定数据质量问题解决方案，根据数据质量考评和日常工作中发现的数据质量问题，实施相应的措施，提升数据质量 数据质量要求 业务规则 数据一致性要求 数据完整性要求 数据唯一性要求 数据准确性要求 数据及时性要求 数据质量 标准 数据质量 验证规则 数据质量 考核指标 数据质量提升 数据补录 手工修正 自动修正 数据质量考评 数据质量监控 不定期数据质量检查 数据质量 分析报告 第三十一页，编辑于星期二：三点 八分。 大数据分析平台总体架构——元数据管理 业务元数据：面向业务人员，从业务术语、业务描述、业务指标和业务规则等几个方面对数据进行描述 管理元数据：面向数据管理人员，从运维管理的角度描述数据处理、数据质量和数据安全的状态信息 技术元数据：面向技术人员，从数据结构和数据处理细节方面对数据进行技术化描述 第三十二页，编辑于星期二：三点 八分。 大数据分析平台总体架构——数据安全管理 数据安全管理可分为数据安全分级管理和数据访问授权管理两个部分： 数据安全分级：根据业务要求，制定一系列的数据安全分级标准和政策，为数据应用以及数据管理中实施数据安全保护和访问提供数据安全控制的基础。 数据访问授权：数据访问授权的主要工作是根据数据安全分级标准，定义数据访问的授权方法及流程，建立基于数据安全分级的数据使用授权机制，实现数据访问和信息披露的安全。 数据安全分级 数据敏感度 数据安全 等级定义 数据访问授权 数据重要性 数据使用需求 数据使用者权责 数据访问 授权规则 安全技术 第三十三页，编辑于星期二：三点 八分。 大数据分析平台总体架构——高阶工作流程 业务数据规划管理高阶流程 数据认责流程 数据治理考核体系 数据治理考核流程 数据治理考核指标体系 数据标准管理管理高阶流程 数据标准建立流程 数据标准维护流程 数据质量管理管理高阶流程 数据质量要求确定流程 元数据管理高阶流程 元数据变更流程 数据安全管理管理高阶流程 数据安全审批流程 数据认责流程 数据标准、质量、元数据、安全管理流程 协调会议 考核流程 第三十四页，编辑于星期二：三点 八分。 大数据分析平台总体架构——数据管控平台 数据管控平台从总体上来说分为数据层、应用层、展现层三个主要层面，以数据层的数据库及相关基础系统为主要信息来源，通过应用层的运算处理，以不同的形式，不同的功能在展现层提供用户接口 首页 标准管理 主 菜 单 指 标 速 递 待 办 事 项 信 息 地 图 标 准 浏 览 标 准 维 护 工作管理 流 程 管 理 绩 效 指 标 系统管理 用 户 管 理 权 限 管 理 规 范 管 理 数据管控平台统一用户集成界面 数据标准知识库 数据管控平台知识库 …… 元数据管理 元 数 据 采 集 …… 元数据知识库 质量管理 规 则 配 置 …… 质量稽核库 数据层 应用层 展现层 第三十五页，编辑于星期二：三点 八分。 大数据分析平台总体产品框架 非结构化/半结构化数据 管理分析平台 （X86 MPP 集群） 京东业务系统结构化数据 基础计算平台（贴源数据区+主题数据区+大数据区） （Hadoop集群+Hive） 数据交换平台 （自主开发交换组件+NAS存储） 实时分析平台 （内存数据库） 沙盘演练平台 （Hadoop集群） 数据管控平台 FTP SFTP/HTTP/API Copyfromloal Queue 京东云数据推送平台 增值产品平台 （ Hadoop集群） 历史归档查询平台 （Hadoop集群+Hive） Load（Hive） Distcp HQL+Load Distcp Distcp HQL+Load Distcp HQL+Load Sqoop Sqoop Sqoop MR 流程调度平台 第三十六页，编辑于星期二：三点 八分。