帮助传统企业实现大数据应用的数据架构.pptx

帮助传统企业实现大数据应用的 数据架构目 录1 传统企业大数据应准备的事项2 传统企业数据管理及应用现状3 支撑大数据应用的数据架构Chapter01将分散在不同系统中，标准不统一、结构不一致、内容不完整的数据整合到数据仓库中。构建标准单词字典构建标准用语字典构建标准域字典构建标准编码字典构建数据标准管理体系提高竞争优势减低成本吸引新客户32 传统企业数据管理及应用现状Chapter025Chapter02-1 数据标准化是对分散在各系统中的数据提供一套统一的数据命名、数据定义、数据类型、赋值 规则等的定义基准。通过数据标准化可以防止用语的混乱使用，维持企业数据模型的一贯性，确保 数据的正确性及质量，并可以提高开发生产性和数据管理的一贯性和效率性。 数据标准化存在的问题 实现企业数据标准化 提高数据品质、减少管理费用、提高数据治理效率对业务用语、单词、域、编码 进行标准化设计数据标准化流程 建立数据标准管理组织企业数据标准化体系? 业务单位或模块单位进行系统开发，可能会出 现子系统间定义的数据不能相互使用的问题? 构建企业数据仓库等整合性数据库时加大了数 据含义的理解难度和是判断重复存储的难度? 缺乏数据标准政策，将相同含义的数据进行了 不同名称的命名及管理? 相同名称的数据在各系统中以不同的含义使用数据统一数据整合存在问题? 缺乏对企业数据标准和监控步骤的管理，从而 导致不能有效地管理数据? 各系统使用不同的数据长度或数据类型，因此 数据迁移时易出现错误? 欠缺数据命名和数据定义的标准? 为了反映新需求时需要投入大量的时间了解数 据的含义从而不能及时地向用户提供所需信息新增需求运维难度6Chapter02-3区分诊断内容主要现况及问题结构模型整合性差?未对行为主体进行整合，导致数据出现重复?未对具有类似功能的实体进行整合，模型中存在相似实体和属性。数据质量差?数据完整性比较差，数据库很多表中存储的数据不够完整。?错误数据多，直接影响用户对系统的使用。数据库性能差?除了部分表有主键索引外，大部分表没有索引，SQL语句在执行过程中，无法使用有效索引，直接扫描表，导致性能问题会比较严重。?同时在线用户量多时(估计超过100个)系统性能问题应该会比较严重。主外键合理性?有98张表没有主键，95%以上的表没有外键。?大部分表用ID作为主键，但ID不具有任何实际意义，如不为表创建唯一索引，则无法保证记录的唯一性。?表之间关系不清晰，表关联存在困难，无法控制表关联深度，导致查询结果和性能无法保障。扩展性差?基于流程设计数据模型，未能抽象出真正的实体。?新功能增加或业务扩展难度比较大。业务有所变化，都会导致数据库结构的修改和大量开发。履历数据及范式化问题?未设计履历数据管理的表，直接在原始数据上执行修改操作，导致有些业务数据无法被保存。?数据设计严重违反范式，数据完整性无法得到保障。标准化及管理7数据标准化?未对用语、域、命名规则进行标准定义。?部分属性存在同义词及同音异义词。?同样的列存在数据类型及长度不一致的现象。文档化?从ERD和开发DB相比较可以发现没有同步化ERD，ERD中标记的PK业务规则详细化?未对实体及属性进行说明。?未对实体进行明确定义，日后主键、属性、集合的特性会随着定义方式的不同出现较大差异。没有在实际开发库中定义和创建。3 支撑大数据应用的数据架构Chapter03 海量原始数据使用Big Data Platform (Hadoop) 业务关键数据使用现有数据仓库DW (RDBMS)99 Chapter03? Hybrid DW : Hadoop与数据库各有优势，可以实现优势互补，共同构成数据仓库。在该混合结构中Hadoop用 于实现对原始数据的存储、清洗、ETL等的处理，并将Hadoop处理的数据表、数据集市表等数据导入到数据库 中，利用报表工具或OLAP工具向用户展现。数据源数据搜集数据存储数据分析数据监测及可视化报表/OLAP食物中毒预测地图薄弱环节调查电子信访农产品卫生检查海产品质量检查外部信息(Social等)服务日志搜集模块Hadoop系统原始数据存储模块EDW数据仓库ETL分析/查询模块集市数据概要数据大数据平台实时查询固定报表OLAP10 Chapter03企业数据架构 数据标准 构建企业级数据标准字典 构建标准管理流程和体系 数据标准构建及管理方案 数据模型设计企业级数据主题域设计企业级概念模型构建主数据管理体系参考先进模型 EDW数据建模及迁移方案 数据管理体系构建企业级数据管理政策及流程设置质量管控组织及定义角色构建管控型元数据管理系统 数据管理体系方案11Chapter03制度和指南数据标准及模型管理体系宣讲及应用检查请求及使用审批及管理数据政策管理数据值管理企业元数据库数据分类体系请求制定标