数据管控规范.docxVIP

数据管理架构 数据管理平台功能蓝图 数据管理就是对交易中心现有的业务支撑系统的数据进行统一的数据管理、质量管控、并且经过标准的共享模式，实现核心数据统一存储，维护和使用的问题，提升 交易中心现有数据的安全存储和高效使用等能力，并更为深入地进行数据挖掘等工作，为中心创建更多的价值。未来的数据管理平台将对中心现有系统的数据进行统一的数 据的整合、数据的管控，并运用数据进行统一的服务管控来提升服务共享的水平，为中心的服务提供全方面的数据支撑。数据管理平台的功能蓝图如下图： 数据整合域，是对现有业务系统的数据进行采集和冲洗变换，并对采集过程中的数据进行质量检测，来保证整合数据的正确性和可靠性。 数据管控域，对采集到数据按照其不同的属性进行分类存储管控，对数据的质量、数据的安全以及信息的生命周期进行统一的管理，并对数据在使用过程的各样信息进行统计剖析。 服务共享域，利用数据管理平台已有的数据资源，进行自定义的数据服务配置，定制出切合要求的服务，进行有关服务流程的编排，经过数据中心将服务进行发布。 服务管理域，主假如对提供的服务进行管理，包括服务应用的管理，服务流程的管理以及服务监控。 数据集成 数据整合就是将离散于各个业务系统中的数据进行集中化。数据整合阶段主要分为以下三个步骤履行： 数据种类辨别 根据业务使用情况剖析当前各个系统中的数据实体，其中哪些是主数据，哪些是非主数据但需要共享的数据，哪些是私有数据。数据种类会作为拟订同步规则和冲洗规则的重要依据。 数据同步规则确定 剖析采集的各样数据需要达到的同步频次，从实时、准实时到天、月不等，针对 不同的同步频次需求联合每次同步的数据量来选择同步方式，ETL（抽取-转变-加载） 和ESB（公司服务总线）分别合用于不同场景。ETL本身也有多种详细的技术手段来实现各样情况下的同步，如Hotplug、全表对照、时间戳等。在这里，将根据不同的数据类型和数据使用频度和需求频度等情况，拟订出相应的数据同步的体制，采用实时数 据整合和批量数据整合两种方式进行数据的整合。 数据冲洗规则确定 在进行数据整合过程中，由于不同系统中可能重复出现的数据，以及数据本身的缺失和错误等问题，为了防止由于不同系统中相同数据由于编码规则、格式之间的差别，在冲洗过程中需要拟订统一的数据冲洗规则，对数据进行冲洗和变换，保证数据管理平台中的数据能够保持一致性。 同时，在数据冲洗的过程中，需要对采集数据的质量以及冲洗后数据的质量进行检测。其中，在数据采集过程中，对采集的数据进行整合，保证采集的数据都能知足质量要求，能够经过正确的冲洗和变换；对于变换达成的数据，经过再次的检测，保证变换数据的一致性和正确性，进而保证数据的正确行和权威性。 数据管控 数据管控就是对于进行整合后的数据进行有关的管控，使其能够知足交易中心管理对于数据使用的各样需求。 数据生命周期规划 数据生命周期规划，就是对数据从在各个应用系统的中产生，然后经过各样采集整合手段聚合到数据管理平台，直至最终经过成立各样主题数据库房提供各样数据服务的整个过程进行规划，使数据能够知足各样业务的使用需要。 数据生命周期规划，把数据区分为以下3个域，分别保留不同阶段的数据： ADB应用数据库 数据管理平台 数据库房 提供领域内统一、一致的 1、存储数据管理平台历史数据 为操作型应用提供数 核心功能 数据视图，包含 MDM主数 2、为剖析应用提供多维数据基 据存储和接见 据管理 础 数据模型 应用自己的数据模型 共享数据模型 共享关系模型，多维剖析模型 关系型数据库、多维数据库、或 数据存储种类 关系型数据库 关系型数据库 多维数据引擎软件 本应用需要的所有细 数据内容 营运共享信息 数据管理平台的所有历史数据 节信息 统一视图、准实时 /实时的 支撑的应用 实时应用 支撑剖析型应用 数据接见 数据更新频次 秒 分钟到1天 1天-1周 数据存储周期 3-12个月 3-12个月 所有 ADB应用数据库 应用数据库主假如为交易中心主要的业务支撑系统和内部管理系统的应用提供数据存储和接见。在应用数据库只存储支撑本系统运行的数据资源，以知足本系统的使用要求。应用数据库的数据在进行平时业务办理的过程中，不断的进行更新，以便同实际的业务情况保持一致。 数据管理平台 应用数据库的数据，经过统一的冲洗和变换后，进入数据管理平台进行统一的存储管理。在数 据管理平台，将经过成立统一的数据视图，为各样数据服务提供数据。数据管理平台的数据更新根 据不同的数据需求和应用系统的实际情况进行区分，经过实时的数据采集和批量数据采集两种方式进行。 数据库房 数据库房是为了知足某一特定的决议支持和联机剖析而成立的构造化。交易中心在进行业务活 动和内部管理的过程中形成了大量的数据资源，利用数据库房，对已有的数据资源进行