多源数据融合平台方案.pdf

多源数据融合平台建设方案 目录 一、元数据管理子系统 3 1. 元数据管理 3 2. 数据定义 3 3. 元数据存储 4 4. 元数据查询 4 5. 元数据维护 5 6. 元数据检查 5 7. 元数据分析 5 二、 数据采集子系统 6 1. 采集方式 6 2. 采集技术 6 3. 采集功能 8 三、数据清洗加工子系统 9 数据清洗结构设计 10 1. 清洗转换 10 2. 数据加工 12 3. 数据加载 12 4. 数据校验 14 5. 异常处理 15 6. 数据标准化 16 四、数据质量管理子系统 16 1. 数据质量 16 2. 数据评估 18 3. 稽核管理 19 五、统一调度子系统 20 1. 统一调度功能 21 2. 调度配置 22 3. 调度运行 22 4. 调度策略 23 5. 调度监控 23 六、数据共享交换子系统 24 1. 数据交换 24 2. 数据共享 26 七、数据存储子系统 31 一、元数据管理子系统 1. 元数据管理 元数据的范围包括数据结构、数据词典、字段维度、程序映射逻辑、数据生 命周期等。元数据管理包括元数据定义、存储、查询、维护、检查和分析应用。 2. 数据定义 元数据的定义可参考以下步骤： （1）基础分类信息制定 设置基本的分类编码信息。 如主题的分类， 层次的分类， 表级别分类配置管 理。 （2 ）元模型制定 根据管理需要，自定义元模型信息。元模型是指管理数据的基本信息模型， 配置了表元模型的信息要素，规范管理要素等。 （3 ）数据分层定义 归纳分类是认识和理解对一个复杂的对象的最有效的办法， 在对数据进行管 理我们认为从分层、 再分主题对数据进行分类是行之有效的方法， 制定好数据分 层分主题，每个表归属到层次和主题上。 （4 ）数据主题管理 根据数据交换共享数据目录为基础， 按照相关业务， 划分主题并对各主题进 行管理。 通过分类来约定表数据资源的存储周期； 预置多个表资源分类 （层次、主题、 存储周期等），分类可动态扩展，通过分类的表命名规则，可以快速把表资源归 属到各个分类下。 （5 ）模型规范制定 制定表的命名规范， 字段的命名规范。 解决各源系统不规范的命名方式， 避 免同名不同义，同义不同名的现象。 （6 ）维表管理 从各层次、 主题，提取出公共维度和维度的统一编码， 以了解系统数据的非 常关键的内容。 （7 ）指标管理 从各层次、主题提取基础的指标，并定义其业务含义，技术口径。 另外，元数据定义主要需实现两类规则定义：