数据集市数据架构方案设计（15页PPT）.pptxVIP

2021

项目工作建议汇报汇报方:XXX工作计划/商业计划

目录2业务部需求计划1科技部IT需求

2021年度工作概述科技部需求The2021annualworksummary01001信用卡集市改造升级数据架构—加工计量层定位

信用卡集市项目背景XX项目信用卡集市建设基于大数据技术的数据集市、结合数据治理措施，集中统筹管理XX项目信用卡中心业务数据，并从信用卡营销、运营和风险控制的业务角度出发，实现数据管理集中化和规范化，提升面对复杂市场环境和监管政策下的数据管理和决策支持能力，并为后续衍生出更多适应市场变化创新产品提供平台基础，实现数据业务价值挖掘和数据价值变现，为信用卡业务战略决策和高效运营提供准确高效的数据支持，提升行业科技竞争力。

信用卡集市定位信用卡数据集市，在BigData基础上，以信用卡、ETC业务驱动为主，数据驱动为辅，建立的一种多层次数据访问服务体系。支持新报表或报表需求变更的敏捷开发、落地支持分行特色业务以及报表的分层级管理信用卡数据集市的特点数据层面业务层面功能层面数据管理层面确定的数据来源采用模型化结构对业务数据进行加工整合减少同类报表间数据的冗余存储和重复的ETL工作实现信用卡、ETC业务的整合以及分类，支持业务按照数据来源进行查询存储信用卡报表计量结果数据分析与报表展现分行特色业务查询报表分层级管理应用展现权限控制建立数据质量检核机制推进信用卡数据质量的改善

大数据平台信用卡集市改造信用卡系统其他系统数据源数据安全备份恢复数据校验系统监控数据质量规则配置运营管理数据质量任务监控任务管理数据处理调度引擎数据存储基础数据主题计量数据主题应用数据主题信用卡报表系统行内业务分析报表对外报送报表数据平台DWH整体架构-加工计量主题域

整体架构—具体描述源系统数据源信用卡集市现状：信用卡数据集市的数据源为信用卡系统、数据从XX项目DWH平台中接入大数据平台，DWH通过中转服务器给大数据平台下发数据文件。大数据平台信用卡接口数据将进行数据指标校验以及数据条数校验规则进行程序的加工处理。改造方案：信用卡数据源进行数据目录切换，不在通过DWH进行数据文件下发，将通过源系统目录文件进行数据接收接入大数据平台，跳过DWH平台。与DWH中转服务器连机：落地为文本文件数据存储信用卡集市现状：对信用卡数据集市内的基础数据主题、计量数据主题、应用数据主题等各数据主题进行定制化的存储，可指定关键时间节点存储、时间段历史存储数据交换数据处理数据处理任务由统一大数据平台调度机器人完成来完成，调度工具具备成熟的调度处理、任务监控、任务分析等功能信用卡数据集市加工计量层主题：计量数据主题，进行指标共性加工存储、以供应用主题、进行定制化的存储，可指定关键时间节点存储、时间段历史存储

整体架构—系统交互上游系统大数据平台应用服务DWH标准接口文件BigData加载加载ADS联机库信用卡集市ORA联机库说明：针对大数据平台数据集市改造，数据接口将不再接DWH数据文件，直接对接原系统数据目录文件，大数据平台自身进行清洗脏数据后，接入BigData。

数据架构—层次介绍基础数据主题存储信用卡集市应用所需的全部基础数据，进行统一的数据清洗、整合、预链接和预加工计量数据主题存储信用卡应用的聚合汇总（计量加工）数据，即从基础数据层加工而来的汇总（计量）数据，基础指标的加工应用数据主题直接用于前端展示的业务数据，依据业务需求，对基础指标进行最终加工，并保存历史数据。

数据架构—详细介绍数据存储信用卡源系统数据接口其他系统数据接口数据结构基础每天数据通过日期字段区分数据处理加载源数据文件到BigData库数据文件加载需要配置作业任务数据形式数据库表存储策略保留14天（以业务给定保存策略为准）数据存储对基础数据的聚合汇总、计量加工、基础指标加工等数据结构面向信用卡应用主题建模。解耦合的设计模式数据处理SQL语句作业运行日志以文件的形式保存数据形式数据库表存储策略存储3-5年历史数据（以业务给定保存策略为准）数据存储基础指标的最终加工直接用于前端展现数据结构基于报表展现的设计数据处理SQL语句作业运行日志以文件的形式保存数据形式数据库表存储策略存储3-5年历史数据（以业务给定保存策略为准）计量数据主题应用数据主题基础数据主题

数据架构—ETL处理过程XX项目信用卡数据集市大数据统一调度平台接口文件加载校验加载通信接口基础数据主题计量加工关联代码转换汇总计量数据主题基础指标应用加工汇总关联报表指标应用数据主题校验加载通信接口关联代码转换汇总基础指标关联报表指标

数据架构—加工计量层指标项贷款品种贷款产品支付渠道运营管理部风险管理部业务拓展部贷款产