《金税三期大集中模式下数据质量专题报告》.pptVIP

金税三期工程 数据复制一致性——主数据清分下发 主数据：代码、纳税人基本信息、纳税人基本状态 数据复制一致性——设计小结 MQ消息 国税与政府其它部门交换的数据 实时数据库复制 主数据库，复制到各个应用数据库中的只读库，1对N；总局复制到各个省局，也是1对N，但是需要进行数据清分 保存N个月数据的生产数据库群，复制到N+X个月的统一查询机，N对1 定期数据库复制 申报征收数据库中的纳税人原始完税凭证信息，定期（每月一次）复制到计会统数据库； ETL复制 总局生产数据库到，分析性数据库，每天，同步频度低，有加工过程； 总局到省局的数据分发，每天； 服务 纳税人级的交易过程中，需要交互的共享数据 数据质量问题金三规划的针对性设计 问题八：数据加工类，数据仓库ETL过程易造成数据丢失、数据清洗时标准不一致，源表修改、源数据修改删除都不易捕获 利用CDC技术，实现变化数据的增量捕获、增量加工 规范技术清洗规则，对于清洗中过滤的数据，提供提示查询功能 建分析数据模型，保存历史痕迹 增加ETL过程中的正确性检验和异常处理机制 业务 －－清洗规则 技术 －－ 变化捕获 制定业务的清洗规则、主数据原则 指定业务关键校验指标 规则引擎 数据集成 ETL工具 数据审核 金三规划针对性设计 数据质量问题金三规划的针对性设计 问题九～十：系统应用类，缺乏统一标准的业务口径，各应用、各模块计算公式和结果都不相同，直接从数据库中获取，口径修改后，无法及时修改同步 各类业务对象的统一视图 管理决策数据仓库 数 据 模 型 指 标 模 型 数据服务（数据封装） 分析决策类应用的数据集市 分析决策类数据架构 建立指标体系，统一业务、技术口径，口径标准化、规范化 指标体系，业务制定，技术量化，管控全局管理与推广 建数据标准服务，架起应用与数据仓库交互的桥梁 屏蔽因数据模型变动对上层应用的影响 基于指标体系，进行数据封装 建指标体系，进行数据服务封装 问题九～十——构建指标体系内容 指标体系的目标是明确指标分类、命名、定义、口径说明、数据映射等内容，建立有效的维护与管理机制，规范数据采集、管理，并对外提供数据唯一性接口 问题九～十——数据服务封装 建立数据抽象层，有效实现服务功能（业务逻辑）与数据支撑逻辑的分离 标准化数据服务访问接口，降低数据依赖，促进信息共享和应用重用； 提供多种交换模式深化应用间互动，提高数据访问的开放性和灵活性，有效支撑信息穿越 对数据服务进行有效管理，提供包括服务注册/查找、安全等服务 提供高实时性数据服务，满足特殊应用需求。 数据封装是建立应用与数据之间的标准化访问原语，采用XML作为数据交互的组织方式，有效封装内部数据处理逻辑，降低应用对数据结构的依赖，提升应用的可扩展性和可重用性。数据服务以SOAP或WS等方式封装，提供同步、异步、订阅消息交换模式 数据质量问题金三规划的针对性设计 问题十一：系统应用类，数据不全，缺少相关数据项，没有统一视图，取数麻烦 分析结果查询服务 统一视图查询服务 数据统一视图 法人视图 管理认定数据 发票业务数据 违法违章数据 信用评定数据 申报缴款数据 风险评估数据 自然人 视图 基本信息数据 家庭关系数据 财产数据 信用评定数据 收入数据 风险评估数据 经营信息 税务机关 纳税人分布 税收收入分布 出口退税 重点税源 一般纳税人情况 比对信息 其他数据视图 …… 国税数据 地税数据 银行数据 工商数据 海关数据 代码中心数据 公安数据 统计局数据 国库数据 银监会数据 …... 基于业务重构建对象统一视图 数据质量问题针对性设计总结 分析结果查询服务 统一视图查询服务 管理 业务 数据质量 解决方案 技术 提供电子报税、外部接口采集 采用专业化数据复制工具 报表填报专项辅导 数据人工审核校验 应用开发实现数据管控 简并报表数据项 建立数据采集标准 建立业务指标体系 确定数据质量衡量标准 开发数据质量管理产品 建立纳税人统一视图 主数据实现数据共享 指标映射/数据封装 分析结果查询服务 统一视图查询服务 数据录入 无法保证数据录入内容的口径正确性 无法验证录入数据的真实性 数据冗余 为平衡交易性能，增加了当期征管操作数据库之间的核心共享数据冗余 为减少查询对交易的影响，增加了近期征管操作数据库，分担查询 满足高效、灵活的查询分析应用，增加了统一视图和管理决策数据 交易应用口径统一 为提高交易应用性能，不在数据库上层增加基于业务指标的数据封装服务，直接暴露数据库，取数口径就无法实现统一标准，需要加强后期的架构、数据管控 未能解决的数据质量问题归类 目 录 其他解决途径 金三规划针对性设计 数据质量问题分析 数据质量问题其他解决途径 分析结果查询服务 统一