数据交换过程详解.docxVIP

数据交换过程详解 前言： 本文主要介绍数据交换过程中常用的数据交换方法和方式以及数据交换在新技术下所 面对的“挑战”，方便大家深入理解数据交换过程。普元实施数据交换项目已有多年成功经 验，本文也将分享大数据时代数据交换所遇到的问题和应对策略。 目录： 1、 为什么要进行数据交换 2、 数据交换存在的问题 3、 数据交换面临的挑战 4、 数据交换破解“数据孤岛” 5、 总结 为什么要进行数据交换 企业大量的IT投资建立了众多的信息系统，但是随着信息系统的增加，各自孤立工作 的信息系统将会造成大量的冗余数据和业务人员的重复劳动。企业急需通过建立底层数据集 成平台来联系横贯整个企业的异构系统、应用、数据源等，完成在企业内部的ERP、CRM、 SCM、数据库、数据仓库，以及其它重要的内部系统之间无缝的共享和交换数据。 数据是在流通、应用中创造价值的，这就涉及“数据共享”和“数据交换”。在实施数 据交换的过程中，不同的数据内容、数据格式和数据质量千差万别，有时甚至会遇到数据格 式不能转换或数据转换格式后丢失信息等棘手问题，严重阻碍了数据在各部门和各应用系统 中的流动与共享。因此，对企业内各系统异构底层数据进行有效的整合已成为增强企业商业 竞争力的必然选择。 数据交换存在的问题 企业对数据服务的需求日趋迫切，如何有效的管理数据、高效的提供数据服务是目前企 业对所面临的关键挑战。目前集团层面客户信息分散，各子公司之间的客户信息无共享。内 部系统获取客户数据来源系统分散，方式多样难以管理，且获取客户数据时效性较低，供数 标准不统一，缺乏统一的客户数据服务平台。 数据平台中数据内容繁多，难以全面掌控。 通过多年的信息化建设和运营，企业已经建立了完善的业务应用系统，有效的支撑 了核心业务的创新和发展，但随着应用系统的增多，数据量和数据应用环境增大，在对 这些数据进行使用的过程中逐渐存在不合理、不统一的问题。 数据平台中数据的流转和逻辑过程复杂，难以追溯数据来源。 许多企业目前没有统一的数据资产标准，各业务系统中数据质量参差不齐，存在信 息孤岛现象，不同部门同一名称数据可能有不同的含义，同一个数据可能又有不同的命 名，数据有效交互和共享存在问题。存在部分系统数据更新不及时的问题，核心业务数 据无法朔源，数据的准确性和及时性较低，现有报表在建模时几乎每个报表都要重复建 模，人为参与工作过多且层次复杂，无法高效的对流程及指标进行精确监控及分析，数 据的利用效率和模型重复使用率较低。 业务部门对数据结构和质量无法管控 目前数据管控的发展方向和需求是由业务部门提出，但业务人员对公司复杂的系统 无法进行全面深入掌握，特别是技术层面。为了使业务部门从数据结构到数据质量上更 好的管控，梳理业务系统与数据库结构关系，成为目前急需解决的问题之一。 数据交换面临的挑战 随着互联网以及大数据等诸多新技术的发展，传统的数据交换面临着许多挑战。 传统方法 1 1挑战 单表数据交换 整库数据交换 手工编写交换模型 自助化批量模型生成 实时数据同步操作复杂 实时数据通道 PB级数据交换效率低 分段并行交换 业务能力低 通过业务模板创建模型 手工编写脚本保证数据安全 数据自动脱敏 区域内数据同步 跨区域数据同步 传统方式一般是以单表数据交换作为单位进行作业开发，随着企业中数据库以及表 的增多这种方式的开发效率低下、容易出错。整库数据交换时工作量巨大 传统方式下开发交换模型只能手工一个一个进行，任务多、易出错。需要一种能够 在同一种业务下批量进行开发的模式 在进行实时数据同步时需要许多额外的操作配合才能完成，过程复杂，对人员技术 要求高， 在进行PB级数据交换时传统交换方式效率较低，需要很长时间才能完成。 传统的数据交换工具不具备业务化的开发能力，遇到相同的数据交换需求需要重头 开发。 在安全保障上传统的方式是手工编写加密、脱敏的脚本来实现 进行跨区域数据同步时需要多种技术配合，实现方案复杂。 4.数据交换破解“数据孤岛” 1数据标准 为保证各应用系统中的代码表对同一业务信息定义一致，确保数据消费系统可以根据业 务代码辨别数据的确切业务含义，应提供可配置的功能，基于一定的标准对数据供应系统代 共享标准数据 采集数据 交换码进行转换，使数据存储和数据消费系统按照统一标准来理解数据。数据交换离不开数据标准，数据未动标准先行是构建优质数据交换的前提。但现实中许 共享 标准 数据 采集 数据 交换 码进行转换，使数据存储和数据消费系统按照统一标准来理解数据。 数据交换离不开数据标准，数据未动标准先行是构建优质数据交换的前提。但现实中许 多企业没有做好数据标准，导致这些标准是在进行数据交换或数据采集的时候进行，影响了 数据的质量。一旦出现数据被篡改、被泄露等安全性问题，轻的影响业务开展，严