数据适配器技术白皮书.doc

数据适配器 产品功能介绍 V0.06 目录 1.1 简介 4 1.2 体系结构 6 1.3 系统组成 7 1.4 数据适配器种类 8 1.4.1 简单适配器 8 1.4.2 复杂适配器 9 1.5 系统功能 9 1.5.1 配置管理 9 1.5.2 数据收集 10 1.5.3 数据清洗 11 1.5.4 数据填充 11 1.5.5 数据格式翻译 11 1.5.6 数据压缩 12 1.5.7 数据加密和签名 12 1.5.8 监控管理 12 1.5.9 通知管理 13 1.5.10 权限管理 13 1.5.11 日志管理 13 1.5.12 节点管理 14 1.5.13 数据查询 14 1.6 系统特点 14 1.6.1 应用集成框架 14 1.6.2 集中化管理 14 1.6.3 多种数据格式 14 1.6.4 灵活的数据加工处理 15 1.6.5 支持事务功能 15 1.6.6 可靠的故障恢复 15 1.6.7 XML的支持 15 1.7 操作环境 15 1.7.1 硬件 15 1.7.2 软件 16 简介 随着大型企业及政府机关机构实现业务集中处理后，各个数据中心产生的大量数据信息，以及各种文件、图像、数据及多媒体数据等需要及时快速地从市、区、县一级的服务器或终端传输到省或全国中心，或者从全国中心往省、市、县级中心下发。由于数据的复杂性，收集的突发性，同时由于数据来源各式各样，因此对数据收集的效率、可靠性、灵活性、安全等方面提出了诸多要求，手工收集明显无法胜任企业级应用环境的需求。 数据适配器是面向分布式的数据收集管理服务。针对上述需求，提供满足企业级应用需要的灵活通用的数据收集管理功能，使用户能够方便地、随时随地地挖掘、提取、转换和管理数据。数据适配器能够为需要数据集成的应用提供数据流服务，即需要解决数据从何而来，哪个应用对其感兴趣，以及如何被每个系统使用。数据适配器通过把信息提供者和消费者隔离，来构建灵活的系统，使得这些系统不会受到数据的物理位置的影响，也不会受到需要存取数据信息的应用个数的影响。这样，对于每一个系统，在一般情况下不需要进行特别的定制处理，可以在系统之间实现信息的集成了。许多企业需要将许多不同的系统连接在一起，使得它们之间能够进行信息交互。原来的典型处理方法是需要一个直接的“点对点”的数据链接，并且需要定制编程以实现系统之间的“会话”。随着新系统的不断增加，直接的定向连接和定制编程的情况会急剧增加，这最终会成为信息流动的瓶颈。数据适配器通过一个集成框架的方案来解决这个问题，即自动定制系统集成需要的大部分编码。数据适配器通过为开发人员提供一组标准接口来实现这个方案，数据适配器可以实现系统和系统间的连接，也可以实现系统和中间件之间的连接。 数据适配器提供解决数据集成问题的标准适配器，比如数据转换，过滤和填充，同时也支持数据交换标准，比如XML等。数据适配器还具有例外处理能力。所有这些类型的适配器都可以非常容易无缝集成到异步消息系统和订阅/发布系统中。数据适配器可以为不同的专用中间件系统提供适配器，通过对接口协议需求进行抽象，使用数据适配器框架，就可以完成某个中间件产品的特定接口。使用数据适配器，可以很容易和快速的实现新的适配器。 作为一个面向企业级应用的产品，数据适配器具备以下品质特性： 可靠性：即系统必须保证数据收集的可靠性，不能在非正常断电、操作系统崩溃后导致数据丢失和不完整。在数据收集过程时，非正常断电、操作系统崩溃，数据适配器能够保证数据的完整性，支持故障恢复。 可扩展性：系统能够随着业务规模的扩大和对文件传输服务要求的变化、快速方便地部署新的处理节点和调整数据收集的方式，适应用户系统的变化。 安全性：通过集中的用户身份认证和权限管理中心，对所有节点的用户统一进行管理和授权，保证系统的访问安全。数据适配器还提供节点标识认证、数据加密、日志等多种机制，在多个层次上保证系统的安全性。 可管理性：系统提供统一的图形用户界面，配置、管理、控制等都可以通过图形界面操作完成。 系统易用性：用户对于系统的使用，不需要进行大量的开发工作，而只需要将数据适配器安装在需要收集数据的各节点上，进行少量的简单配置工作，就可以实现数据收集管理功能，非常容易使用。 易于开发和集成：系统提供应用开发接口，供用户和系统集成商进行了应用开发、便于与其他系统的灵活集成。 《信息系统名称》是一个面向《地方区域》的《服务对象例举》等服务对象的系统，大量数据信息分布在《地方区域》的《服务对象例举》。利用数据适配器灵活通用的数据收集管理功能，并透过《信息系统名称》使用户能够方便地、随时随地地挖掘、提取、转换和管理数据。 同时，为了更进一步进行数据集成，充分释放《单位名称》数据的价值，降低