政府部门、大中型企业及事业单位数据整合信息化解决方案-数据同步与ETL产品说明.doc

政府部门、大中型企业及事业单位数据整合信息化解决方案-数据同步与ETL产品说明 ? 1.产品概述 1.1什么是数据同步和ETL？ 数据同步又称“数据交换”或“数据管道”，用于实现分布式异构数据源之间的数据交换和共享；可以把一端发生变化的数据定时地同步到另一端的数据源中，反之亦然。各个组织在信息化建设过程中建立了一个个业务系统，但由于用户组织的“条块分割”，各个系统在独立运行过程中也积累下了一个个“数据孤岛”，形成数据隔阂；通过数据同步，可以打破数据孤岛，实现“信息共享”和“业务协同”。 ETL全称是数据的抽取(Extract)、转换(TansForm)和装载(Load)，俗称“数据整合”、“数据集成”、“数据汇总”等,是建造数据仓库或数据整合库的基础工具。如果说数据同步实现了数据在两个平级业务数据库之间的数据交互，那么ETL则实现了数据从多个业务???向统一的数据仓库或中心数据库的汇集。因此ETL的本质是为了把多块位置分散、结构相异、语义相关的数据整合汇总到一个统一库中，形成一个全局的数据视图，进而实现数据的全局共享和综合分析应用。 文中所说的数据源可以是各类常见的关系数据库及其各种版本，例如oracle、sqlserver、db2、sybase、access等，也可以是各类结构化或半结构化的文件数据,例如文本文件(csv文件)、excel电子表格、xml数据，也可以是来自于消息系统的实时数据等。 这些数据源是分散的，分布在不同的网络、网段甚至散布在个人电脑的磁盘里；这些数据源也是异构的，存储在不同的软硬件平台上，有着不同的访问接口、协议、数据结构和存取特性。本软件可以为您屏蔽掉这些不统一性。 1.2您需要的数据同步和ETL软件 某公司数据同步与ETL软件(以下简称某公司SETL)是一套针对政府部门、大中型企业及事业单位而开发的平台软件；在充分吸取国际顶尖相关软件精华的基础上，我们根据国内用户的实际需求和应用场景，创新性地融合了数据同步与ETL两类软件技术，两者相辅相成，实现了完整的数据管理和共享平台，全面覆盖了用户在“打通数据、整合数据”方面所遇到的种种需求，为最大限度地应用、挖掘数据价值奠定了基础。 某公司数据同步与ETL软件经历了数十家政府、企事业单位客户的实际验证，证明该软件产品、解决方案及其服务体系在数据同步、整合专业应用领域具有良好的用户亲和力与实际效用。 1.3相关软件 经过整合后的数据还有待于进一步的分析和挖掘，才能发现数据中蕴藏的价值；要对数据进行随需掌控，利用数据进行辅助管理和决策，请参考“《某公司商业智能产品说明》”。 2.我们的优势 2.1技术优势 2?????? 基于成熟主流的J2EE技术，具有天然的可移植性，可以稳定运行在多种操作系统和J2EE应用服务器上。操作系统包括各种商业操作系统，例如各种UNIX和Windows类型的操作系统以及免费的Linux操作系统；J2EE应用服务器包括WebLogic、WebSphere等以及免费的resin、Tomcat等； 2?????? 纯中文化操作界面；与国外同类产品相比具备更友好的人机界面； 2?????? 遵循先进的分布式多层模式，构建强大、稳定、可扩展的平台架构，符合e时代政府部门和企业的信息化发展趋势。整个平台包括一个数据交换中心服务器和若干可动态增添的数据适配器、数据处理节点等，在需要支持新的数据源或扩展系统性能时，通过增加部署适配器、处理节点的类型或数量即可； 2?????? 完全瘦客户端三层体系结构。产品的安装、维护及升级均在服务器端进行，客户端软件仅用于管理和监控，绿色免安装。支持Intranet/Internet环境，适配器支持拨号上网； 2?????? 可以支持多种数据通讯和传输方式，以满足性能、安全、可靠性等不同方面的需求；能够与标准的java消息服务器进行天然集成，可以将其作为底层的通讯传输方式之一。 2?????? 内嵌先进的授权管理系统，其强大细腻的授权管理功能可以确保对数据流的设计、部署、执行进行精确化、分级式管理；每个适配器也可以拥有本地的单独化管理。 2.2产品优势 2?????? 丰富、实用的数据源支持 软件支持多种不同的数据源间的数据同步和整合，支持通过标准的jdbc/odbc协议连接各类数据源。除了各类常见的传统关系数据库、桌面数据库等数据源外，软件还率先支持下面几类在国内非常实用的数据源： ?????? Excel文件目录，适合于因网络不通或其他原因不能直接连接对方数据库或者对方根本就没有信息系统，只能通过生成excel文件的方式进行报送；同类软件通常只能对单个excel文件进行抽取，由于不断有新文件报送过来，因此是不现实的；本软件可以定期对一个目录下所有excel文件进行批量抽取，并且也可以实现类似于增量