数据集成整体解决专项方案.docVIP

数据集成整体处理方案 继系统集成、应用集成、业务集成以后，最头痛数据集成（Data Integration）已渐被各大企业纷纷触及。现在中国大多数企业还仅停留在服务于单个系统多对一架构数据集成应用，这种架构常见于数据仓库系统领域，服务于企业商务智能。早期那些数据集成大家大全部是从ETL启蒙开始，当初ETL自然也就成了数据集成代名词，只是忽然一夜春风来，各厂商相继推出DI新概念后，我们不得不再次接收新一轮DI洗脑，首推有SAS DI、Business Objects DI、Informatica DI、Oracle DI（ODI）等厂商。 数据集成，关键是指基于企业分散信息系统业务数据进行再集中、再统一管理过程，是一个渐进过程，只要有新、不一样数据产生，就不停有数据集成步聚实施。企业有了五年、八年信息化发展，凌乱、反复、歧义数据接踵而至，数据集成空间和需求日渐迫切，企业需要一个主数据管理（Master Data Manager）系统来统一企业产品信息、用户信息；企业需要一个数据仓库（Data Warehouse）系统来提升领导层决议意识，加紧市场战略调整行动；企业需要一个数据中心（Data Center）系统来集中交换、分发、调度、管理企业基础数据。 数据集成必需性、迫切性不言而喻，不停被推至企业信息化战略计划首要位置。要实现企业数据集成应用，不光要考虑企业急需集成数据范围，还要从长远发展考虑数据集成架构、能力和技术等方面内容。从数据集成应用系统布署、业务范围、实施成熟性看关键可分三种架构。一个是单个系统数据集成架构、一个是企业统一数据集成架构、一个是机构之间数据集成架构。 单个系统数据集成架构，是中国现在大兴土木所采取架构，关键是以数据仓库系统为代表提供服务而兴建数据集成平台，面向企业内部如ERP、财务、OA等多各业务操作系统，集成企业全部基础明细数据，转换成统一标准，按星型结构存放，面向市场经营分析、用户行为分析等多个特有专题进行商务智能表现。这种单个系统数据集成应用架构关键特点是多对一架构、复杂转换条件、TB级数据量处理和加载，数据存放结构特殊，星型结构、多维立方体并存，数据加载层级清楚。 企业统一数据集成架构，组织结构较复杂大型企业、政府机构尤为偏爱这种数据集成架构，因这类单位含有业务结构相对独立、数据权力尤为敏感、数据接口复杂繁多等特征，更需要多个部门一起协商来建立一个统一数据中心平台，来处理部门之间频繁数据交换需求。如金融机构、电信企业，公安、税务等政府机构，业务独立、层级管理组织结构决定了内部数据交互复杂性。概括来说这类应用属于多对多架构、数据交换频繁、要有独立数据交换存放池、数据接口和数据类型繁多等特点。 对于企业管理性、决议性较强信息系统如主数据管理系统、财务会计管理系统、数据仓库系统等数据可直接起源于数据中心，摆脱了没有企业数据中心前一对多交叉困扰，避免了业务系统对应多个管理系统时需要数据反复传送，如CRM系统中新增一条用户信息数据后，直接发送到企业数据中心，由企业数据中心面向风险管理系统、数据仓库系统、主数据管理系统进行分发即可。 机构之间数据集成架构，这种架构多是应用于跨企业、跨机构、多个单位围绕某项或几项业务进行业务活动，或由一个第三方机构来进行协调这些企业、机构之间数据交换、制订统一数据标准，从而形成一个多机构之间数据集成平台。如中国银联和各商业银行之间应用案例、各市政府信息中心和市政府各机关单位之间应用案例、外贸EDI（海关、检验检疫局、外汇局、银行、保险、运输等）、BTOB电子商务平台等。这类应用属于跨多企业、单位多对多架构，含有数据网络复杂、数据安全性要求高、数据交换实时性强等特点。 尤其这类架构颇具部分特点值得深入去剖析。因数据集成平台是架于多企业、单位之间，数据安全性、独立性决定了各企业、单位不得不考虑前置机布署形式，各企业、单位在业务系统和数据集成平台之间增加一台前置机，则更有利于自有系统数据独立和安全，也更利于数据平台对数据获取、分发、交换统一要求。另外，数据集成平台也要含有更多技术功效来满足众多单位众多数据接口、多个数据类型、不一致数据标准、数据交换实时性、对数据抽取和推送（Pull AND Push）等业务需求。如数据集成平台需含有数据连通、ETL、数据实时、数据清洗、数据质量、EBS（Enterprise Service Bus）、SOA（Service-Oriented Architecture）等部分技术和特点。 以上三种数据集成架构，一个是对应于某一个应用系统多对一架构，一个是完成企业内部众多系统之间数据交换多对多架构，一个是为多个跨企业、单位机构实现某一项或几项业务活动而建立多对多架构，数据集成应用差不多全部是基于这三种架构，每种架构可能会对应于多个数据集成应用。中国