基于SSIS企业数据集成系统技术实现.docVIP

基于SSIS企业数据集成系统技术实现 　　摘 要 论述了SSIS（SQL Server Integration Services）在企业信息系统集成中发挥的作用，通过公司数据共享平台的建设，介绍了与SAP ERP系统、AD、文件系统异构数据集成的技术实现，以及在数据质量管理和数据应用的方式和技术实现。 　　关键词 SSIS；数据集成；数据质量 　　中图分类号 G2 文献标识码 A 文章编号 1674-6708（2018）209-0136-03 　　某工程建造行业公司采用了SAP公司的ERP解决方案、建立了基于微软SharePoint的门户系?y，以及应用了AVEVA PDMS等为代表的专业软件系统。由于各信息系统之间数据的独立性，在不断发展过程中，信息孤岛的现象逐渐体现，成为阻碍公司发展的一大障碍。为有效应用现有信息系统数据，实现共享与信息深入挖掘，公司建立了数据共享平台，用于解决数据在各系统间交互、多维分析统计等存在的困难，为未来系统间的进一步集成与数据挖掘奠定基础。 　　1 SSIS在信息系统集成中发挥的作用 　　基于公司现有的信息系统情况，针对各系统（或系统外）的数据应用情况划分了数据源、数据汇集和应用3个层面，如图1。数据源层包括了基础的环境数据，如AD（Active Directory）数据信息，业务应用系统数据，如SAP ERP系统数据，以及基于系统外文件、手工录入等数据信息；数据汇集层按数据获取、存储和发布的流程对数据信息进行处理，在此过程中实现数据的标准化、关联性处理、质量控制、汇集归类等操作；应用层则对数据共享平台提供的数据进行展示或再利用。 　　数据作为信息应用的基础，常存在“垃圾进，垃圾出”的现象，而通过架构中SSIS的应用，对数据的入口进行了统一管理，一方面将“垃圾”拒之门外，另一方面，将可回收利用的“垃圾”进行再加工产生新的价值，有效地利用现有的系统数据资源，在一定程度上解决“垃圾进，垃圾出”的问题，最大限度地挖掘数据的潜在价值。 　　SSIS作为数据获取环节的技术应用，实现了数据共享平台的入口数据管理，同时也是相关的信息系统应用的数据入口。其应用ETL技术来实现源端数据的抽取、转换和加载。通过对源数据的筛选、转换、清洗等处理，提升数据的完整性和准确性，保障高质量的数据进入下一环节，提升系统应用效果，其重要性影响到公司整个信息化的建设。 　　2 SSIS在数据集成中的技术实现 　　SSIS具有易用与灵活的特点，其提供的组件不仅可支持SQL Server系统，同时也支持如Excel、Oracle、SAP等方式的异构数据获取，通过自定义开发可扩展SSIS的组件，达到个性化数据访问连接的需求。 　　公司在应用上使用了SQL Server 2014 Integration Services产品，实现了与SAP ERP系统、AD、文件系统、手工等数据的集成应用。 　　2.1 SAP ERP数据集成应用 　　SSIS与SAP ERP系统的数据集成可使用SSIS脚本组件连接SAP自定义RFC接口直接获取，或者使用SSIS的SAP BI组件连接SAP BI间接获取SAP ERP数据信息，或者使用SSIS对应SAP PI端组件通过SAP PI连接SAP ERP系统进行获取等多种方式。前两者受限于连接的方式存在大数据量数据效率低（RFC接口）、无法实现同步处理（SAP BI）等限制；SAP PI则是专门用于SAP与其它系统间数据集成的应用产品，其设计难度相对复杂，但其应用更为灵活、性能更易监控与管理。集成的方式可结合实际及应用的产品授权等情况进行综合判断选择。 　　在实现SAP ERP系统人员基本信息的同步应用中，使用了SAP PI系统提供的Web Services方式进行数据的获取，可实现按需获取人员基本信息的应用需求。在SAP ERP端，通过开发程序读取系统PA0001表人员编号（PERNR）、人事范围（WERKS）、人事子范围（BTRTL）等信息，通过SAP PI系统配置并发布Web Services服务；在SSIS端，通过Web服务任务连接SAP PI发布的Web Services服务，并将处理结果转交XML任务进行无效数据的排除处理，最后交由数据流任务进行ETL的处理后存入数据库，如图2。 　　2.2 AD数据集成应用 　　AD中存储了有关网络对象的信息，如比较常用的域账号信息。本身AD使用了结构化的数据存储方式，可通过 ADSI（Active Directory Service Interface）进行数据的访问。在数据共享平台上，使用SSIS来实现数据信息的获取，使得访问更易于管理，同时也兼具了性能和灵活性的考虑。 　　在实现AD账号信息同步的应用中，首先以OLE DB（