SQLServer集成服务在数据采集系统中应用.docVIP

SQLServer集成服务在数据采集系统中应用 　　摘 要：SQL Server集成服务，是为微软平台上构建ETL解决方案提供更高的用户生产力、可伸缩性以及高级转换逻辑，是Microsoft BI 解决方案的重要工具。本文介绍了SQL Server集成服务的技术要点，以及如何应用在数据采集系统中。 　　关键字：SSIS；包；任务；容器；数据流 　　中图分类号：TP311.13 文献标识码：A DOI：10.3969/j.issn.1003-6970.2013.07.001 　　本文著录格式：[1]宋明，李志.SQL Server集成服务在数据采集系统中的应用[J].软件，2013，34（7）：1-4 　　0 引言 　　成品油是关系国际民生的重要生产和生活资料，是保障我国经济发展和人民生活的重要能源。但目前该行业还存在以下问题：政府缺少全局性了解和协同监控成品油市场的有效工具，几大成品油相关企业已经形成了信息孤岛和壁垒，成品油企业信息化水平两极分化日益严重，成品油企业监管呈发散型独立管理。 　　商务部虽然前期建设了对成品油市场监管的报备平台，但是在报备手段和数据的及时性、真实性和完整性等方面还十分不足，不能真实有效的反应国内成品油市场状况；现有的监控手段已经不能满足国民经济发展和人民生活的实际需要，必须充分利用现代信息科技技术，创新监管方式和手段。而采集系统正是为目前正在建设平台的提供基础数据的。成品油行业现存的诸多问题，比如：各油企信息化水平不均衡、系统多样性、数据分散、数据格式不统一等，也加大了我们解决问题的难度。 　　微软的SQL Server集成服务可以有效地解决异构数据、创建数据仓库和向数据仓库加载数据，下面我们就先来了解下SQL Server集成服务。 　　1.集成服务的技术及其体系结构 　　SQL Server集成服务，其名称是SQL Server Integration Services，简称SSIS，是微软的企业类提取、转换和加载（ETL）工具，是Microsoft BI 解决方案的重要工具。SSIS的主要目标是为微软平台上构建ETL解决方案提供更高的用户生产力、可伸缩性以及高级转换逻辑。 　　SSIS 的体系结构主要由四部分组成：Integration Services 服务、Integration Services 对象模型、Integration Services 运行时和运行时可执行文件以及封装数据流引擎和数据流组件的数据流任务??? 　　Integration Services 服务负责SSIS运行工作的处理，它是一种Windows服务，它负责跟踪程序包的执行并辅助程序包的存储。默认条件下SSIS服务是关闭的，设计和执行SSIS包是不需要启动该服务的，但SSIS程序包的运行是需要SSIS服务处于开启状态的，如果把该服务停止了，则当前所有运行的SSIS程序包都将逐个停止运行。 　　Integration Services 对象模型包括托管应用程序编程接口 （API），用于创建在包中使用的自定义组件或用于创建、加载、运行和管理包的自定义应用程序。开发人员可以使用任何符合公共语言运行时 （CLR） 的语言编写自定义应用程序或自定义任务或转换。 　　Integration Services 运行时主要负责运行SSIS程序包，运行时引擎负责保存程序包的布局并管理日志记录、调试、配置、连接和事务处理。另外，当程序包出现事件时该引擎还负责处理事件。运行时可执行文件为程序包提供了以下功能。 　　任务，是一个工作单元，它为程序包提供功能，是程序包的重要组成部分。任务是可以扩展的，而且可以使用CLR支持的语言创建自定义的任务，以便完成特定的个性化的功能需求。 　　SSIS的核心是包（Package），包就是任务、连接、子容器和工作流的一个集合/容器，可以通过一个命令行工具（DTEXEC）执行，作为一个SQL Server Agent作业进行调度，或者可以在BIDS中设计和调试。 　　各组成部分之间的关系，如图1： 　　2.集成服务的应用 　　通过对SQL Server集成服务技术的了解，我们现在使用SSIS技术来解决我们在数据采集系统中存在的问题，处理的思路是把来自不同油企、不同类型的数据源的数据采集到采集系统的数据库，并把这些已采集的数据转换为标准化格式的数据。 　　下面是处理的详细步骤： 　　1、创建一个新的SSIS项目 　　要创建一个SSIS项目，打开SQL Server Business Intelligence Development Studio（简称BIDS），并选择“文件”→“新建”→“项目”，“新建项目”对话框中，在“项目类型”下面选择“商业智能项目”，在“