03_0644SQLServer2005IntegrationServices集成服务概览.doc

SQL Server 2005 集成服务简介 作者：Kamal Hathi 发布日期：2005 年 5 月 摘要：本文讨论各个企业面临的各种挑战，这些企业依赖于数据集成技术提供有意义而可靠的信息以在当今的商务世界保持竞争优势。文中将讨论 SQL Server?2005 集成服务 (SSIS) 可以如何帮助 IT 部门满足其公司的数据集成要求。文中还提供了实际的场景。 版权 本文为初步文档，在文中所述软件的最终商业版本发布之前，可能会有重大改变。 本文所含信息代表了 Microsoft 公司在本文发布时的观点。因为 Microsoft 必须顺应不断变化的市场条件，这些信息不应被视为 Microsoft 方面的承诺，同时 Microsoft 也不能保证本文发布之后其他任何信息的准确性。 本白皮书仅供参考。MICROSOFT 对本文档中的信息不提供任何形式的（包括明示或暗示的）保证。 用户有责任遵守所有适用的版权法。在版权法所赋予权利的前提下，未经 Microsoft Corporation 明确的书面许可，任何人不得将本文复制、存储或引入可检索系统，或是以任何形式或通过任何方式（电子、机械、影印、录制或其他方式）传播本文的任何部分。 本文主题可能涉及 Microsoft 的专利、专利申请、商标、版权或其他知识产权。除非获得 Microsoft Corporation 明确的书面许可，否则提供本文档并不代表许可您使用这些专利、商标、版权或其他知识产权。 2005 Microsoft Corporation。保留所有权利。 Microsoft、Visual Basic、Visual C# 和 Visual Studio 是 Microsoft Corporation 在美国和/或其他国家的注册商标或商标。 本文中提及的实际公司和产品的名称可能是其各自所有者的商标。 目录 简介 1 实际场景 1 数据源 1 数据使用 1 数据集成要求 1 数据集成挑战 1 技术挑战 1 组织挑战 4 经济挑战 4 SQL Server 2005 集成服务 5 SSIS 结构 5 任务流和数据流引擎 5 管线结构 5 集成场景 5 将 SSIS 用于传统 DW 加载 5 SSIS 与数据质量 8 传统 ETL 之外的 SSIS 应用 10 SSIS 集成平台 12 集成开发平台 12 可编程能力 14 脚本 14 使数据集成变为现实 15  简介 要在当今的商务世界中获得竞争优势，将公司的数据转换为有意义且可操作的信息是唯一最为重要的竞争优势源。充分利用数据爆炸，以更好地了解过去业务状况，洞悉未来的发展方向，这已经成为全球组织中的企业 IT 部门所面临的最有挑战性的任务之一。与数据集成相关的问题可分为三大类： 技术挑战 组织问题 经济挑战 在本文中，我们将深入了解这些挑战的细节，并讨论如何使用 Microsoft? SQL Server??2005 集成服务 (SSIS) 应对这些挑战。首先，让我们在实际的场景中了解这些挑战。 实际场景 一家全球主要的运输公司使用数据仓库来分析其运营绩效和预测其计划运输任务中的偏差。 数据源 该公司的主要数据源包括来自其基于 DB2 的订单项系统的订单数据、来自其基于 SQL Server 的客户关系管理 (CRM) 系统的客户数据以及来自其基于 Oracle 的 ERP 系统的供应商数据。除了来自这些主要系统的数据之外，也将来自跟踪“特别”事件的电子表格的数据（由运输管理人员手动输入）合并到了数据仓库中。目前，天气信息、交通状况和供应商详细信息（针对转包的运输任务）等外部数据以延迟的方式从各种源以文本文件格式合并到数据仓库中。 数据使用 不仅这些数据的源多种多样，而且使用者的要求和地理位置也各不相同。这个多样性导致了本地系统的增加。IT 部门的主要工作之一就是至少为其客户数据建立“事实的单一版本”。 数据集成要求 考虑到数据、业务需求以及用户要求的这个多样性，IT 部门提出了下面一组数据集成要求： 必须提供可靠一致的历史数据和当前数据，这些数据从各种外部源和内部源集成。 为了数据获取过程中的延迟，必须能通过 Web 服务和其他直接机制（如 FTP）使用来自提供商和供应商的数据。 需要清理和移除重复数据等，以保证数据质量。 增加全局管理要求需要公司维护清楚的审计跟踪。维护可靠的数据并不够，还需要对数据进行跟踪和认证。 数据集成挑战 就某种意义而言，我们所给出的实际场景非常简单。从多个源获取数据，清理并转换数据，然后将该数据加载到适当的数据存储区以进行分析和报告。不过，在典型的数据仓库和商业智能项目中，企业将 60–80% 的资源都用在了数据集成阶段。为什么这么困难呢？ 技术挑战 技术挑战首先存在于源