2021SSIS操作和优化指南.docxVIP

PAGE PAGE # / 42 宾 宾 Microsoft? SQL Serve厂2012 操作和优化指南 技术文章 作者：、、、、 技术审校：、、、 发布时间：年 月 适用范围：； 摘要：（）是一种高效的数据移动工具，可作为整个提取、转换和加载 （）解决方案的一部分以及 作为数据移动解决方案的一部分，在 （）中移入和移出数据。可以有效地用于在云中的源和目标 之间移动数据，以及用于混合方案中在云和内部之间移动数据。本白皮书概要介绍了针对云中的 源和目标的 最佳做法，论述了针对 项目的项目规划（无论该项目是全都处于云中还是涉及混合 数据移动），并且通过一个示例演练了如何通过向外扩展数据移动来最大限度地提高混合移动的 性能。 版权信息 本文档按“原样”提供。本文档中的信息和表达的观点（包括 和其他 网站引用）如有更改，恕 不另行通知。您应承担使用本文档所带来的风险。 本文档中提及的某些示例只是为了便于说明，纯属虚构。不应据此联想或妄加推断。 本文档不向您提供对任何 产品中的任何知识产权的任何法律权利。您可以出于内部参考目的复制 和使用本文档。 ? 。保留所有权利。 目录 简介 （） 是一种高效的数据移动工具，可作为整个提取、转换和加载 （） 解决方案的一部分或作为不要 求转换的数据移动解决方案的一部分，在 （） 中移入和移出数据。 对于多种源和目标都很有效， 无论这些源和目标是全都处于云中、全都处于内部还是在混合解决方案中混用。本白皮书概要介 绍了针对云中的源和目标的 最佳做法，论述了针对 项目的项目规划（无论该项目是全都处于云 中还是涉及混合数据移动），并且通过一个示例演练了如何通过向外扩展数据移动来最大限度地 提高混合移动的性能。 项目设计 在云和内部数据存储区之间移动数据的项目可能会涉及不同解决方案中的不同过程。而其中的许 多环节常常是从最初对目标的填充开始（这可能要获取来自其他系统或平台的数据），在整个过 程中进行维护（例如在数目变化的分区或分片中对数据集进行重新平衡），并且可能要继续定期 执行大容量数据操作或刷新。与传统的、完全内部的数据移动环境相比，涉及云的数据移动解决 方案在项目设计和基本假设上往往存在很大差异。许多所学知识、经验以及做法仍将适用，但需 要进行改变以便适应差异，例如随着您移到商用资源的共享池，您的环境不再是独立的并且不再 完全由您控制。这些差异要求更加平衡、更具可伸缩性的方法以便获得成功。 问题范围和说明 对于从开始就是为云构建的本机解决方案以及对于迁移的解决方案来说，需要来回移动数据。这 可能在应用程序生命周期的多个阶段中发生。这些阶段包括生产前测试、初始数据加载、云生成 的数据和原始内部数据库之间后续的数据同步以及从云向下到其他内部系统（例如数据仓库）进 行的重复的数据快照。 图数据移动方案 本节主要针对初始数据加载阶段：考虑从源数据库提取数据、从内部移到云以及将数据加载到最 终目标的端到端体验。要特别强调的是，本白皮书中描述的大多数（如果不是全部）最佳做法和 优化同样适用于大多数描述的方案，只需进行很小的改动。我们将在接下来的几节中讨论这些方 案及其主要问题。 为什么数据移动在中如此重要 在传统的数据中心中，应用程序和系统之间的数据移动挑战通常与应用程序兼容性、过程业务流 程和同步以及物理硬件资源和网络功能之类的问题相关；而在 之类的云环境中，还存在若干其他 层面的复杂性。此类复杂性可能存在于内部和云之间（或者不同云服务之间）的连接等方面，并 且可能与连接可靠性、带宽和延迟相关。考虑这一复杂性对于开发最佳的数据移动解决方案而言 至关重要。如果您的解决方案中涉及大量移动部件时，将您的工作侧重于在所涉及的所有组件和 技术之间寻找平衡的设计可能更为重要。您应该尽力避免在整个链条中最薄弱的环节上出现“数 据洪流”，因为这将会对所有其他方面产生负面影响。 基于我们的测试，其中一个关键环节就是数据目标以适当的速率吸收从外部推送到其中的数据量 的能力。最常见的方法是使用自定义的 （）将目标数据库向外扩展到多个后端节点。如果要加载的 数据量非常大（截至撰写本文之时，超过 小时就被视为非常大），则此技术将是必需的，并且可 将此技术应用于 实例以及在虚拟机（）中运行的。由于此技术不会在数据加载解决方案中自动 引入线性扩展，因此还需要进一步平衡解决方案中的其他移动部件。在下面的几节中，我们将讨 论最关键的几个方面以及可用来实现最优结果的设计选项。 关键的数据移动方案 下面是我们可视作整体端到端数据移动体验一部分的三个主要方案。这三个方案包含了我们迄今 为止已发现的大多数重复性主题和挑战。 *初始数据加载和从内部迁移到云 ?将云生成的数据移到内部系统 *在云服务之间移动数据 初始数据加载和从内部迁移到云