SSIS概念及应用.pptxVIP

SSIS概念及应用目的初步了解SSIS能够利用SSIS进行简单开发能够管理维护SSIS开发的ETL包纲要ETL简单介绍SSIS介绍典型应用举例错误处理和调试日志和部署优化实际项目举例ETL简单介绍ETL定义ETL常用工具介绍ETL和ELTETL定义　ETL中三个字母分别代表的是Extract、Transform、Load，即抽取、转换、加载。（1）数据抽取：从源数据源系统抽取目的数据源系统需要的数据；（2）数据转换：将从源数据源获取的数据按照业务需求，转换成目的数据源要求的形式，并对错误、不一致的数据进行清洗和加工。（3）数据加载：将转换后的数据装载到目的数据源。ETL常用工具介绍informatica power centerDataStageSSIS： Microsoft SQL Server Integration Services OWB：Oracle Warehouse BuilderODI：Oracle Data IntegratorIBM DB2 DWE：Data Warehouse EditionSSIS简单介绍SSIS的历史SSIS的定义SSIS的基本构建SSIS重要组件介绍SSIS 包的典型用途SSIS的历史SSIS并不是DTS的简单升级SSIS的定义Microsoft SQL Server 2005 Integration Services (SSIS) 是生成高性能数据集成解决方案（包括数据仓库的提取、转换和加载 (ETL) 包）的平台。（1） 是数据导入\导出向导（2） 是ETL工具（3） 控制流引擎（4） 应用程序平台（5） 高性能的数据转换数据管线SSIS的基本构建（1）程序包（package）（2）任务（task）（3）数据源（4）优先约束（5）容器（6）变量（7）数据流：源、目的地和转换（8）错误处理和日志记录（9）配置管理SSIS重要组件介绍常用连接管理器控制流中的常用任务数据流常用组件常用连接管理器OLEDB连接管理器EXCEL连接管理器平面文件连接管理器SMTP连接管理器控制流中的常用任务据流任务Foreach 循环容器For 循环容器序列容器执行包任务执行 SQL 任务脚本任务数据流常用组件数据转换派生列转换脚本组件OLE DB 命令转换聚合转换排序转换条件性拆分转换查找转换渐变维度转换SSIS 包的典型用途合并来自异类数据存储区的数据填充数据仓库和数据集市清除数据和将数据标准化将商业智能置入数据转换过程使管理功能和数据加载自动化典型应用举例举例1 :加载和导出excel文件举例2:文件检查点举例3:数据同步举例4:web service和XML处理错误处理和调试错误处理错误重定向到文件和数据库中利用检查点调试断点数据查看器 输出日志日志和配置部署日志配置部署日志类型文本文件SQL Server ProfilerSQL Server Windows 事件日志XML 文件配置部署配置XML 配置文件环境变量注册表项父包变量SQL Server 表部署类型文件系统SQL Server优化优化数据源数据流优化插入性能优化优化数据源1 优化数据源（1） 删除不需要的列；（2）使用SQL SELECT语句从视图中提取数据；（3） 优化数据源查询；2 使用平面文件及其它文件源（1） 把平面文件中相邻的不需要的列组合起来；（2） 将平面文件中不需要的列保留为“String”类型；3 清除隐藏的操作（1） 只在必要的时候进行列的解析或转换；（2） 在“平面文件源”适配器中使用“FastParse”选项；（3） 清除不必要的日志记录；数据流优化1 使用索引；2 实现并行性；3 清除不必要的操作；4 将查找引用配对；插入性能优化1 使用“SQL SERVER 目标”适配器；2 设置“提交容量”;3 打开“表锁”；4 关闭约束；5 使用“最少日志记录”；6 再加载时考虑禁用索引；问题与讨论欢迎大家提出问题讨论！结束语谢谢大家！