有了PowerQuery还需要SSIS吗.pdfVIP

在真正的企业级BI项目中，使用PowerBIDeskTop那一套数据ETL是不可行的，需要使用专业的ETL工具完成数据仓库的 建，再进行数据建模的工作。 鉴于笔者所能触达的读者群体，多数为业务背景的数据分析工作者，本篇给大家带来简单的入门实操演示，让大家减少 对专业IT型工具的恐惧心理。 所有工具都是为人所用，都是想着尽可能简单易上手的，学习过PowerQuery的群体，笔者很有信心只需跨出信心的一 步，SSIS掌握到够用的级别还是很容易实现的。 PowerQuery的的局局限限性性 作为一款自助式BI的轻量ETL工具，PowerQuery的确可以让我们享受许多数据处理的便利，无需专业的能力， 大部分仅需通过界面的操作即可完成，无可否认PowerQuery的使用体验是非常棒的。 甚至很多在SSIS这样专业级ETL工具上实现起来繁琐的任务，在PowerQuery上可以非常流畅地完成如逆透视， 简单网页抓取，空值填充，行列转置等。 但PowerQuery的局限性也是非常明显的。 首先，它的性能是非常容易出现瓶颈的，虽然数据处理逻辑很清晰，但就是要忍受漫长的等待时间，很多时 候，数据量级别稍大一些，单单这点就要否决使用PowerQuery方案。 其实，对某些数据ETL它是有缺陷的，例如不能扩展性地使用正则表达式处理字符串数据； 最后，它很大的弊端是目标数据只能进入到PowerPivot层面，不能回到关系型数据库这样更友好的数据存储 区，数据处理好，只能在数据模型上消费，不能有其他用途产生。 同样地这样的结果，将失去了一大片江山，不能使用SQL语句来对数据进行更进一步的清洗、整合。SQL语句 是基于行集处理方式，并且有窗口分析函数的性能保障，在数据ETL过程中发挥着非常大的作用，一般能够在 SQL上处理的优先在SQL上来满足，保证性能的优势。 当然还有许多领域PowerQuery是缺陷的，例如增量更新机制，更为复杂的缓慢变化维的处理，重新生成数据仓 库的代理键替代原有的业务主键等功能。 SSDT安安装装简简介介 在前面的Tabular Editor系列中，笔者提到是丢弃SSDT转向Tabular Editor，此处又回来说重新使用SSDT ？ 是的，SSDT是整个企业BI的开发工具，包含了对SSIS、SSAS、SSRS三大模块的开发，Tabular Editor仅能替 代SSAS部分。 SSIS学学习习资资源源 SSIS的学习，类似于Excel、PowerQuery的学习一样，因其操作类的步骤较多，更为直观的是视频化的讲解， 可以到YouTube上可以找到有老外的免费的系列教程 （看了人家老外的课程再对比国内的，就知道什么叫知识 付费式收割了）。 ttps:///watc ?v=Td97JdNUujglist=PLWf6TEj iiuIDU RI BSuJgHOggAR_SZsQ 同时微软官方的文档也提供了非常详尽的资料，不过初学看起来比较吃力，当作文档查考一下还可以。 ttps:///z -cn/sql/integration-services/sql-server-integration-services?view=sql-server-2017 其入门教程，笔者看了下，还是偏IT化语言，不是太容易看下来，截图少，更难理解。 ttps:///z -cn/sql/integration-services/integration-services-tutorials?view=sql-server-2017 同样地，真正要系统学习SSIS，建议还是需要备一本红皮书，通读一遍，在实战中有问题时再回头翻阅，比在 网络上找答案要系统完整 （本书中文版网络上已无法找到纸质书，笔者有电子版收藏，可后台回复 【SSIS】获 取）。 开开始始第第一一个个SSIS项项目目 安装好之后的程序入口，可能要选择安装SSDT2015比较合适，SSDT2017笔者安装过好多轮都是出错。 进来后，生成一个叫包的东西Package.dtsx，后续所有的操作，都围绕着往这个包里填充控件逻辑。 在左上方可看到，当前是控制流的位置，而SSIS工具箱里的控件都是在控制流里使用的，因其是近乎万能级别 的ETL工具，所以非常多的任务可用，我们一般只用到上方的 【执行SQL任务】和 【数据流任务】两种为主。其 他只会在特定的任务场景上才会使用。 控制流和数据流的区别，用笔者语言来说是控制流是类似我们写程序的一个函数、过程任务片段，完成一件数 据单元的任务，而数据流，是指控制流中涉及到数据的转换处理的加工过程，就像一个管道一样，从控制流的 起点