Spark版本定制班第1课-Frank.docxVIP

Spark源码定制班第1课 PAGE13 / NUMPAGES13 第一课：通过案例对SparkStreaming 透彻理解三板斧之一：解密SparkStreaming另类实验及SparkStreaming本质解析 作者：杭州-Frank 本期导读： Spark源码定制选择从SparkStreaming入手； Spark Streaming另类在线实验； 瞬间理解Spark Streaming本质。 从Spark Streaming入手开始Spark源码版本定制之路 从Spark Streaming入手Spark源码版本定制之路的理由 从今天起，我们将踏上了新的Spark学习旅途。寻龙点穴，从Spark Streaming入手，Spark Streaming就是大数据的龙脉。我们为什么要选择从SparkStreaming入手开始我们的Spark源码版本定制之路？有下面几个方面的理由： Spark大背景 Spark最开始没有我们今天看到的Spark Streaming、GraphX、Machine Learning、Spark SQL和Spark R等相关子框架内容，最开始就只有很原始的Spark Core。我们要做Spark源码定制，做自己的发行版本，以Spark Streaming为切入点，Spark Streaming本身是 Spark Core上的一个子框架，所以我们透过一个子框架的彻底研究，肯定可以精通Spark力量的源泉和所有问题的解决之道； 为什么不选Spark SQL？ 我们知道，Spark有 很多子框架，现在除了基于Spark Core编程之外，用得最多的就是SparkSQL。Spark SQL由于涉及了太多的SQL语法细节的解析或者说优化，其实这些解析或优化，对于我们集中精力去研究Spark而言，它是一件重要的事情，但其实不是最重要的一件事情。由于它有太多的SQL语法解析，这个不是一个合适的子框架来让我们研究。 为什么不选Spark R？ Spark R现在很不成熟，而且支持功能有限，这个也从我们的候选列表中删除掉。 为什么不选Spark GraphX（图计算）？ 如果大家关注了 Spark的演进或发展的话，Spark最近发布的几个版本，Spark图计算基本没有改进。如果按照这个趋势的话，Spark官方机构似乎在透露一个信号，图计算已经发展到尽头了。所以说，我们如果要研究的话，肯定不会去做一个看上去发展到尽头的东西。另外，至于图计算而言，它有很多数学级别的算法，而我们是要把Spark做到极致，这样的话，数学这件事情很重要，但对我们来说却不是最重要的。 为什么不选Spark MLlib（机器学习）？ Spark机器学习在封装了Vector（向量）和Metrics基础之上，加上Spark的RDD，构建了它的众多的库。这个也由于涉及到了太多的数学的知识，所以我们选机器学习其实也不是一个太好的选择。 Spark Streaming魔力之所在 2016上半年，据StackOverflow开展的一项调查结果显示，50%以上的人认为，Spark中最吸引人的是Spark Streaming。总之，大家考虑用Spark，主要是因为Spark Streaming。 Spark Streaming到底有什么魔力？ 它是流式计算 这是一个流处理的时代，一切数据如果不是流式的处理或者跟流式的处理不相关的话，都是无效的数据。这句话会不断地被社会的发展所证实。 流式处理才是真正的我们对大数据的初步印象 一方面，数据流进来，立即给我们一个反馈，这不是批处理或者数据挖掘能做到的。另一方面，Spark非常强大的地方在于它的流式处理可以在线的利用机器学习、图计算、Spark SQL或者Spark R的成果，这得益于Spark多元化、一体化的基础架构设计。也就是说，在Spark技术堆栈中，Spark Streaming可以调用任何的API接口，不需要做任何的设置。这是Spark无可匹敌之处，也是Spark Streaming必将一统天下的根源。这个时代的流处理单打独斗已经不行了，Spark Streaming必然会跟多个Spark子框架联合起来，称霸大数据领域。 流式处理“魅力和复杂”的双重体 如果你精通 Spark Streaming，你就知道Spark Streaming以及它背后的兄弟框架，展示了Spark和大数据的无穷魅力。不过，在Spark的所有程序中，肯定是基于 Spark Streaming的应用程序最容易出问题。为什么？因为数据不断流进来，它要动态控制数据的流入，作业的切分还有数据的处理。这些都会带来极大的复杂性。 与其他Spark子框架的巨大区别 如果你仔细观察，你会发现