从零起步掌握Spark：一位开发者学习进阶之路.pdfVIP

APP

用户故事|小王：保持空杯心态，不做井底之蛙

2021-11-01小王

《零基础Spark》课程介绍

讲述：正霖

时长08:36大小7.88M

你好，我是小王，是一名大数据开发者，目前在一家通信运营商公司从事开发与运维工

作，从业已4年有余。

从我的经验看，如果某位工程师从事的不是大数据底层开发或顶层架构，而是业务开发，

那么这位工程师所用到的大数据框架，主要分为三大块：数据、数据、数据计

算。

而这些框架中，出镜率很高，生态发展很繁荣，而且工作中常用，面试中常问的框架架架

ApacheSpark也必然数一数二。

我之前是如何学习Spark的？

作为平平无奇的普通开发者，我平时学习新东西的套路，总结起来就是三板斧：第一步，

先请教老员工这个框架在架构图中的所处位置和作用；第二步，去网上找或

博客资料，快速刷完，在心中描绘出一个大致轮廓，做到心中有数；第三步，去细读

文档，跟着文档写代码，在代码中梳理开发流程和弄清细节。

我的“三板斧”学习法

我之前学习Spark也是用这种三板斧的思路来学习的。正如专栏的开篇词所说，我

在“经过短短3个月的强化练习，已经能够独当一面，熟练地实现各式各样的业务需

求。而这，自然要归功于Spark框架本身的开发效率”。

到这里，我自认为我已经是一名Spark初级工程师了。在我通读了Spark文档并付诸

代码后，我甚至以Spark中级工程师自居了。

我核，成为了公司的内训师，公司为了实现经验沉淀和知识共享，内训师们需

要录制结合公司业务的实战课程。

为了不误人，我自己还得好好巩固下自己的Spark知识。这里不说到前面

三板斧的第二步，也就是刷资料这步是相对坎坷的。尽上的资料林林总总，内容虽

多，但“天下文章一大抄”，不同的博客里总能看到一模一样的文章。有的文章作者

水平一般，讲得读者昏昏欲睡事小，给读者灌输了错误知识事大。

所以在这个过程中，想找到优质的资料相对较难，费力劳心。幸运的是遇到了这个专栏，

其中的内容也超出了我的预期，给我带来了很多启发。

学习专栏有什么收获？

在仔细研读了《零基础Spark》专栏后，我才发现我错得，我可能离“初级”都

还差得远呢。在阅读此专栏的过程中，“这就触及我的知识盲区了”这个表情包不停地在

我脑海中闪现。

天呐，发现自己的盲区让我心中一紧，感叹“基础不牢，地动山摇”。

因为我从来没有思考过RDD与数组的异同，而将新知识与熟悉的知识做对比，往往是get

新知识的捷径；我也从来没有将算子分门别类地分组整理过，其实做好整理，可以让你在

开发时不假思索、信手拈来；我也从来没试过对RDD的重要属性，DAG计算流图做生活

化联想，而这个技巧可以延长我们的记忆曲线，尤其适合记忆这类概念性知识点……

通过这个专栏，这些从没深入思考过的点逐渐被点亮。除了新知识的理解，Spark的几大

系统也相当重要。

比如，调度系统的流转过程及其三大组件的各自职责，这部分内容掌握了，我们才能把握

住分布式计算的精髓。再比如说内存、系统，把这些组件吃透，也正好是我们写出高

性能代码的重要前提。

要想自己独自弄明白这些重要的点，最直接的方法自然是阅读源码。但是对于资质平平无

奇的我来说，阅读源码可谓是“蜀道难”。不过面对这样的，这个专栏刚好了很

有效的学习线索，仿佛武当梯云纵，让我们更有可能登高望远。