- 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
- 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
APP
用户故事|小王:保持空杯心态,不做井底之蛙
2021-11-01小王
《零基础Spark》课程介绍
讲述:正霖
时长08:36大小7.88M
你好,我是小王,是一名大数据开发者,目前在一家通信运营商公司从事开发与运维工
作,从业已4年有余。
从我的经验看,如果某位工程师从事的不是大数据底层开发或顶层架构,而是业务开发,
那么这位工程师所用到的大数据框架,主要分为三大块:数据、数据、数据计
算。
而这些框架中,出镜率很高,生态发展很繁荣,而且工作中常用,面试中常问的框架架架
ApacheSpark也必然数一数二。
我之前是如何学习Spark的?
作为平平无奇的普通开发者,我平时学习新东西的套路,总结起来就是三板斧:第一步,
先请教老员工这个框架在架构图中的所处位置和作用;第二步,去网上找或
博客资料,快速刷完,在心中描绘出一个大致轮廓,做到心中有数;第三步,去细读
文档,跟着文档写代码,在代码中梳理开发流程和弄清细节。
我的“三板斧”学习法
我之前学习Spark也是用这种三板斧的思路来学习的。正如专栏的开篇词所说,我
在“经过短短3个月的强化练习,已经能够独当一面,熟练地实现各式各样的业务需
求。而这,自然要归功于Spark框架本身的开发效率”。
到这里,我自认为我已经是一名Spark初级工程师了。在我通读了Spark文档并付诸
代码后,我甚至以Spark中级工程师自居了。
我核,成为了公司的内训师,公司为了实现经验沉淀和知识共享,内训师们需
要录制结合公司业务的实战课程。
为了不误人,我自己还得好好巩固下自己的Spark知识。这里不说到前面
三板斧的第二步,也就是刷资料这步是相对坎坷的。尽上的资料林林总总,内容虽
多,但“天下文章一大抄”,不同的博客里总能看到一模一样的文章。有的文章作者
水平一般,讲得读者昏昏欲睡事小,给读者灌输了错误知识事大。
所以在这个过程中,想找到优质的资料相对较难,费力劳心。幸运的是遇到了这个专栏,
其中的内容也超出了我的预期,给我带来了很多启发。
学习专栏有什么收获?
在仔细研读了《零基础Spark》专栏后,我才发现我错得,我可能离“初级”都
还差得远呢。在阅读此专栏的过程中,“这就触及我的知识盲区了”这个表情包不停地在
我脑海中闪现。
天呐,发现自己的盲区让我心中一紧,感叹“基础不牢,地动山摇”。
因为我从来没有思考过RDD与数组的异同,而将新知识与熟悉的知识做对比,往往是get
新知识的捷径;我也从来没有将算子分门别类地分组整理过,其实做好整理,可以让你在
开发时不假思索、信手拈来;我也从来没试过对RDD的重要属性,DAG计算流图做生活
化联想,而这个技巧可以延长我们的记忆曲线,尤其适合记忆这类概念性知识点……
通过这个专栏,这些从没深入思考过的点逐渐被点亮。除了新知识的理解,Spark的几大
系统也相当重要。
比如,调度系统的流转过程及其三大组件的各自职责,这部分内容掌握了,我们才能把握
住分布式计算的精髓。再比如说内存、系统,把这些组件吃透,也正好是我们写出高
性能代码的重要前提。
要想自己独自弄明白这些重要的点,最直接的方法自然是阅读源码。但是对于资质平平无
奇的我来说,阅读源码可谓是“蜀道难”。不过面对这样的,这个专栏刚好了很
有效的学习线索,仿佛武当梯云纵,让我们更有可能登高望远。
您可能关注的文档
- 复古蜡染工艺短袖恤款式介绍及尺码指南.pdf
- 第五单元“熊猫”教学案例与设计思路.pdf
- 16轴SERCOS接口模块固件V11.7发行说明.pdf
- 初一数学抛物线与几何综合试题.pdf
- 平面镜成像实验探究与现象分析.pdf
- 数据库查询设计与条件筛选操作指南.pdf
- 鲁滨逊漂流记课件:历险与生存启示.pdf
- 应用汇Android网游SDK V6.2.0接入.pdf
- 英语简单句与并列句结构及分类.pdf
- 税务数据电子传输监管研究.pdf
- 2026年国家电网招聘之文学哲学类考试题库300道【重点】.docx
- 2026首都医科大学附属北京中医医院派遣制护理岗位长期招聘11人备考题库附答案.docx
- 青岛市卫生健康委员会直属事业单位校园招聘2026届高校毕业生(407名)(公共基础知识)测试题附答案.docx
- 2025广西南宁市部分学校赴高校招聘教师67人(公共基础知识)测试题附答案解析.docx
- 2025中国农业科学院北京畜牧兽医研究所创新团队首席科学家招聘1人备考题库带答案解析.docx
- 全员安全生产责任制度(附安全责任制考核表).docx
- 述职述廉述责课件PPT.pptx
- 述职报告安全培训课件.pptx
- 送你一颗子弹课件.pptx
- 述职课件参考.pptx
最近下载
- 手足口的预防.pptx VIP
- 输电线路安全隐患排查报告.docx VIP
- 2025年认知症照护服务流程标准化与人员培训指南.docx
- 新丝路丝绸工艺加工万米涂层布万米植绒布和万米复环评报告.pdf VIP
- DB41_T 3005-2025 人工智能医疗器械 乳腺结节超声图像数据标注规范.pdf VIP
- 施耐德微机保护MiCOM系列用户手册10 P14x CN CM Ca4 调试指南.pdf
- QB∕T 5512-2020 框架式结构帐篷.pdf
- DB_T 20.1-2025 地震台站建设规范 地下流体台站 第1部分:水位、流量和水温台站.pdf VIP
- 电子工程师一版成功必备检查项(SCH&PCB CHECK LIST)V0.9-避坑指南.xlsx VIP
- DB11_T 1322.81-2025 安全生产等级评定技术规范 第81部分:歌舞娱乐场所.pdf VIP
原创力文档


文档评论(0)