美女学员分享hadoop学习面试工作心得感受_6月28.pptVIP

自我介绍 名字：小萝卜 职业：做javaweb将近三年，转hadoop两个多月 昨天交流时，说的那个公开网是：网易云课堂 大纲 我学习hadoop的方法 我的面试经验 现在工作的感受 总结了一下，大家在YY中问的问题，并回答 学习hadoop的方法 这些都我学习的方法，可能不太适合大家，但还是很希望能对大家有帮助 1、视频要认真的看，里面的一些例题，都要动手做一做；这一项是一定不能偷懒的。 2、要扩展： 1做一下先搭一个hadoop1的集群并且在上面跑些任务，生成数据，然后试着升级到hadoop2集群，并且保证里面的数据不被损坏，丢失 2搭建hadoop2集群时，在视频上，老师讲的是最全的ha+hf，但我们实际往往不是这两个全用的；可以先搭个ha，然后，试着升级到hf3结合平时的业务，考虑hbase和javaweb联合，实现分页4项目可以考虑自己所在公司的业务，假想现在的数据量很大，让你去用hadoop实现，该怎么实现，自己要能说服自己面试经验 笔试： 1、 java基础类： 2、 linux基础： 3、 数据库类：oracle查询语句 面试： 1、讲项目经验：问的很细，给纸，笔，让画公司hadoop的项目架构,最后还让自己说几条业务数据，然后经过平台后，出来成什么样子； 2、java方面：io输入输出流里有哪些常用的类，还有webService,线程相关的知识； 3、linux：问到jps命令，kill命令，问awk,sed是干什么用的、还有hadoop的一些常用命令； 4、hadoop：讲hadoop1中map,shuffle,reduce的过程，其中问到了map端和reduce端溢写的细节（幸好我之前有研究过）； 也问了一些，外部表，还有就是hive的物理模型跟传统数据库的不同。 现在工作的感受 1、公司主要业务： 现在工作于一家互联网公司，主要做广告投放（dsp）,数据平台（dmp） 2、技术： 由于现在公司即将上线的项目是广告投放系统，需要实时处理一些数据，目前 主要用到flume,kafka,storm这一系列流处理工具，mongodb,redis这一系列数 据库； 由于当时，吴超老师还没出这些流处理的框架的视频，所以这些都是到公司后 自学的，有人问题到公司具体的业务是做什么，我可以给大家上张图： 现在工作的感受 现在工作的感受 3、感受： 逼自己一把吧，哈哈，不能让自己太安逸了 另外今天看了下邮箱又收到公司的大师发来邮件，给了两篇论文，说务必熟悉 还特别提醒，以后的工作形式就是：基于论文和算法，设计工程方案，以解决 业务问题。 这两篇论文我可以给大家共享一下，有兴趣可以共同研究： 《Online Allocation of Display Ads with Smooth Delivery.pdf》 是 Google 的一篇介绍投放平滑的方案，可用于做超投和少投的控制。（该方 案在 IZP 实践使用中） 《click-through rate estimation for rare events in online advertising.pdf》 是 Yahoo 的一篇介绍 CTR 平滑的方案。在投放前期数据稀疏的阶段，需要采 用这个做 CTR 平滑预测。对于后期投放量较大的时候，也可解决新建广告的 冷启动问题。（该方案在微博粉丝通实践使用中） 回答大家问题： 1、工资多少，工作几年了,有java基础吗,大学学什么13k,做javaweb将近三年，今年4月23开始学习hadoop,现在已经工作一个多 月了，有java基础，大学是计算机系 2、flume,kafka,storm是怎么学的，有没有做优化看官方文档，先搭环境， 然后用java写代码调用它们的接口，熟悉api 不过，如果有视频资源的话，还是建议尽量看一下 3、现在用hadoop1还是2 hadoop2 4、面试时说做hadoop多久了我说的将近两年，面试时一定要说有hadoop经验 回答大家问题： 5、storm,python之前都会吗，还是进公司后自学的 这些都是到公司后，自学的，当时超人学院还未出相关视频，所以也只能自学了 6、才两年多，学了这么多技术 也没学多少，我对自己的学习投入也是很大的，前年的时候，我曾报过周末班，专门 学习linux和oracle,因为当时我一直想当dba，觉得dba是靠经验吃饭的，后来发现，现在 的北京，真的正的dba很少，更多的是数据库开发，所以我就把dba放弃了，现在转入 hadoop，虽然放弃了走dba的路，觉得当时花钱学习dba，也并不后悔，因为那时学的 东西，对现在也会有一定帮助 7、你用的hadoop是收费 的还是免费的 目前 是用的是免费的 8