其他资源专业介绍一文读懂大数据平台.docxVIP

一文读懂大数据平台 ——写给大数据开发初学者的话 导读： 第一章：初识Hadoop 第二章：更高效的WordCount 第三章：把别处的数据搞到Hadoop上 第四章：把Hadoop上的数据搞到别处去 第五章：快一点吧，我的SQL 第六章：一夫多妻制 第七章：越来越多的分析任务 第八章：我的数据要实时 第九章：我的数据要对外 第十章：牛逼高大上的机器学习 经常有初学者会问，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高……首先，如果你确定了想往这个方面发展，先考虑自己的过去从业经历、专业、兴趣是什么。计算机专业——操作系统、硬件、网络、服务器？软件专业——软件开发、编程、写代码？还是数学、统计学专业——对数据和数字特别感兴趣？ 其实这就是想告诉你大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。 先扯一下大数据的4V特征： 数据量大，TB-PB 数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等； 商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来； 处理时效性高，海量数据的处理需求不再局限在离线计算当中。 现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的： 文件存储：Hadoop HDFS、Tachyon、KFS 离线计算：Hadoop MapReduce、Spark 流式、实时计算：Storm、Spark Streaming、S4、Heron K-V、NOSQL数据库：HBase、Redis、MongoDB 资源管理：YARN、Mesos 日志收集：Flume、Scribe、Logstash、Kibana 消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ 查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid 分布式协调服务：Zookeeper 集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager 数据挖掘、机器学习：Mahout、Spark MLLib 数据同步：Sqoop 任务调度：Oozie ······ 第一章：初识Hadoop 1.1 学会百度与Google 不论遇到什么问题，先试试搜索并自己解决。 Google首选，翻不过去的，就用百度吧。 1.2 参考资料首选官方文档 特别是对于入门来说，官方文档永远是首选文档。 相信搞这块的大多是文化人，英文凑合就行，实在看不下去的，请参考第一步。 1.3 先让Hadoop跑起来 Hadoop可以算是大数据存储和计算的开山鼻祖，现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。 关于Hadoop,你至少需要搞清楚以下是什么： Hadoop 1.0、Hadoop 2.0 MapReduce、HDFS NameNode、DataNode JobTracker、TaskTracker Yarn、ResourceManager、NodeManager 自己搭建Hadoop，请使用第一步和第二步，能让它跑起来就行。 建议先使用安装包命令行安装，不要使用管理工具安装。 另外：Hadoop1.0知道它就行了，现在都用Hadoop 2.0. 1.4 尝试使用Hadoop HDFS目录操作命令； 上传、下载文件命令； 提交运行MapReduce示例程序； 打开Hadoop WEB界面，查看Job运行状态，查看Job运行日志。 知道Hadoop的系统日志在哪里。 1.5了解它们的原理 MapReduce：如何分而治之； HDFS：数据到底在哪里，什么是副本； Yarn到底是什么，它能干什么； NameNode到底在干些什么； ResourceManager到底在干些什么； 1.6 自己写一个MapReduce程序 仿照WordCount例子，自己写一个（照抄也行）WordCount程序， 打包并提交到Hadoop运行。 不会Java的话，Shell、Python都可以，有个东西叫Hadoop Streaming。 如果能认真完成了以上几步，恭喜你，你的一只脚已经进来了。 第二章：更高效的WordCount 2.1 学点SQL吧 如果不懂数据库的童鞋先学习使用SQL句。 2.2 SQL版WordCount 在1.6中，你写（或者抄）的WordCount一共有几行代码？ 如果用SQL的话： SELECT word,COUNT(1) FROM wordcount GROUP BY word; 这便是SQL的魅力，编程需要几十行，甚至上百行代码，SQL一句就搞定；使用SQL处