北风教育Hadoop学生从菜鸟到上手工作学习笔记.docxVIP

北风教育Hadoop学生从菜鸟到上手工作学习笔记1.1、Hadoop 2.x、生态系统1.2、大数据处理业务应用大数据应用的范围很广：1.2.1.大型网站 Web服务器的日志分析：一个大型网站的 Web服务器集群，每 5分钟收录的点击日志高达 800GB左右，峰值点击每秒达到 900万次。每隔 5分钟将数据装载到内存中，高速计算网站的热点 URL，并将这些信息反馈给前端缓存服务器，以提高缓存命中率。1.2.2.运营商流量经营分析：每天的流量数据在 2TB~5TB左右，拷贝到 HDFS上，通过交互式分析引擎框架，能运行几百个复杂的数据清洗和报表业务，总时间比类似硬件配置的小型机集群和 DB2快 2~3倍。1.2.3. IPTV收视统计与点播推荐：一个实时收视率统计和点播推荐系统，可以实时收集用户的遥控器操作，提供实时的收视率榜单；并且根据内容推荐和协同过滤算法，实现了点播推荐服务。1.2.4.城市交通卡口视频监控信息的实时分析：采用基于流式 Stream进行全省范围的交通卡口通过视频监控收录的信息进行实时分析、告警和统计（计算实时路况），对全省范围内未年检车辆或套牌车的分析延时在 300毫秒左右，可以做出实时告警，所以开车的朋友最好要按时年检。1.3、课程内容模块一、Hadoop 2.x快速入门模块二、分布式文件系统 HDFS模块三、分布式资源管理框架 YARN模块四、分布式计算框架 MapReduce1.4、课程特色1.4.0 hadoop 2.5.0为基础进行讲解，内容较新1.4.1全面系统深入的详细讲解 Hadoop 2.x中的 HDFS（尤其是 HA、Federation和其他特性）、YARN和 MR（从原理源码入手）1.4.2完全结合企业的实际开发为导向，讲解的都是企业中用的，要掌握的1.4.3课程的讲解，告诉大家如何学，怎么学，到哪里学，不仅仅是讲解理论，更多的事结合实际讲解，进行操作二、学习 Hadoop入门基础学习 Hadoop不像我们想像的那么难，只要具备以下基础就可以开始着手学习：2.1 ?Java基础，大数据框架 Hadoop 2.x使用 Java语言编写的2.2 ?Linux系统基本操作，Hadoop 2.x集群安装部署在 Linux系统之上2.3 ?数据库 SQL基础，至少会编写常见的 SQL语句，熟练使用 MySql跟好三、虚拟机安装必备基础知识3.1 教程使用的相关软件版本VMWare 10.0CentOS 6.4 64位3.2 安装虚拟机 VMWare10.0版本。虚拟机的安装过程：略。。。3.3 解压 CentOS 6.4版本 64位操作系统虚拟机.zip，直接使用教程附件提供的已经装好的 CenterOS6.4版本的 64位操作系统。解压成功后，可以利用 VMWare虚拟机打开.vmx文件，如下图所示：注意：当前 Linux系统安装时设置的 root用户的密码是：1234563.4 可以通过虚拟机设置来进行设置虚拟机有相关环境，如下图所示：四、Linux环境配置4.1 配置网络（Net模式、桥接模式）vmware安装好以后，会自动添加两张网卡（vmnet1和 vmnet8），整个机器的结构就可以抽象成：虚拟机系统（虚拟网卡 vmnet0)——（vmnet1 vmnet8）——实际系统(网卡)。1.Vmware的网卡设置(1)Bridged（桥接）方式用这种方式,虚拟系统的 IP可设置成与本机系统在同一网段,虚拟机相当于网络内的一台独立的机器,与本机共同插在一个集线器上,网络内其他机器可访问虚拟机,虚拟机也可访问网络内其他机器,当然与本机系统的双向访问也不成问题.这个时候 vmware就模拟成一个网桥的功能，就只使用 vmnet1网卡，vmnet8就可以不用；(2)NAT(网络地址转换）方式这种方式也可以实现本机系统与虚拟系统的双向访问.但网络内其他机器不能访问虚拟机,虚拟系统可通过本机系统用 NAT协议访问网络内其他机器.现在 vmware就模拟成了一个具有 DHCP功能的路由器，这个时候就要用 vmnet8了。(3)host-only方式这种方式只能进行虚拟机和主机之间的网络通信,既网络内其他机器不能访问虚拟系统,虚拟系统也不能访问其他机器.(4)not use方式这种方式不使用网络,虚拟系统为一个单机.更多内容参考：/yuanchunyin@126/blog/static/55384535201031325857745/4.2、Linux系统常见命令4.2.1打开 Linux终端命令进入 Linux桌面后，右键选择【Open in Terminal】：4.2.2 查看 IP地址命令：ifconfig4.2.3Linux下设置 IP地址Linux下设置 IP地址的四种方法：建议参考：/LIN