mapreduce分布式运算方法系统整体结构.docVIP

学大数据，上小牛学堂 课程视频地址：/free/java?pid=4 Day03 笔记 1/hdfs核心特性 2/hdfs写数据流程 3/hdfs读数据流程 4/mapreduce分布式运算系统整体结构 5/mapreduce编程示例 Wordcount 见源码 一个WordcountMapper 一个WordcountReducer 一个JobClient 6/mapreduce程序运行 1、将整个程序：包含mapper，包含reducer，包含jobclient，包含mr框架的jar包，打成一个完整的程序jar——wordcount.jar 将wordcount.jar包上传到一台任意的linux机器上 运行命令： hadoop jar wordcount.jar com.dohit.hadoop.JobClient 注：mr程序运行的内部流程如下： 1、上述这条命令其实只是启动了一个JobClient程序，这个程序启动后，会自动去联系Yarn的resoucemanager，将整个程序jar包和其他需要的配置参数提交给resourcemanager 2、JobClient程序接下来再发送一条java命令”java -cp xxx.jar:yy.jar:wordcount.jar MrAppMaster”给YARN，YARN就在某一台机器上运行这个命令，就会成功启动MrAppmaster进程 mrappmaster会根据用户的待处理数据的规模（文件数量+文件大小）计算出需要启动多少个maptask，然后就向YARN申请机器，来启动这些maptask（yarnchild进程），开始map阶段的运算工作 mrappmaster待maptask工作完成时，根据用户程序中设置的numreducetask个数来启动若干个reducetask（yarnchild），开始进行reduce阶段的运算 5、当所有的reducetask都处理完成后，mrappmaster也会自动销毁退出 7/hadoop集群扩充节点 弄一台相同硬件配置的linux服务器，并且联网到原集群网络中 安装服务器的基础软件环境：jdk/主机名/ip地址/hosts映射（最好与原集群中机器配置相同） 从原集群的任意一台机器上拷贝整个hadoop安装目录到新增服务器上（放在相同目录） 在新增节点上启动datanode，就对hdfs集群进行了动态扩容 hadoop-daemon.sh start datanode 在新增节点上启动nodemanager，就对原yarn集群进行了动态扩容 yarn-daemon.sh start nodemanager 修改原集群中的老大节点上的hadoop安装目录里面的配置文件slaves，将新增节点主机名添加到文件中，一行一个