大数据存储与处理-第三讲.pptVIP

* * Flume:cloudera提供日志收集系统 Sqoop:与关系数据库转移工具HueCloudera提供用户管理界面 Chukwa:数据收集系统 Avro数据序列化系统 Cassandra:分布式NoSQL数据库 Hama：基于块同步并行(Bulk sync parall)的科学计算、图形处理等复杂计算工具 Mashout:机器学习 * * * Map-reduce的思想是“分而治之” Mapper：负责“分”，把复杂的任务分解成若干个“简单的任务”并行执行。简单任务的含义：1、数据或计算规模较小，2、就近计算；3、可以并行计算，彼此间几乎没有依赖关系。 Reducer：对map阶段的结果进行汇总，reducer数目默认是1。 * * * * Hadoop 中的 MapReduce * MapReduce 作业执行流程 默认为先进先出作业队列调度 支持公平调度 支持容量调度 * 作业调度机制 推测执行：既如果jobtracker发现拖后腿的任务，会再启动相同的备份任务，然后那个先执行完成就会去kill掉另外一个。因此在监控网页上经常能看到正常执行完成的作业有被kill的任务。 推测执行默认打开，但是如果是代码的问题，并不能解决问题，而且会使集群更慢，通过mapred-side.xml配置文件中设置mapred.map.tasks.speculative.execution和mapred.reduce.tasks.speculative.execution可为map任务或reduce任务开启或者关闭推测执行。 重用jvm，可以省去启动新的jvm消耗时间， mapred-side.xml文件中设置mapred.job.reuse.jvm.num.tasks单个jvm最大执行的任务数（1，1或-1表示没有限制） 忽略模式：任务在读取任务数据失败2次之后，会把数据位置报告给jobtracker，然后重新启动该任务并在遇到所记录的坏数据位置时直接跳过（默认关闭，同SkipBadRecord方法打开） * 任务执行优化 硬件故障是指jobtracker故障或tasktracker故障 Jobtracker是单点，若发生故障目前hadoop还无法处理，唯有选择最牢靠的硬件作为jobtracker Jobtracker通过心跳信号（周期1分钟）了解tasktracker是否发生故障或者负载过于严重 Jobtracker将从任务节点列表中移除发生故障的tasktracker。 如果故障节点在执行map任务并且尚未完成，jobtracker会要求其他节点重新执行此map任务 如果故障节点在执行reduce任务并且尚未完成，jobtracker会要求其他节点重新执行尚未完成的reduce任务。 * 错误处理机制——硬件故障 由于代码bug或进程崩溃引起任务失败 Jvm自动退出，向tasktracker父进程发生错误信息，错误信息也会写入日志 Tasktracker监听程序会发现进程退出，或者进程很久没有更新信息送回，将任务标记为失败 标记任务失败后，任务计数器减1以便接受新的任务，并通过心跳信号通知jobtracker任务失败的信息 Jobtracker获悉任务失败后，将把该任务重新放入调度队列，重新分配出去执行 如果一个任务失败超过4次（可配置），将不会再执行，同时宣告任务作业失败。 * 错误处理机制——任务失败 * 大纲 原理 Hadoop 基本架构 HDFS 文件系统 MapReduce 分布式计算框架 实践 安装与配置 编写MapReduce程序 介绍 背景 Hadoop起源 成功的案例 Hadoop安装配置 编写MapReduce程序 * 实践 支持平台 GNU/Linux Windows（Cygwin） 必需软件 JDK1.6以上 SSH无密码访问 * 必要条件 格式化HDFS Hadoop namenode -format 运行脚本 start-all.sh start-dfs.sh start-mapred.sh jps命令查询java进程 * 启动系统 通过浏览器和http访问jobtracker所在节点的50030端口监控jobtracker 通过浏览器和http访问namenode所在节点的50070端口监控集群 * 通过Web了解hadoop的状况 * Jobtracker * NameNode 命令行方式操作 * HDFS文件操作 Hadoop没有当前目录的概念， * 列出HDFS下的文件 * 上传文件到HDFS * 将HDFS文件复制到本地 * 查看HDFS基本统计信息 在新节点安装好hadoop 把namenode的相关配置文件复制到该节点 修改masters和slaves文件，添加