Cloud Computing Report2.pptVIP

Tuple MapReduce: Beyond classic MapReduce 主要内容—Classic MR Compound Records 一行记录多个字段组成 ; 传统的MapReduce 不能轻松解决 ; 现有的工具,如Thrift和Protocol Buffers，只能解决部分问题 Problems exsiting in MapReduce App Sorting(Secondary sorting) 传统的MapReduce指定了记录分组方式,但没有指定组内记录排序方式 ； MapReduce没有涉及到sorting ； 主要内容—Classic MR Joins(Reduce-side joins) 多个关联异构数据源的连接 ； MapReduce也没有涉及到join ； 基于MapReduce之上的高层操作实现join，需要大量的工作 Problems exsiting in MapReduce App 主要内容—Tuple MR Features or advantages Tuple-base MapReduce ,是Classic MapReduce的扩展； 不仅支持key/value记录 ,还支持Tuple； 运用Compound records，in-reduce ordering，inter-source datatype joins ,built-in reduce-side joining; Configure Job via object instance instead of classes； 改善并行数据处理的任务 Tuple MapReduce Map函数和reduce函数的关系及数据类型---Ⅱ 主要内容—Tuple MR Group-by 语句 声明Map过程的输出元组应该按照哪些字段(field)分组 Tuple MapReduce Sort-by 语句 声明声明Map过程的输出元组应该按照哪些字段(field)排序; Group-by fields是Sort-by fields的前缀(prefix) 主要内容—Tuple MR Schema 含有Schema Name和 a list of fields ； Tuple MapReduce Tuple --- made of Fields 如:35, foo, string2 Data types 如:Type.INT、Type.LONG、Type.FLOAT等 主要内容—Tuple MR 累积访问量---Cumulative visits 案例描述：计算每一个URL到某一日期的访问量 设输入如： 期望输出： Tuple MapReduce App Cases Map是identity function 主要内容—Tuple MR 汇总---Rollup 计算属于某一特定标签在每一位置和时间的消息总数 例如: 数据集中记录如下 Tuple=(hashtag,location,date,count) 期望输出： Tuple MapReduce App Cases 主要工作—Pangool 1)Tuple MapReduce的开源实现 on top of Hadoop 2)A java library ,只需要将其添加到项目中,不需要修改 hadoop源码 3)基于实例的配置方式 4)有效易用的二次排序 5)输入/输出 元组格式化 6)有效的reduce端连接 等 Pangool Its features 总结 对Hadoop框架下的MapReduce进一步做了研究，提出了更为底层的新的理论模型—Tuple MapReduce，而且Pangool 是它的开源实现 总结及感受 结束语 谢谢大家!