数据分析应用.pptxVIP

第一届 全国高校 云计算 创新应用大赛宣讲;;;;;;;;;;电子 商务;云计算正在改变 我们生活的方方面面;;IaaS;;;;什么是虚拟化？;为什么需要虚拟化技术？;虚拟化与云计算;虚拟化在云计算中的开源实现-OpenStack;OpenStack能做什么;OpenStack包含主要项目(模块);OpenStack的计算架构;什么是云存储？;分布式存储;数据分布;一致性Hash;数据副本;数据副本;云存储与传统存储的不同;云存储的应用;云存储的挑战;云环境下大数据处理;MR编程模式及Hadoop的实现方式;MR编程模式及Hadoop的实现方式;读入数据: key/value 对的记录格式数据 Map: 从每个记录里extract something map (in_key, in_value) - list(out_key, intermediate_value) 处理input key/value pair 输出中间结果key/value pairs Shuffle: 混排交换数据 把相同key的中间结果汇集到相同节点上 Reduce: aggregate, summarize, filter, etc. reduce (out_key, list(intermediate_value)) - list(out_value) 归并某一个key的所有values，进行计算 输出合并的计算结果 (usually just one) 输出结果 ;Google MapReduce并行处理的基本过程 ;Google MapReduce并行处理的基本过程 ;Google MapReduce并行处理的基本过程 ;Google MapReduce并行处理的基本过程 ;案例：单词记数问题(Word Count) 给定一个巨大的文本（如1TB），如何计算单词出现的数目？ ;使用MapReduce求解该问题 定义Map和Reduce函数 ;使用MapReduce求解该问题 Step 1: 自动对文本进行分割 ;使用MapReduce求解该问题 Step 2:在分割之后的每一对key,value进行用户定义的Map进行处理，再生成新的key,value对 ;使用MapReduce求解该问题 Step 3:对输出的结果集归拢、排序shuffle(系统自动完成） ;使用MapReduce求解该问题 Step 4:通过Reduce操作生成最后结果 ;;航天飞机重110吨 外掛燃料筒重756吨 两个固体火箭推进器 重1,142吨 共计2,008吨 AMS重7.5吨;;;;;;;第一届 全国高校 云计算 创新应用大赛;;;;;;;;;;;欢迎大家积极参赛 Thanks