第二届全国高校云计算应用创新大赛宣讲要点分析.pptxVIP

第二届 全国高校 云计算 应用创新大赛宣讲;;;;;;;;;;电子 商务;云计算正在改变 我们生活的方方面面;;;IaaS;云的发展- IaaS, PaaS, SaaS ;IaaS: Cut IT expense and complexity through a cloud enabled data center;云到底在哪里?;;;;IaaS相关技术;什么是虚拟化？;为什么需要虚拟化技术？;虚拟化与云计算;虚拟化在云计算中的开源实现——OpenStack;OpenStack能做什么;PaaS相关技术;云环境下大数据处理——Hadoop;MR编程模式及Hadoop的实现方式;MR编程模式及Hadoop的实现方式;读入数据: key/value 对的记录格式数据 Map: 从每个记录里extract something map (in_key, in_value) - list(out_key, intermediate_value) 处理input key/value pair 输出中间结果key/value pairs Shuffle: 混排交换数据 把相同key的中间结果汇集到相同节点上 Reduce: aggregate, summarize, filter, etc. reduce (out_key, list(intermediate_value)) - list(out_value) 归并某一个key的所有values，进行计算 输出合并的计算结果 (usually just one) 输出结果 ;Google MapReduce并行处理的基本过程 ;Google MapReduce并行处理的基本过程 ;Google MapReduce并行处理的基本过程 ;Google MapReduce并行处理的基本过程 ;案例：单词记数问题(Word Count) 给定一个巨大的文本（如1TB），如何计算单词出现的数目？ ;使用MapReduce求解该问题 定义Map和Reduce函数 ;使用MapReduce求解该问题 Step 1: 自动对文本进行分割 ;使用MapReduce求解该问题 Step 2:在分割之后的每一对key,value进行用户定义的Map进行处理，再生成新的key,value对 ;使用MapReduce求解该问题 Step 3:对输出的结果集归拢、排序shuffle(系统自动完成） ;使用MapReduce求解该问题 Step 4:通过Reduce操作生成最后结果 ;图计算编程模式及实现方式;分布式图计算;基于Spark的图存储;基于Spark的分布式处理;class Graph [ V, E ] { def Graph(vertices: Table[ (Id, V) ], edges: Table[ (Id, Id, E) ]) // Table Views ----------------- def vertices: Table[ (Id, V) ] def edges: Table[ (Id, Id, E) ] def triplets: Table [ ((Id, V), (Id, V), E) ] // Transformations ------------------------------ def reverse: Graph[V, E] def subgraph(pV: (Id, V) = Boolean, pE: Edge[V,E] = Boolean): Graph[V,E] def mapV(m: (Id, V) = T ): Graph[T,E] def mapE(m: Edge[V,E] = T ): Graph[V,T] // Joins ---------------------------------------- def joinV(tbl: Table [(Id, T)]): Graph[(V, T), E ] def joinE(tbl: Table [(Id, Id, T)]): Graph[V, (E, T)] // Computation ---------------------------------- def mrTriplets(mapF: (Edge[V,E]) = List[(Id, T)], reduceF: (T, T) = T): Graph[T, E] } ;Spark的例子（寻找最大的年龄）;子图匹配应用;子图匹配问题;参考思路（步骤1-将查询图分解成若干子图