大数据之处理模式-陈康.pptxVIP

大数据处理的模式;INFO 陈康;大数据处理的关注对象;大数据处理的应用;大数据处理的架构思路;大数据处理的总体架构;内容;分布式系统处理的关注点;云计算架构与大数据分析层次;数据存储的格式;K-V数据的存储;分布式环境下的K-V存储;分布式环境下的文件系统;下一步是什么？;如何构造一个稳固的分布式系统;分布式环境下的协定协议;分布式算法的讨论;Paxos算法的大概过程;Step 1: Prepare;Step 2: Promise;Step 3: Accept!;Step 4: Accepted;Learning values;Paxos算法以及RSM的应用;继续分布式存储;一个典型的分布式后台服务集群配置;BigTable中的基本数据模型;BigTable的系统结构;从锁服务开始定位数据表;数据分表的内存以及硬盘数据结构;下一步：分布式数据处理;数据处理的需求;现有的使用多个处理模块的编程方法;隐式消息传递模型编程模式;MapReduce程序的特征;MapReduce程序的编程模型;Map函数从系统层面??的输入输出接口;Reduce函数的输入输出;MapReduce的例子—WordCount;MapReduce下的WordCount程序;举例说明MapReduce程序的执行过程下面是数据集;每一个Map函数的输出;每一个Reduce函数的输入;程序的最终结果;MapReduce实现的结构;MapReduce程序的运行过程;以MapReduce为例子讨论分布式计算的特性;Microsoft Dryad系统简介;;Virtualized 2-D Pipelines;Virtualized 2-D Pipelines;Virtualized 2-D Pipelines;Virtualized 2-D Pipelines;Virtualized 2-D Pipelines;;;JM code;Fault Tolerance;Dryad系统的简单分析;数据分析用户的需求;Hive的系统结构;Hive客户端;开源平台的架构;Google早期系统平台架构;针对不同的应用有不同的大规模数据处理方法;大数据处理开源平台生态系统;基于Hadoop的开源大数据处理框架;新版本的Hadoop 2.0的特性;HDFS HA;HDFS HA Next （准备实现）;调度器的框架;调度器框架的改进;HDFS其它新特性;Hadoop HAMA，基于BSP的通用编程模型;Hadoop中的大规模图计算Giraph;基于开源方式的大数据处理平台组成;基于Hadoop的开源大数据处理平台演示;当前研究的发展趋势;数据分析支撑平台;大数据处理支撑平台的研究;数据支撑平台的研究;分布式存储的模型与系统;Google早期系统平台架构;Google大规模分布式数据存储方面的演进;分布式存储模型与系统 ：Megastore;分布式存储模型与系统 ：Megastore 分区与同步;分布式存储模型与系统 ：Megastore的数据模型;Megastore的事务与并发处理;Megastore的事务处理流程;Megastore的体系结构;Megastore数据读取过程;Megastore数据写入过程;全球一致性的分布式存储Spanner;Spanner 关键特性与技术;Spanner服务器的组织;Spanner 软件栈结构;Spanner TrueTime;地理分布式存储的可用性;地理分布的事务存储;地理分布存储的一致性;地理分布的快速存储并且在必要的时候提供一致性;低功耗的数据存储;分布式存储的模块化技术;扩展大规模照片存储的速度;对等计算方式的存储嵌入处理功能;程序自主构造分布式缓存;Azure的云存储体系结构;云存储中的扁平化架构;多租户存储提供公平性;大规模数据处理的平台技术;Google分布式数据处理方面的演进以及与相关技术的关系;针对不同的应用有不同的大规模数据处理方法;大规模数据的交互查询分析系统Dremel;Dremel交互式数据查询特性;Dremel系统中的列式存储;Dremel系统中的数据模型;Dremel系统中的数据重构;基于树形结构的查询方式;大规模数据处理Hadoop调度器的改进：Corona from Facebook;Corona对现有调度器的改进;大数据处理中的公平调度策略;基于分表结构的新型编程方案Piccolo;Piccolo：基于抽象表的编程;Piccolo:提高数据局部性;Piccolo:同步方式;Piccolo:应用程序的检查点;Piccolo:编程特点;在大数据处理环境中提高分布式聚集计算的性能;大数据处理中使用结果缓存提高处理能力;在分布式数据处理中加入增量信息索引功能;用细致的方式获取MapReduce程序中的性能问题进程;特