《云计算(第三版)》第2章_Google云计算原理与应用(四).pptxVIP

电子工业出版社《云计算(第三版)》配套课件第 2 章Google云计算原理与应用（四）目录 2.1 Google文件系统GFS2.2 分布式数据处理MapReduce2.3 分布式锁服务Chubby2.4 分布式结构化数据表Bigtable2.5 分布式存储系统Megastore2.6 大规模分布式系统的监控基础架构Dapper2.7 海量数据的交互式分析工具Dremel2.8 内存大数据分析系统PowerDrill2.9 Google应用程序引擎数据本身不会产生价值只有经过分析才有可能产生价值2.7 海量数据的交互式分析工具Dremel2.7.1 产生背景2.7.2 数据模型2.7.3 嵌套式的列存储2.7.4 查询语言与执行2.7.5 性能分析2.7.6 小结2.7 海量数据的交互式分析工具Dremel产生背景优点：便携MapReduce缺点：效率低Google的团队结合其自身的实际需求，借鉴搜索引擎和并行数据库的一些技术，开发出了实时的交互式查询系统Dremel。2.7 海量数据的交互式分析工具DremelDremel支持的典型应用Web文档的分析Android市场的应用安装数据的跟踪Google产品的错误报告Google图书的光学字符识别欺诈信息的分析Google地图的调试Bigtable实例上的tablet迁移Google分布式构建系统的测试结果分析磁盘I/O信息的统计Google数据中心上运行任务的资源监控Google代码库的符号和依赖关系分析2.7 海量数据的交互式分析工具Dremel2.7.1 产生背景2.7.2 数据模型2.7.3 嵌套式的列存储2.7.4 查询语言与执行2.7.5 性能分析2.7.6 小结2.7 海量数据的交互式分析工具Dremel两方面的技术支撑一方面：统一的存储平台实现高效的数据存储，Dremel使用的底层数据存储平台是GFS两方面的技术支撑另一方面：统一的数据存储格式存储的数据才可以被不同的平台所使用2.7 海量数据的交互式分析工具Dremel两方面的技术支撑关系数据库用关系模型进行建模，其数据存储方式有两种： 早期：行存储（面向记录的存储） 晚期：列存储，以属性为单位，每次存储一个属性，应用时将需要的属性重 新组装成原始的记录缺点：很多数据之间没有严格关系，无法用关系模型进行很好地建模 嵌套数据模型（GOOGLE采用） Dremel第一次在嵌套数据模型基础上实现列存储优点：处理时只需要使用涉及的列数据； 更利于数据的压缩。2.7 海量数据的交互式分析工具Dremel面向记录和面向列的存储Google的Dremel是第一个在嵌套数据模型基础上实现列存储的系统。好处一：处理时只需要使用涉及的列数据好处二：列存储更利于数据的压缩2.7 海量数据的交互式分析工具Dremel嵌套模型的形式化定义原子类型（Atomic Type）原子类型允许的取值类型包括整型、浮点型、字符串等记录类型（Record Type）记录类型则可以包含多个域记录型数据包括三种类型：必须的（Required）、可重复的（Repeated）以及可选的（Optional）2.7 海量数据的交互式分析工具Dremel嵌套结构的模式和实例文档的模式（Schema）定义利用该数据模型，可以使用Java语言，也可以使用C++语言来处理数据，甚至可以用Java编写的MapReduce程序直接处理C++语言产生的数据集。这种跨平台的优良特性正是Google所需要的。符合该模式的两条记录2.7 海量数据的交互式分析工具Dremel2.7.1 产生背景2.7.2 数据模型2.7.3 嵌套式的列存储2.7.4 查询语言与执行2.7.5 性能分析2.7.6 小结2.7 海量数据的交互式分析工具Dremel问题：对图2-41中的r1的‘en-us’和‘en’，单纯记录下来无法判断这两个值对应的是r1中的那个位置，因为r1中Name.Language.Code属性出现了3次 解决办法：Dremel定义了两个变量：r(重复深度)和d（定义深度）2.7 海量数据的交互式分析工具Dremel图2-41中Name.Language.Code出现了三次en-us’，‘en’和‘en-gb’Name.Language.Code中可重复的字段有两个：Name, Language,因此Code的可重复深度的取值可能为0，1，2,其中0表示一个新纪录的开始。en-us的重复深度：0 （Name和Language没重复，表示一个新纪录）en的重复深度：2（Language 出现了第2次， Language 在 Name.Language.Code 路径中位置第二） en-gb的重复深度：1（Name重复， Name 在 Name.L