[工学]nosql.pptVIP

* * * * * * * * * * * * * 数据类型 (row, column, time) = string Row, column的值都为 string 类型，time 为 64位整型. 对同一个行关键字的读或者写操作都是原子的（不管读或者写这一行里多少个不同列）. 列可以动态添加. 不同版本的数据通过时间戳来索引. 可以由用户程序赋值或 Bigtable 生成. 废弃版本的数据自动进行垃圾收集. Example: Web map 1.1 Tablets Bigtable通过行关键字的字典顺序来组织数据. 表中的每个行都可以动态分区,每个分区叫做一个”Tablet”. Tablet是数据分布和负载均衡调整的最小单位. Example rows: com.google.maps/index.html and com.google.maps/foo.html are likely to be in same tablet. 1.2 列族 列关键字组成的集合叫做“列族“，列族是访问控制的基本单位. 列关键字的命名语法如下：列族：限定词 访问控制、磁盘和内存的使用统计都是在列族层面进行的. Example: “anchor:” 和“anchhor:my.look.ca” Bigtable 的其他特性以及进行的复杂操作* *首先，Bigtable支持单行上的事务处理，利用这个功 能，用户可以对存储在一个行关键字下的数据进行原子性的读-更新-写操作。虽然Bigtable提供了一个允许用户跨行批量写入数据的接口，但 是，Bigtable目前还不支持通用的跨行事务处理。其次，Bigtable允许把数据项用做整数计数器。最后，Bigtable允许用户在服务器的地 址空间内执行脚本程序。脚本程序使用Google开发的Sawzall数据处理语言。虽然目前我们基于的Sawzall语言的API函数还不允许 客户的脚本程序写入数据到Bigtable，但是它允许多种形式的数据转换、基于任意表达式的数据过滤、以及使用多种操作符的进行数据汇总。 第二章 客户端 API API 数据 创建/删除表和列族 修改集群、表和列族的元数据，如通过修改访问权限 客户端操作 写/删除数据值 读数据值 行查找 一个行关键字下的数据进行原子性的读-更新-写操作 Bigtable可以和MapReduce一起使用.（作为MapReduce框架的输入和输出） 第三章 Building Block SSTable 文件: 数据的存储格式 Key-value映射 索引. 建有块索引. 不可更改. 读数据, 不需要并发控制. 需要垃圾集中处理已删除数据. 存储在Google File System (GFS),打开SSTable的时候，索引被加载到内存. 自动复制整个SSTable数据到内存中 Chubby: 分布式锁服务 存储根tablet,模式信息, 存储访问控制列表 同步和探测tablet 服务器 第四章 Bigtable 的设计和实现 Tablet Location Tablet 分配 Tablet 服务 Compaction 第四章 Bigtable 的设计和实现 3 大组件: 2. Master服务器（1个） 链接到客户程序中的库 3. Tablet服务器 为Tablet服务器分配Tablets 检测新加入或者过期失效的Table服务器、对Tablet服务器进行负载均衡 以及对保存在GFS上的文件进行垃圾收集、处理对模式的相 关修改操作 处理它 所加载的Tablet的读写操作 在Tablets过大时，对其进行分割 4.1 Tablet Location 4.2 Tablet 分配 Master服务器记录Tablet 的分配情况和 活跃的服务器 Chubby跟踪记录Tablet服务器的状态 开启时，Tablet 服务器新建和锁定一个唯一的文件. 如果Tablet服务器丢失Chubby上的独占锁，就停止对Tablet提供服务. Master 定期检查 tablet 服务器. 如果失败, Master 将试图获取该Tablet服务器文件的独占锁和不分配该tablet服务器. Master 服务器的故障不会改变现有Tablet在Tablet服务器上的分配状态. 4.3 Tablet 服务 Write 检查操作格式是否正确. 从Chubby 文件中检查操作权限. 提交操作日志. 写操作提交后，写的内容插入到 memtable里面(RAM). 较早的更新操作记录存放在一系列SSTable中. Read 检查操作格式是否正确. 从Chu