Distributed Storage System for Structured Data.docVIP

九月 26, 2006 翻:Google大表(BigTable) 大表(Bigtable): /papers/bigtable-osdi06.pdf｛中是,程序除外｝ {本文的翻译可能有不准确的地方,详细资料请参考原文.}摘要bigtable是^50字oogle的很多google earth和google金融．URL到网 １．介绍 在2^50 bytes(petabytes)数据，并可以部署到上千台机器上．ＢＴ完成了以下目high availability）. 包括google analytics, google finance, orkut, personalized search, writely和google earth在内的60多个BT.这些应用对ＢＴ的要求各不相同，有的需要高吞吐量的批处理，有的需要快速反应给用户数据．它们使用的ＢＴ集群也各不相同，有的只有几台机器，有的有上千台，能够存储2^40字(terabytes)数据． ＢＴ在很多地方和数据库很类似：它使用了很多数据库的实现策略．并行数据{就是只存}，并允｛以提高．数据下｛．客｛比如到数据中．通｛就是locality, locality, locality｝ 第二google框架．第五6节叙述提高ＢＴ性能的一些调整．第7节提供ＢＴ性能的数据．在第8节，我们提供ＢＴ的几个使用例子，第9节是经验教训．在第10节，我们列出相关研究．最后是我们的结论． ２．数据模型ＢＴ是一个稀疏的，｛数据都是字符串，没． (row:string, column:string,time:int64)-string {能编程序的都能读懂，不翻译了} //彼岸翻 我bigtable的系举一个具体例子（它促使我们做出某些设计决定）， 比如我Webtable。在Webtable里，我URL作contents:列中并用 图一：一个存储Web网URL｛即n.www｝。contents列族｛原文用 family，列族｝存放网anchor列族存放引用CNN的主Sports Illustrater｛即所SI，CNN的王牌体育MY-look的主anchor:”和 “anchhor:my.look.ca”的列。t9，t8｝；而contents列 戳t3，t5，和t6 行 表中的行64KB，多数情况下10－100字 Bigtable通tablet｝，是数据分布和locality｝。Webtable里，通URL中主机名的方式，可以把同一个域名下的网/index.html中的数据存放在com.google.maps/index.html下。按照相同或属性相近的域名来存放网 列族 一 列列族：限定。 列族名必须是看得懂｛printable｝的字串，而限定Webtable可以有个列族叫language，存放撰写网我们在language列族中只用一个列anchor； 访问控制，磁盘使用统计，内存使用统计，均可在列族这个层面进行。在Webtable举例中，我们可以用这些控制来管理不同应用：有的应用添加新的基本数据，有的读取基本数据并创建引申的列族，有的则只能浏览数据（甚至可能因为隐私权原因不能浏览所有数据）。 时间戳 Bigtable表中Bigtable的64位整型。可以由Bigtable来 为了简化对于不同数据版本的数据的管理，我们对每一个列族支持两个设定，以便于Bigtable对表项的版本自动进行垃圾清除。用户可以指明只保留表项的最后n个版本，或者只保留足7天的内容）。 在Webtablecontents:列中存放 //我3,4节? 3.APIBT的ＡＰＩ提供了建立和 // Open the tableTable *T = OpenOrDie(”/bigtable/web/webtable”);// Write a new anchor and delete an old anchorRowMutation r1(T, “n.www”);r1.Set(”anchor:”, “CNN”);r1.Delete(”anchor:”);Operation op;Apply(op, r1);图 2: 写入Bigtable. 在ＢＴ中，客2的Ｃ＋＋代RowMutation抽象表示来Apply函数，就ebtable进行了一个原子修改：它为/增加了一个 Scanner scanner(T);ScanStream *stream;stream = scanner.FetchColumnFamily(”anchor”);stream-SetReturnAllVersions();scanner.Lookup(”n.www”);for (; !stream-Done(); stream-Next()) {