数据管理技术.pdf

数据管理技术 BigTable BigTable的情况 • 2004年：开始设计使用 • 2008年：100个Big Table 存储单元 • 支持了众多的Google应用： -My Search History -Crawling/Indexing Pipeline -Google Map/Earth …… • 管理的最大的Big Table 存储单元： -200TB ，分布在上千台的机器上 已经有了： SQL/Oracle/DB2…… 为什么Google 还要开发自己的数据库？ 传统商业数据库的问题 规模不够大 Google的需求 ：存储大量的记录，TB级别的数据量。 即使规模够大，成本也是问题 Google的需求：支撑多个业务的同时丌会带来很多成 本。 无法自己改动、优化 Google的需求：可以采用底层存储优化带来的好处。 Plus：自己写一个数据库看起来即富于挑战性、又很有趣 BigTable • 分布式多层图表 – 有趣的数据模型 • 容错, 持续可靠 • 扩展 – 成千上万的服务器 – TB级别的内存数据 – PB级别的磁盘数据 – 每秒百万级别的读写, 高效扫描 • 自我管理 – 可以劢态的增减服务器 – 服务器根据负载调整 Big Table的相关要素 相关要素： • GFS ：数据存储 • Scheduler ：将任务分配到各个机器 • Lock Service ：分布式锁管理 • MapReduce ：数据的分布式计算 对BigTable的作用： • GFS ：原始数据的存储 • Scheduler ：涉及到Big Table服务中的任务分配 • Lock Service ：master选丼，tablet位置信息的自丼过程 • MapReduce ：常用于BigTable数据的读写 典型的集群 Cluster Scheduling Master Lock Service GFS Master Machine 1 Machine 2 Machine 3 User BigTable Task BigTable Server BigTable Master Server User Single Task Task Scheduler GFS Scheduler GFS Scheduler GFS Slave Chunkserver Slave Chunkserver Slave Chunkserver Linux Linux Linux 基础数据模型 分布式多维度的稀疏图 行（ row ）, 列（Column ）, 时间戳 （Timestamp) 存储单元（Cell ），内容 （content ） “contents” COLUMNS ROWS