入职串讲之百灵_沈湘ppt - chenqi-osd-paiallel.pptVIP

* * 新人串讲 – 百灵 沈 湘 2011-8-12 概述 Bailing 系统简介 BDDB 详细设计 WDBD 的部署、使用及测试 统一运维和统一回灌 Bailing 是什么？ 百灵 (Bailing) 是PS infrastructure小组开发的新一代网页库平台，具有如下特点 大容量，单机10TB，总容量无上限 高吞吐，单机100Mbps，总吞吐量线性增长 自动运维，快速错误恢复，便于管理 支持应用程序调度执行，分布式计算 基于BDDB的结构化存储 Bailing 整体架构 上下游关系 FIFO 的结构 Bailing 机群管理 信息维护 机器状态监控 备机池维护 机器修复流程管理 机器环境初始化 Bailing 存储系统 基本概念：库，table，snapshot，view BDDB操作：增删改查，scan Schema：可变/不变属性，长/短属性 Proxy：兼容webinfodb操作 粒度：切表，粒度更细，便于错误恢复 错误恢复 Bailing 调度系统 提供基本的MapReduce模式的计算 提供统一错误处理 基于单机的执行环境，应用可简单移植 基于优先级的任务调度 概述 Bailing 整体架构 BDDB 详细设计 WDBD 的部署、使用及测试 统一运维和统一回灌 BDDB 设计目标与设计理念 目标： 大容量数据存储，设计容量为10TB，数据条数20亿以上； 结构化数据存储，每一份数据为一条记录record，有key、schema，支持增、删、改、查、扫描等操作； 支持记录的按序或无序存储； 提供高I/O吞吐率，除了查询操作外，增、删、改、扫描的throughput在100MBps以上。 理念： 使用多buffer来提高读写效率； 除了不可避免的（由查询导致的）随机读，其他随机I/O均转化为顺序I/O； 在内存中的数据为cache，可以丢失，但写入硬盘的数据一定保持一致，包括metadata与data、index与record等，即对以上数据采用transactional update。 BDDB 总体结构（1）——名词解释 Record：数据基本单位，由key唯一标识 Schema：Record的数据结构描述 Table：一批相同schema的records的集合，在逻辑上可看作是一个大文件。 Block：数据的存储单元，物理上对应于硬盘上的一个文件，若干个blocks组成一个table。 BDDB 总体架构（2）——Components BDDB 总体架构（3）——数据组织 无序表：直接在文件末追加 有序表：依次存放 / 指针排序 BDDB 总体架构（4）——Log-based Storage Structure BDDB 总体架构（5）—— Metadata维护 双层Index结构 Table Layer 概述 Bailing 整体架构 BDDB 详细设计 WDBD 的部署、使用及测试 统一运维和统一回灌 WDBD 部署和起停 线上 /home/work/bailing/bin /home/work/bailing/conf /home/work/bailing/sbin /home/disk[0~9,a,b] 线下（需注意bin和conf需在平行目录下） /home/work/bailing/bin /home/work/bailing/conf /home/work/bailing/sbin /home/work/bailing/data/disk[0~9,a,b] 起停 ./wdbd -r ../data -c 9999 –W limit ./wdbd -c 9999 ./stop.sh (调用killall wdbd) WDBD 使用——表的维护 端口绑定 createdb 解除绑定 deletedb 更新 mergedb 拷贝 copytable 分拆 bldc 导出 dumpstat 列举 listdb 交互式控制台 monitor 查询 query …… WDBD 使用——记录的访问接口 通过组包（ulpack）方式调用 ADD：不存在则添加，存在则忽略操作 MOD：不存在则添加，存在则更新 MOD-PROP：对特定属性进行更新 META：更新meta信息 REMOVE：单个删除 MULTIREMOVE：按条件删除 CHG-WT：更新 weight WDBD 使用——记录的访问接口（续） UPTIME：更新 intime 字段 DEL：标记删除 UNDEL：恢复删除 MULTIDEL：按条件批量删除 MULTIUNDEL：按条件批量恢复删除 ATTR_MOD：批量修改属性（回灌） SEEK：查询单条数据 SEEKSIGN：查询多条