洪强宁：豆瓣的技术架构与主要组件.pdfVIP

⾖瓣的架构与主要组件 May. 2013 ⾖瓣内部资料，未经许可请勿发布 LVS nginx SCGI HTTP quixote app DAE apps MySQL memcached BeansDB redis beanstalkd online offline MooseFS DPark DAE ⾖瓣内部资料，未经许可请勿发布 DAE • ⾃助式应⽤开发/部署环境 （私有 PaaS ） • 应⽤隔离的依赖管理（基于virtualenv 和 pip ） • 同步worker和异步worker （基于gevent ），⽀持 websocket • 通过API访问基础设施 • 简便的服务定义和实现 (thrift based) • ⾃动 scale out • SA关⼼整个资源池的资源 • 应⽤开发者只需关⼼业务逻辑 ⾖瓣内部资料，未经许可请勿发布 DAE⼀些(可能)有趣的地⽅ • 没有使⽤虚拟机，直接利⽤unix帐号在进程级管理 • 未来有计划引⼊ cgroups • DAE ⾃⾝的⼀些功能是⽤DAE应⽤的⽅式实现的， ⽐如部署、静态⽂件服务等 • ⺫前部署在7台物理机+1台虚拟机上 • ⺫前部署了 248 个应⽤ • ⺫前每天处理约6千万请求 • 今年会开源⼀些side projects ⾖瓣内部资料，未经许可请勿发布 9. ⾖瓣内部资料，未经许可请勿发布 CODE ⾖瓣内部资料，未经许可请勿发布 ⾖娘订购系统 ⾖瓣内部资料，未经许可请勿发布 BeansDB ⾖瓣内部资料，未经许可请勿发布 BeansDB • ⼀个键值存储服务，简化版Dynamo • memcache protocol • 第⼀版使⽤ tokyo cabinet 作为存储引 擎，2010年使⽤ bitcask 存储格式重写了 存储引擎 • 2008年项⺫启动，2009年开源 • /douban/beans{db,eye} ⾖瓣内部资料，未经许可请勿发布 ⾖瓣内部资料，未经许可请勿发布 主要特点 • 维护简单 • 性能稳定 • 易扩容 • ⾼可⽤ • 最终⼀致性 ⾖瓣内部资料，未经许可请勿发布 BeansDB在⾖瓣的使⽤ • 两个集群: doubandb 和 doubanfs • doubandb • ⼩型数据 (主要是⽂本, 如影评、⽤户个⼈介绍 等） • 3 billion of records, 9TB data • doubanfs • 中型数据 ( 图⽚、⾳频等) • 1 billion of records, 150TB data ⾖瓣内部资料，未经许可请勿发布 DPark ⾖瓣内部资料，未经许可请勿发布