百度搜索系统的PaaS架构设计和实践.pdf

ArchSummit全球架构师峰会深圳站2016 Eden 百度搜索引擎的PaaS架构设计和实践 百度搜索架构师 郑然 自我介绍 郑然 • 百度网页搜索架构部 – 搜索架构师 • 七年搜索引擎架构工作经验 – 流式索引构建系统, 离线计算平台架构 – 服务化组件开发平台SOFA – 在线服务PaaS平台建设 – 服务治理 高可用架构 DevOps 目录 CONTENTS Eden的前世今生 Eden架构设计和实践 软件包的标准化 经验教训 百度搜索引擎的挑战 百度搜索引擎的挑战 百度搜索引 擎的挑战 机器数量多, 服务数量大 数万台服务器, 数十万个服务, 分布在多个IDC 服务变更多, 变更数据大 挑战 每天几十万次变更, 每周10P量级的文件更新, 千余人并行开发几十个模块 检索流量大, 稳定性要高 每秒数万次请求, 满足99.995%的可用性 Eden的前世今生 从搜索引擎 的基础架构 说起 海量服务分布吞吐和延迟最优 merger index0 index0 index1 index1 index2 index2 shard0 shard1 shard2 服务治理的 三个阶段 2009年以前 2010 ~ 2013 2014 ~ 2016 刀耕火种时代 蒸汽机车时代 集成电路时代 粗暴 简单 半自动化 精密 高效 刀耕火种 时代 单机单服务 服务名等价于机器名 运维上千台机器, 流程相对简单 资源管理以整机为单位 特点 蒸汽机车 时代 业务驱使 索引量增长, 相关性算法越