百度网页搜索，规模大幅膨胀下的架构优化实践.pdf

百度搜索， 规模爆炸下的架构优化实践 吴永巍 2015.10 About me • 06年加⼊百度，主任架构师 • @⺴⻚搜索部，@上海 • 重点关注领域： • 搜索架构 • 分布式存储与计算 • ⼤规模系统设计与调优… Web Search • 补图-Q:“QCon上海 2015” （PC, mobile, 秘书app？） Web Search, more Web Search Infrastructure 搜索引擎关注的架构指标 规模爆炸：股票 • 过去10年，+1090% （同期纳斯达克+114%） 规模爆炸：⼀些数字 规模爆炸下的挑战 • 最⼤的挑战：成本！ 乘法关系! • 规模 = 数据量 * 流量 * 算法复杂度 VS 16.00## 架构⼯程师 14.00## 12.00## 的价值! 10.00## 8.00## 6.00## 4.00## 2.00## 0.00## 2010# 2011# 2012# 2013# 规模爆炸下的挑战，More • 服务质量，更全⾯的挑战： • 可⽤性 • 低延迟 • … 规模爆炸下，成本、扩展性、 延迟、可⽤性的挑战与实践 规模爆炸，成本的挑战 成本，不得不谈的问题 • 百度2014年度财报：硬件成本48亿 • 架构⼯程师的义务：成本控制与优化 缺⼀不可! • 宏观的优化：分布式，集群 • 微观的优化：单机 痛点 • ⽤户吐槽 “有些资料，百度搜不到” • 技术上，要扩⼤数据规模，涵盖⻓尾数据 • 问题：要求加的机器数太多，会被challenge 挑战与机遇：差异化 • 数据间的差异 • 流量间的差异 • 策略间的差异 分层架构 • 不要平均主义、⼤锅饭！ 分层架构：数据分层 • ⾦字塔 • 区分对待 数据分层 • How？ • ⻚⾯质量 给机会， 不⼀棍⼦打死