百度运维系统Client设计探秘--百度钟溢原.pdfVIP

百度的运维客户端技术 ——历史、设计原则与常见误区 钟溢原 yiyuanzhong+qcon2013@ 广告 百度拥有国内首屈一指的服务器数量 全自动运维平台NOAH – 设计容量管理百万级服务器 – 有能力同时操作10k数量级服务器 – 常见的服务器级故障自动修复能力 – 日常操作不需要人类登录 – 提供部署、监控、日志、备份、故障排查、安全审计等 目录 客户端的背景 客户端的背景 我们面临的问题从来就没有什么大的变化，唯一不同的只 是机器规模越来越大、人心越来越复杂。 客户端的背景 一切都源于那个亘古不变的真理：扔个文件上去，然后跑 个命令。 # scp destroy.sh :/root OK # ssh  ‘sh /root/destroy.sh’ Baidu destroyed successfully. # :‐) 客户端的背景 后来百度有了10台机器。 # for i in `seq ‐w 1 10`; do scp destroy.sh  www ‐$:/root; ssh www‐$  ‘sh /root/destroy.sh’; done Baidu‐01 destroyed successfully. Baidu‐02 destroyed successfully. … Baidu‐10 destroyed successfully. Baidu destroyed successfully. # :‐) 客户端的背景 再后来百度有了1000台机器。 # for i in `seq ‐w 1 1000`; do scp destroy.sh  www ‐$:/root; ssh www‐$  ‘sh /root/destroy.sh’; done Baidu‐0001 destroyed successfully. Baidu‐0002 destroyed successfully. Wait, are you kidding me?! Baidu is still alive. # :‐O 客户端的背景 于是百度就有了第一个客户端。 – 批量自毁的客户端 • 并发控制、失败重做、总体进度展示、历史记录保存…… （事实上，百度的第一个客户端是用于监控目的，而且并不接受远程控制命令。） 客户端的背景 然后百度就有了第100个客户端。 – 批量自毁的客户端 – 监控批量自毁的客户端的客户端 – 监控监控批量自毁的客户端的客户端的客户端 – 利用CPU热量来煎鸡蛋的客户端 – 占用50%内存但是什么都不做的客户端 – Andalotmore…