7-尹烨-腾讯游戏的docker实践_对外.pdfVIP

腾讯游戏的Docker实践 —现状、经验及展望 尹烨@Tencent 目录 • 腾讯游戏应用现状 • 问题及解决方案 • 总结及展望 目录 • 腾讯游戏应用现状 • 问题及解决方案 • 总结及展望 从游戏业务说起 • 业务周期 • 种类 – 端游、手游、页游 – 自研、代理 – 分区分服、全区全服 Why docker? • Like VM • Not only just like VM Docker vs VM • 优势 – 轻量、Image、APP centric 、在线调整资源配额 • 劣势 – 安全、隔离性 现状 • 2014.6 ~ Now • 业务接入 – 1000+物理机、~4000个Container – 数十个端游、手游、页游 • 《我叫MT2》、 《QQ宠物企鹅》… 目录 • 腾讯游戏应用现状 • 问题及解决方案 • 总结及展望 问题1—容器集群调度(1) • Fig？Shipyard ？… • Kubenetes – CPU core、机器类型、内存、磁盘、网络… – Black list/White list – Specific host – Affinity/No Affinity 问题1—容器集群调度(2) 问题2—Network(1) • NAT? – Performance poor、IP hidden • Host? – No network isolation • Overlay network? – Complex、performance – Communicate with physical/virtual machine? 问题2—Network(2) • Bridge+VLAN – Performance loss – CPU consumed • Optimization – Set veth txqlen to 0 问题2—Network(3) • NAT vs Bridge 问题2—Network(4) • SR-IOV – Good performance – Limited by VF numbers • Optimization – Bind VF interrupt to CPU – Enable RPS 问题2—Network(5) • Native vs Bridge vs SR-IOV 问题2—Network(6) • Mix bridge with SR-IOV? 问题3—镜像存储及传输(1) 问题3—镜像存储及传输(2) 问题4—容器监控 • cAdvisor? • lxcfs+agent 问题5—容器故障迁移 • Image＋IP漂移 • 网络存储(Ceph) – Data volume – RBD graph storage driver 问题6—资源配额(1) • cpuset.cpus •