云顶云&新概念公益项目的DevOps实践.pdf

云顶云&新概念公益项目的DevOps实践 公司简介 天津云顶云科技有限公司 使命：让云计算更简单 愿景：值得信赖的云服务商 专注于云计算服务 ：为企业提供优质的公 有云、专有云、混合云等解决方案，提供 上云架构咨询与规划、云上应用开发、云 上运维托管等一站式上云服务。 项目背景 云顶云助力外研社“新概 念英语”公益助学活动 为保证全国中小学生的学习需求 ， 外研社与云顶云合作推出公益助学 活动 ，免费向社会开放 《新概念英 语 》正版音频 。疫情期间助力广大 师生 “停课不停学 ” ，为广大英语 学习者提供完善的英语学习环境 。 接到需求后 ，分布在全国各地尚未 归津的云顶云研发团队与技术团队 积 极 配 合 ，克 服 网 络 差 、 异 地 协 作 、需求急 、技术风险高等困难 ， 使公益活动如期上线。 项目分析 • 时间紧 • 压力大 • 协作难 • 测试难 项目成果 • 连续作战 4 天 4 夜，不只 96 小时 • 持续发布 7 版，不断迭代完善 • 流量激增19.4倍，扛住了！ • 钉钉语音会议 30+ 次 • 参与的同学 20+ 名 项目架构 方案解析： • 主要基于容器服务ACK • 微服务 +DevOps威力显现！ ü 应用容器化享用容器组资源编排能力 ü 优化容器组集群计算资源稳定性高 ü 两级伸缩架构弹性低成本 ü 内容分发网络CDN有效分担源站压力 项目解读：两级弹性伸缩 • 设置HPA ：当CPU平均使用率达到70%或 内存使用率达到80%时，会水平扩展POD 数量，以提高热点服务的能力。 • 设置ESS：当CPU平均使用率达到75%或 内存使用率达到80%时，会向K8S集群中 添加两台 ECS ，以提高系统整体的服务能 力。 项目实践：HPA实践心得 • 问题1 ：在压测过程中发现， POD分布不均匀，相互间存在资源争抢的 现象，导致服务器资源富裕而性能提升不上去的情况。 ü 解决办法：对于资源消耗较高的服务使用硬性反亲和，资源消耗相对较 低的使用软性软亲和方式可以有效利用服务器资源，提高整体系统性能。 • 问题2 ：POD的CPU和内存的基准值配置错误，导致使用率始终超过弹 性伸缩的阈值， POD直接弹缩到最大值。 ü 解决办法：调大request值，将使用率控制在 HPA值之下。 • 问题3 ：POD启动消耗的资源较大，启动瞬间会将 POD数量弹至最大 值，从而导致整体资源使用率过高。 ü 解决办法：等服务启动稳定后再配置 HPA规则即可解决。 项目解读：基于容器服务的DevOps 开发团队 • 既理解业务架构 用例 工具 • 也理解技术架构 平台 接口 • 分层自动构建与实施能力 • 测试用例积累与流转 DevOps 用例 工具 平台 接口 测试团队 • 环境自动构建 运维团队 • 应用自动发布 • 工