乐蜂周秋野：如何应对k自营电商大促的技术和管理风险.docVIP

乐蜂周秋野：如何应对自营电商大促的技术和管理风险 来源：钛媒体 发布时间：2013-4-28 所有可能出现的故障都有可能出现。机器会挂掉，网络设备会挂掉，机房会挂掉，运营商的链路会挂掉，CDN会挂掉，连400电话也会挂掉。当然，没有哪个团队会惨到遇到所有这些问题，但任何一个问题都有可能致命。 周秋野 化妆品电商的促销大战，美女和帅哥的形象大战，让爱看热闹的人们看的好不开心，也让爱美的女士们抢的好不开心。不过在一场场华丽丽的大战背后，是一群辛勤的技术和运维人员辛勤方付出。 “奋战连续加班48个小时，没有人忍心把谁叫起来。我们在报警的手机上接一个大音箱，一有紧急情况，音箱便开始报警，同时报警灯闪烁。这样不管睡的怎么死总还是会起来看一下的。”在一年一度的QCon大会上乐蜂网运维总监周秋野分享了在“桃花节”大促下，如何带领技术团队撑住高于正常情况下15倍的流量。 没有淘宝那样的人力和财力，没有按G接入的带宽，没有几十万级别的硬件防火墙，数量有限的服务器资源，手下就那么几个兵，作为一个自营平台的”吊丝“电商，顶住了应用系统压力翻15倍，持续两天的压力，期间系统无宕机，超百万订单，成交额超两亿的。乐蜂网所面临的情况，对自建系统的中小型电商有很大的参考价值。 钛媒小编通过现场笔记和记忆为大家分享其中部分精彩内容。 不打没准备的仗，在大型促销来临之前，一定要通过各种途径，比如历史数据，竞争对手数据，行业调查数据尽量准确的估算要面临的流量规模，来源，入口等，以便合理的分配资源。确保所有的准备工作都可以在活动开始前完成，如果业务人员有过多的需求，可能危害整个系统安全，技术团队应该坚决拒绝。 总结曾经犯过的错误，进行定点清除。一个系统经过很多人的手才开发而成，其中不免有很多未知的风险。对于曾经犯过的错误要细心的总结和排查，确保不会出现第二次。同时也要确保核心流程不会出现大的问题。周秋野很坦诚的说，去年大促的时候，因为一个低级的错误——一个数据库表没有加索引，整个核心购物流程停摆两个小时，顾客无法下单。像这样的错误一定要消灭掉。 要相信墨菲定理，所有可能出现的故障都有可能出现。机器会挂掉，网络设备会挂掉，机房会挂掉，运营商的链路会挂掉，CDN会挂掉，连400电话也会挂掉。当然，没有哪个团队会惨到会遇到所有这些问题，但任何一个问题都有可能致命。所以对任何可以想到的问题都要有Plan B，备用机器，备用设备，备用机房，备用线路，备用CDN，可以不多，但不能没有，并且在活动开始前对相关切换方案进行测试，才可以在问题出现的时候可以快速启动应急方案。 对于系统内的一些故障，有经验的运维人员可能会考虑的比较多，可能不会有太多问题。但总有问题是你想不到的。周秋野说在“桃花节”促销中，联通的400电话服务竟然出故障了，当时他们只好把电话接入到公司里面，所有的人都变成了客服，才撑过去。 和第三方搞好关系，用到的时候人家才会帮你。虽然是客户，但不要把自己和服务商的关系搞的太僵了，大战的时候需要他们一同帮忙。比如促销当天，需要设备提供商到机房驻场，以便应对突发状况。需要IDC提供更高的流量支持，需要CDN厂商提供更多的流量和节点支持。周秋野说为了应对其促销活动的突发流量，其CDN服务商特别为他们添加了相应的服务器。当然，如此级别的支持，只有像乐蜂这样中上规模的电商企业才可能获得。 在安全方面，周秋野表示小公司是无力应对汹涌的攻击的。近日就有人撰文指出，互联网存在一个规模巨大的黑色产业链。周秋野也表示对该势力的无奈，“人家几十个G的流量打过来，你就垮了。”而购买价格昂贵的防火墙设备，对于他们来说也是一件不太可能的事情。对于该问题解决办法周秋野表示只能找像360这样“有背景”的第三方安全公司。 成立现场指挥办公室，为了更好的调度资源和沟通，最好把主要负责人都聚集到一起，开辟一个专门的现场指挥办公室。并且规定只有指挥办公室的直属领导可以进入办公室，非技术部门的领导只和技术部门负责人沟通，避免给技术部门带来过多的压力影响工作开展。 要考虑员工的体能和心理状态。大规模的促销对资源有限的电商来说所面临的挑战是巨大的，所有员工都处于超负荷状态。这时候，有人打瞌睡，人为叫醒是很不人道，所有所以他们把接收自动化运维报警短信接收的手机接在大音箱上，并安装了报警灯，在有紧急情况时，办公室里警灯闪烁，警笛长鸣，可以保证问题得到解决。 当然，如此规模的活动，物质奖励是必须，周秋野向上级为每人申请了一台iPad mini作为无故障运行的奖励。不过警笛和警灯，还是iPad都是是外在手段，身体才是本钱，在“桃花节”大促后，周秋野意识到除了工作，还鼓励员工多锻炼身体，以便在大战时候体能上跟得上。 从周秋野分享的案例可以看出，自营电商的大促下的运维，需要一整套从业务到技术，从技术到管理，从理性到人性的