软件工程课程支持事故结.pdfVIP

总结

⼀个真实的事故

▸部⻔：计蒜客核⼼⼯程开发部

▸发现⽇期：2016年9⽉24⽇、9⽉25⽇

▸项⽬：⼯程课程判题、命令⾏引导课程

▸事故描述：

▸1.「超时实例销毁接⼝」在9⽉22⽇的升级中更换了接⼝名称，调⽤接⼝的相关程序未及时更新

被调⽤接⼝对应的接⼝名称。这⼀过程中存在接⼝更换未⼴播⾄接⼝消费者的情况，造成消费者

在得到报警并进⾏排查过程中未能及时排除问题。

▸2.未正确接⼊服务报警系统Sentry，服务出现异常后未被及时发现，响应速度过慢。

总结

结构及关键问题

!

回收落到外⼀层的「意

外清扫保障监护程序」，

导致服务器最终超载。

总结

事故处理过程

▸9⽉24⽇傍晚，接到⽤户侧反馈功能可⽤性差（VIM打开后部分条件下⽆法

看全，只能按要求输⼊）的问题，前端⼯程组对VIM进⾏升级

▸9⽉25⽇出现服务连接中断问题，系统⼯程师投⼊⼯作，对实例进⾏⼿动清

扫，恢复线上可⽤；误判为业务压，采取了将服务器性能进⾏拓展的处

理策略。

▸9⽉25⽇晚间，项⽬经理介⼊，发现课程在线使⽤与实例峰值不匹配，

帮助系统⼯程师定位实例销毁不正常的问题，并发现接⼝被修改问题。

22：40分完成修复并对所有相关服务代码进⾏上线部署，恢复服务。

总结

系统性事故

▸线上疏漏：对于合作产品的重视度不够，未接⼊报警系

▸接⼝变更未通知：沟通环节存在严重问题，接⼝⽣产者对于接⼝消费者未

及时通知，违背了⼯作流程，埋藏问题。

▸⽂档更新滞后：接⼝⽣产者在接⼝变更后未对⽂档进⾏更改，造成接⼝消

费者⽆法及时排除出问题。

▸测试存在死⻆：接⼝消费者未正确添加接⼝相关的测试⽤例，导致接⼝⽣

产者部署代码时，⾃动化部署程序未拒署。

总结

事故总结

▸靠软件⼯程吃饭的⼈，学了软件⼯程，却在实践上对⾃⼰没能严格要求。

▸软件统⼯程，各环节之间都要做到「相信但不依赖」

▸接⼝消费者不能认为接⼝就不会「挂」，不写测试⽤例

▸接⼝⽣产者不能认为接⼝消费者⼀定会写了对应的⽤例，就不进⾏沟通

▸接⼝⽣产者不能随意的认为「后补⽂档」是⼀个安全的做法

▸运维⼯程师对于⼀个上线后的系统不接⼊报警不能

希望我们这次的事故，能对⼤家有所帮助

也诚恳的向各位同学道歉！

软件⼯程不是说⼀说，更不能当成就上⼀⻔课的事情

软件⼯程是⼤家这么多年的教训和经验的积累，⼀定要重视并且投⼊实践

Email:yuhaoran@

WeChat:haoran_yu