故障响应机制1.2剖析.docxVIP

故障响应机制北京傻+逼信息技术有限公司2014年12月引言编写目的由于生产环境中经常会出现各种故障，一般通过两种途径：公司方人员发现、银行方人员告知。现场人员会发现问题不知道如何解决，也不知道该通知谁解决，经常会出现处理延误、沟通不畅等问题，导致客户满意度下降，客户信任度下降。另外现场人员要加强自身的沟通能力，第一要安抚客户、告知客户公司已经进行处理，第二要能简明扼要的说明现场情况、客户关注程度、问题导致结果等。本文档旨在提供一个规范化的流程，让现场人员做到有章可循，针对不同的故障级别找到响应的处理人员。从故障处理上，不仅可以体现公司的专业性，也能提高客户满意度。适用范围项目组的所有人员需要了解，在故障出现的时候能第一时间进行处理。领导组需要进行了解，知道各种级别的领导需要沟通。故障故障分类故障按照产生的后果进行分类，共分为四类。故障等级 故障说明 响应时间处理时间一级 一级故障：客户端无法使用，影响用户正常使用。当系统出现下列相当严重的现象时，属一级故障： ?? 系统后台服务器整体瘫痪，全部操作失去响应； ?? 客户端（安卓、iPhone、iPad等仅一种出现）崩溃、无法进入用户界面；?? 发生间歇性、随机性、重复性的启动或应用退出，无法保障客户业务的正常处理。 ?? 两个二级故障及以上，升级为一级故障≤2小时≤1天二级 二级故障：客户端整体可以使用，部分出现问题，影响用户的部分业务处理。当系统出现下列比较严重的现象时，属二级故障： ?? 系统后台出现了部分问题，导致用户使用出现问题；?? 客户端（安卓、iPhone、iPad等仅一种出现）部分功能失效，影响用户使用；?? 系统整体性能严重下降，无法自动恢复正常运行状态； ?? 重要数据、参数和配置信息损坏，无法恢复，导致客户数据及业务记录严重损失； ?? 三个三级故障及以上，升级为二级故障≤3小时≤2天三级 三级故障：客户端可以使用，出现的问题对用户的业务处理影响不大。当系统出现下列现象时，属三级故障： ?? 服务器端软件或者硬件出现异常，局部功能受限，系统整体仍可正常工作，对客户业务影响不大或存在隐患； ?? 关键备用设施因故障离线，主用设施仍能正常工作； ? 后台日志发现有系统出现问题的趋势，或者已经出现了交易成功率下降?? 客户端性能小幅下降，但不影响使用； ?? 系统运行指标（例如： I/O 效率、 CPU 效率）受到直接或间接影响，客户业务处理受小量影响； ?? 五个四级及以上，升级为三级故障≤6小时≤3天四级 四级故障：客户端可以使用，不影响业务处理当系统出现下列情况而不影响客户业务时，属四级故障： ?? 客户端界面出现显示问题，如ui不符合设计； ?? 后台系统中有大量的冗余信息，导致空间不足； ?? 系统硬件或者软件没有及时升级，不符合安全策略等等≤12小时≤5天故障响应时间表故障等级 通知公司响应人员作出解决方案赶到现场解决时间一级15分钟2小时8小时24小时二级30分钟3小时12小时48小时三级60分钟6小时24小时或无需到现场72小时四级90分钟12小时无需到现场120小时故障定级故障累积升级按照不同的故障分类需要进行相应的处理，但是有时问题会重复出现或者同类问题出现了多个，进行故障升级。例如：开发人员发现了一个ui问题，这是一个四级故障，他应该通知他的组长进行统筹处理，在该组长进行处理时发现了十个类似的问题，这个问题直接升级到三级故障，由该组长负责向项目经理通知，并进行全面查找问题，进行统一解决，做到故障的全部解决。??四级故障数 = 5，升级为三级故障??三级故障数 = 3，升级为四级故障??二级故障数 = 2，升级为二级故障处理能力不足现场人员如果在接到处理命令后，在两个小时内确认自己无能力处理该故障，那么要求责任人将故障升级，联系更高级别人员，进行统筹工作。如：发现一个后台日志异常，有明显变坏的趋势，且银行方已经发现了交易量有少量下降，这应该是一个三级故障，在内部响应后项目经理和高级开发人员进行了处理，但是找不到问题所在，那么直接上升故障等级，通知领导协调更高级的技术人员进行处理。客户关注程度客户的关注程度较高时，故障等级应做升级，如果现场人员不能确定客户是否关注程度比较高，可以通过以下几点进行判断：客户语气焦急，明显有些不耐烦，明令快速解决客户话语中透露出某某领导派他过来问，或者某某领导等着看，等等客户表明因为这个系统的问题，导致其他系统无法正常运作客户已经直接联系领导反映情况（这是非常糟糕的情况，3.4中会有说明）如果还不能判断出客户的关注程度，那么直接打电话给项目经理，如果项目经理也不能判断出客户关注程度，则按照客户关注程度一般处理。客户关注程度高时，故障+1级（如原故障二级，+1后变一级），已经是一级的无法再升级。关注程度一般时，不