NPM应急处理手册.docVIP

npm应急处理手册 目录 1 总则 1 1.1 适用范围 1 2 突发事件分级分类 1 2.1 突发事件分类（示例） 1 2.2 突发事件分级（示例） 2 2.3 突发事件升级 2 3 系统重建 2 3.1 备份情况 2 3.2 主机系统恢复与重建 3 4 附件： 4 4.1 通讯联络清单 4 4 4 5 技术相关应急场景与应急处理（示例） 5 5.1 NPM应急预案 5 5.1.1 Dp应急预案 5 5.1.2 SP应急预案 5 5.1.3 Mongo迁移应急预案 6 5.1.4 MongoDb重启应急预案 8 5.1.5 NPM软件重装应急预案 8 5.1.6 License安装应急预案 9 5.1.7 临时文件清理应急预案 10 5.1.8 配置文件恢复应急预案 11 5.1.9 数据积压应急预案 11 总则 适用范围 本预案适用于预防和处置NPM网络性能监控的突发事件。 本预案所称突发事件，指NPM网络性能监控出现异常，影响业务的持续开展，需要采取应急处置措施的事件。 突发事件分级分类 突发事件分类（示例） NPM网络性能监控突发事件按事件现象分为六类：操作系统故障、应用系统故障、通讯故障、自然灾害、人为破坏、外部服务中断。 主机及操作系统故障类：指由于系统硬件、系统软件、通讯链路、基础设施等故障导致系统中断、系统性能大幅下降的突发事件。 应用系统故障：指由于应用软件故障等导致业务中断或无法正常开展的突发事件。 通讯故障：指由于通讯网络中断、网络攻击、计算机病毒爆发等原因造成系统与外围系统通讯异常，导致业务中断或无法正常开展的突发事件。 自然灾害类：指由于火灾、雷击、海啸、地震、重大疫情等自然灾害引起线路中断、设备损坏等事故，导致业务中断或无法服务的突发事件。 治安事件类：指由于黑客攻击、恐怖袭击等违法犯罪对生产设备造成损坏，导致系统无法正常服务的突发事件。 外部服务中断：指由于第三方系统因故障或其他原因停止服务，导致系统无法正常服务的突发事件。 突发事件分级（示例） NPM网络性能监控突发事件依照影响业务类别及持续时间等因素，分为三级：IV级（特别重大事件）和V级（重大事件）和VI级（较大突发事件）。 特别重大运营中断事件(IV级) NPM网络性能监控数据包泄露，导致银行客户账号信息泄露，从而对银行以及客户造成名誉和经济上的损失。 重大运营中断事件(V级) NPM网络性能监控服务器宕机不能够正常进行登录，同时不能够对业务系统的交易进行实时监控。 NPM网络性能监控服务器因为硬件损坏或操作系统升级补丁，产生不兼容，导致服务器不能正常运行 较大运营中断事件(VI级) NPM网络性能监控应用程序因为产品缺陷导致不能驱使应用程序正常运行，同时不能够实时监管交易系统的响应时间。 因为人员操作失误原因导致NPM网络性能监控系统不能够正常运行，同时不能够实时监管交易系统的响应时间。 突发事件升级 NPM网络性能监控突发事件发生后，应依据事件影响的范围、时间等因素的变化，按上述定义进行事件级别升级。 系统重建 备份情况 数据库备份情况： 由于NPM网络性能监控产品的数据库为内嵌式数据库以配置文件形式存在，数据分两部分，一部分是监控数据，另一部分是信息数据，针对监控数据采取定期清理自动清理的模式。 配置文件备份情况： 导出/导入视图 登录NPM web所在服务器执行以下命令进行操作，所有命令适用于lcv，dcv，spv。 导出视图 Mongoexport -d npmweb -c spv -o /tmp/spv.json 导出指定视图 Mongoexport -d npmweb -c spv -q ‘{“name”:”spv1”}’-o /tmp/spv1.json 导入视图 Mongoimport -d npmweb -c lcv --file /tmp/spv1.json 主机系统恢复与重建 NPM网络性能监控的重建分主机操作系统、数据库、应用程序的重建。重建情况分析如下： 数据库与应用程序未做HA，不能实现系统故障自动切换； 数据库或应用程序出现故障，可将相关备份数据放至一台预备机器上，修改配置后即可在短时间内迅速搭建起服务； 数据库和应用程序同时出现异常，可将相关备份数据放至一台预备机器上，修改配置后即可在短时间内迅速搭建起服务； 如果网络出现异常，由于采用的是双网卡绑定ip机制，如果有一个网卡能用，可以自动切换。 重建步骤如下： 安装操作系统进行常规配置如：“规划磁盘阵列进行文件系统划分，IP地址配置、防火墙配置、服务器主从配置等” 安装应用程序并对应用程序进行基础信息配置。包含如下数据 npm服务配置：/opt/npm/backup，/opt/npm/etc 探针配置：/opt/smartprobe/etc 恢复数据