移动公司MDCN网络系统应急预案.docVIP

新疆移动公司MDCN网络系统 应急预案 新疆诚天信息技术服务有限公司 目录 1 总则 3 1.1 编制目的 3 1.2 编制依据 3 1.3 适用范围 3 1.4 预案执行原则 3 2 应急组织架构及职责 4 3 应急预案执行有关保障措施 4 4 网络现状描述 4 5 故障预想 5 5.1 各地州9303端口翻动： 5 5.2 各地州7206上链路翻动 5 5.3 各地州7206路由器出现接入模块不正常情况： 6 5.4 各地州9303出现机箱或者引擎不正常情况： 6 5.5 各地州7206路由器出现机箱或者引擎不正常情况： 6 5.6 核心设备12016故障情况： 7 5.7 核心设备西北路7304故障情况： 7 5.8 核心设备6509故障情况： 7 5.9 出现路由方面的故障： 8 5.10 ASA防火墙出现故障情况： 8 5.11 出现网络丢包或响应变慢： 8 6 故障处理流程 9 6.1 应急故障处理流程 9 6.2 应急故障处理步骤 10 6.3 故障升级处理流程 11 7 问题管理 12 7.1 问题管理的目标 12 7.2 问题管理流程 13 7.2.1 问题控制 14 7.2.2 错误控制 15 8 小结 16 总则 应新疆移动公司DCN系统客户的要求，为DCN系统网络系统出现紧急情况时能够迅速响应并及时作出有效的判断和处理。特制定本预案。 编制目的 根据我们对新疆移动公司DCN系统需求的理解，本预案主要目的包括： 对DCN系统可能的问题进行预设 建立应急组织机构，明确职责 在发生重大网络故障时，最大限度的缩短故障恢复时间； 最大限度的减少故障发生的次数。 编制依据 编制本预案的主要依据包括： 目前网络系统架构及功能分析 前期发现和处理的故障记录 适用范围 本预案主要适用于新疆移动DCN系统中由我公司提供维保服务的设备。 预案执行原则 处理某一业务网络的故障时，应以不连带影响其他相邻网络设备出现故障为准。 处理网络故障时，如能通过修改网络配置解决故障，应尽量避免更改网络结构，并对所修改配置做好记录。 处理网络故障时，如可能是设备硬件物理故障原因，则应以尽快处理故障为原则，尽量将设备替换或将业务倒换到没有故障的设备上，然后再行定位设备故障原因。 如网络设备故障可能引发其它应用系统故障，应在故障处理同时告知其他人员联动处理，避免故障处理延时。 如网络设备故障对最终用户使用产生影响，应及时沟通前台人员，统一解释口径。 应急组织架构及职责 当发生紧急故障并启动应急预案时，需要强有力的组织保障，在本预案中，设立二级体系，主要包括应急救援指挥机构及现场救援实施机构： 应急救援指挥机构：由新疆移动DCN部门负责人和诚天技术总监等组成。 现场救援实施机构：包括新疆移动DCN系统维护工程师及诚天科技维护工程师。 现场救援实施机构人员组成： 序号 人员姓名 单位名称 主要职责 备注 1 梁勇 吴晓忠 新疆移动 应急处理过程中的配合支持 2 程焱、张涛、汪建 新疆诚天信息 应急处理现场负责人 应急预案执行有关保障措施 在处理紧急突发事件过程中，需要一系列相关保障措施，确保应急处理的顺利进行： 人员保障，突发事件发生时，应确保应急组织架构相关人员立即就位。 装备保障，包括电脑、螺丝刀等有关安装调测用；各种备件等。 通讯保障，所有相关人员的联系手段必须通畅 车辆保障，为保障处理的时效性，建议由新疆移动提供应急处理的车辆支持。 手续保障，为确保人员及备件等物品时顺利进出机房，需要新疆移动协助进行有关手续办理。 网络现状描述 目前DCN系统由三大核心节点组成，包括南湖路，西北路，北京路。西北路节点由两台12016作为核心路由器，北京路和南湖路以NE40做核心，下面由2台65或者85提供本地接入。各核心节点路由器通过POS链路加N*E1链路连接到各地州，地州由两台7206做路由器，下面两台9303本地接入。全网运行ospf和bgp，通过mpls vpn区分网络上不同的业务，vpn间的访问均通过各地州E500防火墙实现安全控制。 故障预想 结合目前网络现场及前期故障处理，编写该故障预想，主要从设备链路、设备模块、设备、路由等几个方面考虑： 各地州9303端口翻动： 采用以下步骤逐步排查故障： 用命令display diagnostic-information 核查端口硬件信息是否正常； 用命令display interface 端口号 核查端口状态； 查看端口下连设备物理状态； 恢复措施： 如果已经改造具备冗余保护，可考虑先断掉flap端口，保证业务，随后排查 如果不具备冗余保护，至少应有冷备链路，手工更换链路，端口 各地州7206上链路翻动 采用以下步骤逐步排查故障： show int查看端口是否已经up sho