中国移动无线城市系统汇.pptVIP

无线城市运营组织架构 研发中心 运营经理 无线城市运营组织 运维支撑 产品经理 平台研发 客户端研发 产品测试 客服 平台维护 项目经理 内容 建议为100086 主要的工作职责 通过数据库查询得到总用户数，每日增加用户数 通过WEB页面查询得到用户总登录次数和每日登录次数 通过WEB页面查询得到内容访问量统计 通过WEB页面查询得到内容访问量统计 通过WEB页面查询得到内容热度排名统计 完整的数据统计能力 统计数据- 用户数统计及登录次数月统计及总计 通过例行监控检查,发现问题,定位级别（A/B/C三级别）,进行上报、及时修复处理 接受客服及其他部门的故障申告,确认问题,定位级别,进行处理 故障处理完毕后，应立即验证问题是否得到解决，确定解决后，填写《故障处理表》中的处理项，并将文件存档 对于定义中的重大事故以上级别的故障，应该于故障处理并验证完毕后，每 隔半小时共3次验证此问题是否复现 对于验证重现的故障，提升故障等级至最高级别，应该进行问题专项报告， 以研究解决问题对策 处理方法： 第一、确认故障后,根据故障级别进行相关上报得同时，获得故障环境的运行状态信息判断问题所在，及时修复故障处理； 第二、要有快速、准确的问题定位能力和响应能力； 第三、以保障线上业务的正常服务为最高优先级作出响应； 第四、不能快速解决的问题要及时向相关部门反馈知相关人员,寻求技术及资源支持, 提出解决方案，得出解决方案和办法后第一时间实施解决。 完整的故障响应机制及处理能力 故障处理总流程 服务器方故障：确认网络连接是否异常，能否登陆远程主机，如果能够登陆则通过ifconfig检查本机设置是否变更，用ping命令检查主机对内、对外和DNS是否异常。检查服务器进程是否正常，端口监听是否正常。如果出现服务器故障，要第一时间通知深圳总部，全力配合深圳方和移动方解决问题，做好记录工作。 直 播 故 障 ： ES部署于移动药勒机房，如果ES发生故障，无法播放等情况，通知深圳运维总部人员，并在配合及时处理问题，通过操作机顶盒或者重启ES等解决此方面的问题。 监 控 故 障 ：首先确认是否是后台服务器方的问题，然后确认监控点网络和电源情况，如果能够远程访问ES，登陆上去看看配置情况，必要时重启ES。如果无法确认是否是平台侧的问题，需要临时派遣一名人员去实地查看，并记录查看的结果。 网络故障 ：首先检查时内网故障还是外网故障，如是内网故障则本地运维人员进行排查。如是外网故障则需要移动网维协助排查 常见故障类型及处理方法 故障处理案例一: 时间:2009年11月25日 级别:A级 处理流程: 1、检测故障(现象为所有服务器不能登录)-----再次检测(确认是A级故障)-----进行相应的故障汇报及下一步的处理流程 故障案例 2、检查主防火墙 (不能连接)-----检查备防火墙 (不能连接)-----PING所有服务器的公网IP检查网络情况(确认所有公网IP都断网)-----初步定位问题为网络侧问题 故障案例 3、联系机房网络人员-----告知其情况(让网络人员检查网络设备及数据是否良好)-----跟网络人员一块过机房现场(远程检查不出网络问题) 故障案例 4、检查服务器间的内网情况(都能互通,确认交换机工作良好)-----检查服务器是否能访问外网(不能访问外网)-----检查网络设备的线路(防火墙出外网端口不亮)----- 光纤线路有问题-----移动网维解决-----检查业务(所有业务恢复正常)-----进行汇报工作以及故障报告的编写 故障案例 故障处理案例二: 时间:2009年11月16日 级别:A级 处理流程: 1、检测故障(服务器不停的向外部发送连接请求)-----再次检测(确认是A级故障)-----进行相应的故障汇报及下一步的处理流程 故障案例 2、检查进程 (发现可疑进程)-----终止可疑进程 (KILL -9 PID)-----找出可疑文件-----删除可疑文件并做记录 3 、针对故障做出相应改进 a.修改远程登录端口 b.限制用户登录,加强用户权限限制 c.关闭不需要服务 d.开启用户审计和服务审计等功能来降低服务器风险 故障案例 记录每次故障详细情况 定时对出现故障进行检查 定时进行硬件检测并做记录 通过检查排除可能出项故障隐患 故障文档归档归档 故障总结 物理环境管理和维护 网络基础设施管理和维护 数据存储设施 系统平台管理 应用系统管理和维护 数据管理和维护 安全管理措施 现有维护水平 为保证机房内所有设备的安全、稳定、无故障运行，监控机房的环境、监测并定期检查电源、通风、接地等所有机房设施的工作状态，发现