全省职业考试时服务器突然瘫痪，如何搞定？.docx

全省职业考试时服务器突然瘫痪，如何搞定？ 本文章来自于阿里云云栖社区 摘要：?某省政务云反馈：即将进行的全省职业考试的服务器重启后无法访问，导致全省在线考试系统瘫痪，如果不尽快解决，将影响上万个准备了数月的考生，时间紧迫，要求紧急处理。阿里云售后工程师先“曲线救国”优先保证启动系统，又抛除惯性思维，一步步梳理出症结所在。涉及的技术谈不上精深，但案例和总结都鲜活而生动。 本期云享团的分享嘉宾是闻战，擅长系统故障分析排查，热爱技术挑战。聚焦弹性计算方案应用。 对于云计算服务，闻战是这样理解的：“每一次托付，都是使命与责任并行！” 事件概述： 前几天，阿里云突然接到某省政务云反馈：即将进行的全省职业考试的服务器重启后无法访问，导致全省在线考试系统瘫痪，如果不尽快解决，将影响上万个准备了数月的考生，时间紧迫，要求紧急处理。阿里云售后工程师快速排查发现 Redis服务启动异常，导致后续启动条目卡住，随后尝试单用户chkconfig禁用该服务，优先保证启动系统。但是，重启后发现该组件再次启动，chkconfig多次强关无效。检查rc3.d、rc.local、profile、crontab等脚本并未发现针对redis服务的相关调用。 Hot点： 1、Linux启动流程。2、服务启动顺序分析。3、问题分析的方法思路。 影响程度：【紧急】 架构梳理： 情景复现： 1、主机启动后，ping测试，EIP无法ping通。2、VNC检查ECS服务器状态，停在启动进度条，按ECS键查看启动过程，发现redis服务启动异常。 至此，小伙伴大多会初步判定redis服务启动异常，可以尝试禁用Redis服务后，优先保障系统正常启动，按提示写入相关语句到rc.local，进行后续排查，一个并不算太复杂的故障。 But，处理过程没有想象的这么顺利…… 无法禁用的小强 1、重启服务器可以正常进入单用户模式，执行chkconfig命令禁用redis服务。 [root@iZ****strong ~]# chkconfig --list|grep redis-server redis-server 0:off 1:off 2:on 3:on 4:on 5:on 6:off [root@iZ/strong**strong ~]# chkconfig redis-server --level 2345 off [root@iZ/strong**strong ~]# chkconfig --list|grep redis-server redis-server 0:off 1:off 2:off 3:off 4:off 5:off 6:off [root@iZ/strong**** ~]# reboot 重启服务器后，神奇的一幕出现了，服务器再次停留在redis 启动界面。 2、此刻我是怀疑人生的，难道redis服务没有禁用成功。 为排除原系统干扰，选择通过LiveCD方式切换chroot检查原系统配置。发现redis服务确实已关闭。 [@bash]$ sudo su [root@bash]# mount /dev/xvda1 /mnt [root@bash]# chroot /mnt [root@bash]# chkconfig --list|grep redis-server redis-server 0:off 1:off 2:off 3:off 4:off 5:off 6:off [root@bash]# cat /etc/rc.local #!/bin/sh # This script will be executed *after* all the other init scripts. # You can put your own initialization stuff in here if you dont touch /var/lock/subsys/local 3、按照redis启动时的报错，在rc.local添加对应语句，检查rc.local 已经777有执行权限。保存重启后，还是卡在redis启动界面。 [root@bash]# echo “echo never /sys/kernel/mm/transparent_hugepage/enabled”/etc/rc.local [root@bash]# ls -al /etc/rc.local lrwxrwxrwx. 1 root root 13 Aug 14 2014 /etc/rc.local - rc.d/rc.local [root@bash]# reboot