HC第五章集群NAS存储系统故障处理资料.pptVIP

* CIFS应用分为Normal和homedir两类，在问题处理前首先需要确认故障种类。 * * 网络问题比较复杂，需要逐一排除： 文件系统、共享服务是否正常 虚拟IP是否正常（是否有offline\faulted状态） 路由是否正确配置 DNS、域控是否正常或正确配置 Bond模式是否正确配置 网络环境是否存在干扰（丢包、乱序、重传等） * 解决步骤：在网络管理人员的协助下，找到并修改地址冲突的那台主机的IP地址。 验证恢复：重新登录集群，通过master用户可以正常登录集群。 * 如果fs fsck 命令无法成功执行，需要使用support账户登入集群节点，首先使用cfsmntadm display命令查看文件系统是否依然mount，如果依然mount，使用cfsumount命令卸载文件系统 在suport账户下，使用fsck –t vxfs –o full –y /dev/vx/dsk/sfsdg/fs100g命令对文件系统做全校验 使用fs online fs100g命令上线文件系统 设置时区时先使用clock regions命令查找到设备所在地所属的时区，软后使用clock timezone clock Easten 设置时区即可 若依然无法恢复，观察故障文件系统上是否仍有业务运行，若有则先将业务中止，随后在CLI下执行fs offline fsname操作将文件系统下线；接着再执行fs online fsname操作将文件系统上线，即可解决。 如果没有mount，在master下使用fs online fs_strip使得文件系统上线，在使用nfs server start命令重启NFS服务修复 NFS服务恢复正常后，等待约5分钟后（若节点数和网口数较多，请适当增加等待时间），如果IP依然没有分布到其他节点，需要手动使用ip addr online命令重新分布IP * 故障处理的原则： 首先排除外部设备的问题。外部设备问题包括光纤、网线、客户设备和掉电等问题；内部问题包括产品部件的故障问题。 在分析告警时，应该按照级别的优先级依次进行分析，如先分析紧急级别的告警，再分析重要和警告级别的告警。 在分析告警时，应先分析是个别问题还是共性问题，确定问题的影响范围。需要确定是一个模块出问题，还是多个模块出现类似问题。 故障处理方法 当系统发生故障时，一般会伴随有大量的告警信息产生，通过查看告警信息并配合对性能数据的分析，可大概判断出所发生故障的类型和位置。 替换法就是使用一个工作正常的部件去替换一个怀疑工作不正常的部件，从而达到定位故障、排除故障的目的。这里的部件可以是一段光纤跳线、一根网线、一个电源模块或者一个风扇模块。 N8000设备的版本包括： 集群NAS引擎软件的版本 存储单元的软硬件版本 ISM管理软件的版本 收集N8000设备的日志信息包括： 集群NAS引擎的debug信息 存储单元的日志信息 ISM管理软件的日志信息 * 原始信息分析 主要用来判断故障的范围、确定故障种类，原始信息分析可以为缩小故障的定位范围和初步定位问题提供依据 指示灯状态分析 系统硬件（如集群系统、存储系统）都提供了相应的运行、状态和特性指示灯，可以直接反映硬件的工作状况，是故障分析和定位的重要依据之一 指示灯状态分析用于快速查找硬件故障原因，由于指示灯所包含的信息量相对不足，应与告警信息分析配合执行 告警信息分析 告警信息是指系统输出的告警信息，通常以指示灯、声音、屏幕输出等形式提供给维护人员，具有简单、明了的特点 告警信息包含故障现象、可能引起故障的原因、修复建议等，是故障分析的重要依据之一，可通过告警信息定位故障发生的位置和大致原因 告警信息分析 告警信息是指系统输出的告警信息，通常以指示灯、声音、屏幕输出等形式提供给维护人员，具有简单、明了的特点 告警信息包含故障现象、可能引起故障的原因、修复建议等，是故障分析的重要依据之一，可通过告警信息定位故障发生的位置和大致原因 日志信息分析 本系统提供详细的日志记录功能，故障分析时可通过日志信息了解系统运行状况。相对于告警信息，日志信息更详细和具体，可直接用于定位故障发生的原因 消息跟踪分析 消息跟踪可用于分析上网流程和设备间消息交互流程。利用跟踪结果，维护人员可直接定位故障原因，或从中得到启发，为后续分析提供宝贵的思路 N8000引擎节点硬件故障主要包括: 节点控制器的硬件故障 节点接口卡的故障，包括业务端口接口卡故障和连接后端存储单元的接口卡故障 节点系统硬盘故障 节点电源和风扇故障 引擎节点软件故障主要包括: 引擎软件安装和登录故障：无法通过master账号登录、CLI登录异常、引擎之间的信任关系异常 集群容错故障：物理路径异常导致的业务挂死、节点异