北京铁路局硬件监控及监控平台集成项目-成果汇报.ppt

? 2006 Hewlett-Packard Development Company, L.P.The information contained herein is subject to change without notice ? 2006 Hewlett-Packard Development Company, L.P.The information contained herein is subject to change without notice 北京铁路局硬件监控项目阶段成果汇报 议题 项目背景及目标 项目阶段成果汇报 对未来的展望 项目背景及目标 业务 应用 硬件 系统 调度业务 客票业务 应用端口 数据库 中间件 日志 进程 系统状态 系统负荷 文件系统 CPU 内存 交换分区 Kernel 电源 在确保安全第一的思路指导下，为了落实“变故障修为状态修”的工作要求，我们对当前业务系统监控现状进行了分层梳理 梳理发现，目前的监控范围主要集中在应用、系统两个层面，对业务监控和底层硬件监控存在一定盲区 硬件是最底层的基础架构，监控的缺失形成了巨大的业务系统安全隐患 本期项目目标是完成对客票、调度业务系统、33台关键主机进行监控，优先采用带外监控形式，如条件不允许则采用带内监控 技术方案：通过HP监控软件进行数据采集，并进行处理、转移等工作后，发送到综合监控平台呈现 项目阶段成果汇报项目实施情况说明 目前已经实现对TMIS系统的硬件监控 1、带外管理，目前已经接入管理4台SuperDome2设备； 2、带内管理，目前已经接入管理6台SuperDome1设备、2台rx8640设备； 3、与综合监控系统的数据接口已经开发完成并已上传数据； 带外管理具有与业务网隔离的特点，安全性更高，因此优先采用带外管理的方式 目前通过系统已经2次发现真实告警信息 项目阶段成果汇报带外方式主要监控指标 硬件分类 监控采集项-配置 CPU 单个CPU主频 内存 单条内存大小 单条内存工作载频 风扇 风扇位置 DVD DVD 序列号 硬件分类 监控采集项-性能 CPU 单个CPU线程数量，是否可超频 电源 总体电源消耗量 风扇 单个风扇实际每分钟转速 温度 刀箱当前温度 单个刀片服务器当前温度 XFM 温度 GPSM 温度 IOX 温度 DVD DVD 序列号 硬件分类 监控采集项-告警 CPU 单个CPU当前工作状态异常 内存 单条内存工作状态异常 对于单个主机，是否有内存损坏情况 电源 总体电源工作状态异常 总体电源允余情况异常 单个电源工作状态异常 电源通电情况异常 XFM电源状态异常 风扇 风扇总体运行状态异常 风扇总体允余情况异常 单个风扇当前工作状态异常 温度 刀箱温度过高 单个刀片服务器温度过高 DVD DVD 状态异常 VM DVDMEDIA 状态改变 项目阶段成果汇报带内方式主要监控指标 硬件分类需求 事件分类 CPU CPU损坏 CPU温度过高 内存 内存ECC错误 可校正内存错误 内存损坏 网卡 网卡连接丢失 网卡硬件损坏 电源 电源损坏 电源被移走 5V电源告警 48V电源告警 电源温度告警 物理盘 物理盘损坏 物理盘被移走 风扇 风扇损坏或被移走 光纤卡 光纤卡连接丢失 温度 系统温度报警 项目阶段成果汇报项目实施情况说明 目前监控到的告警举例： 11月22日12:00 Avmon监控到ip为10.64.2.136的风扇报警，并上传到综合告警平台。 经过硬件工程师确认是22号工程师现场巡检时主动更换了IO FAN，这个告警是拔掉IO FAN时报出来的。 告警标题：(WBEM) HP-UX WBEM 核心硬件 (FPL) 事件 告警内容： Summary： IO Fan Failed Description： An IO Chassis cooling fan has failed. Depending on the number of fans still operating, the cabinet may or may not shut down. View Error Log entries to determine if the cabinet is operating. If many log entries call out entities powering off during the same time frame as this IOFAN_FAIL, the cabinet has probably shutdown. Carefully review the log for the first few events within the