气象高性能计算机故障监控系统设计与实现.docVIP

气象高性能计算机故障监控系统设计与实现 　　摘 要： 气象高性能计算机在大幅提升气象部门数值预报能力的同时，给运维工作也带来了挑战。提出了一套轻量级，可拓展的高性能计算机故障监控系统设计方案，详细描述了系统的开发过程，以及开发过程中涉及问题的解决办法。系统部署后，宁波气象高性能计算机故障业务影响率从60%降低到10%以下。实践证明，该系统符合宁波气象的实际需求，也为高性能计算机故障监控系统的深入研究和开发提供了思路。 　　关键词： 高性能计算机； 气象； 故障监控； 监控系统 　　中图分类号：P409 文献标志码：A 文章编号：1006-8228（2017）08-90-04 　　Abstract： The meteorological HPC （high-performance computer） has greatly improved the numerical weather prediction （NWP） ability of meteorological department， and has also brought challenges to the operation and maintenance. In this paper， a lightweight and scalable design scheme of HPC fault monitoring system is proposed. The development process of the system and the solution to the problems involved in the development process are described in detail. After the deployment of the system， the business impact failure rate of Ningbo meteorological HPC has been decreased from 60% to below 10%. Practice has proved that the system conforms to the actual demand of Ningbo meteorological， and also provides a train of thought for the further research and development of HPC fault monitoring system. 　　Key words： HPC； meteorological； fault monitoring； monitoring system 　　0 引言 　　近年来，高性能计算机已经成为提升气象部门数值天气预报能力的关键因素[1-4]。气象高性能计算机运算任务密集，输入和输出数据量大，对时效性和稳定性要求很高[5]，一旦发生故障，轻则对天气预报的制作产生影响，重则对防灾减灾和人民群众的生命财产安全产生威胁。各级气象部门在高性能计算机系统的建设、管理和监控上进行了大量的研究。宗翔等[6]对高性能计算机系统的架构和技术方法进行研究，设计了国家级气象高性能计算机管理与应用网络平台；吕爽等[7]对四川省气象局IBM Flex P460高性能计算机系统的架构和管理方法进行研究，为西南区域气象中心数值预报系统的运行和研发提供了理论支撑。通过对高性能计算机系统的架构和技术方法进行研究，提升系统的健壮性，有效避免设计缺陷导致的系统级故障，如果能开发一套高性能计算机监控系统，对各类运行级故障进行监控报警，会有很高的实用价值。针对这一问题，秦运龙等[8-9]使用shell语言，基于Routrek.granados模块进行操作指令传递，通过Web页面对所有高性能计算机系统及作业进行监控和管理，设计并实现了华中区域高性能计算机监控管理平台，一定程度上解决了气象高性能计算机系?y运行监控问题，但系统也存在一些问题，如监控平台以网页方式存在，不支持手机短信方式提醒，无法实现无人值守情况下的运行监控和实时报警需求。 　　宁波市气象局高性能计算机监控系统满足了高性能计算机运行级故障监控和报警需求，打通了运维工作最后一个环节，有效提高了运维人员的故障处理速度，提升了气象高性能计算机的业务可用性。 　　1 监控系统需求分析 　　宁波市气象局IBM Flex高性能计算机（图1）主要运行WRF中小尺度数值天气预报模式，是提升宁波气象部门综合预报能力和精细化“无缝隙”数值预报的重要工具和载体。该系统由56台计算节点、1台管理节点、1台数据处理节点、1台登陆节点、2台I/O节点组成，峰值运算速度为每秒29万