基于Hadoop的轴承监测海量数据的存储与管理.docxVIP

基于Hadoop的轴承监测海量数据的存 储与管理 盖相庚 石家庄铁道大学信息科学与技术学院 摘要： 针对高速机车转向架滚动轴承监测数据的格式多样化、数据量激增带来的管理和 存储问题，在分析监测数据特征和数据量大小的基础上，构建了树形索引结构 对滚动轴承状态监测海量数据进行管理。利用研究所当前的软硕件环境，搭建了 分布式集群系统存储海量监测数据，并对集群系统在存储和管理海量数据时的 可用性和稳定性进行了探讨。通过对实际数据的测试和分析，结果表明基于树形 索引结构的分布式集群系统能在一定程度上满足滚动轴承状态监测非结构化海 量数据存储和管理的要求。 关键词： Hadoop;海量数据;存储管理;滚动轴承; 作者简介：马新娜(1978-)，女，博士，研究方向为数据处理。 收稿日期：2017-01-09 基金：国家自然科学基金项目 Storage and management for massive data of bearing detection based on Hadoop technology MA Xin-na GAI Xiang-geng School of Informatin Science and Technology, Shijiazhuang Tiedao University; Abstract： The monitoring data of rolling bears in high speed locomotive bogie presents a variety of formats. The monitoring data volume grows rapidly. Tt causes management and storage problems. Based on the analysis of the monitoring data characteristics and data size, a tree index structure is put forward to manage the massive data of rolling bearing dctcction in high speed locomotive bogie. Using the current software and hardware environment of the institute, a distributed cluster system is built to store massive monitoring data. Then, the avallability and stability of cluster system in storing and man aging massive data are discussed. Through the test and analysis of the actual monitoring data, the resuIts show that distributed cluster tree index structure can satisfy the management and storage requirements for massive data of rolling rnonitoring. Keyword： Hadoop; massive data; storage and management; rolling bearing; Received： 2017-01-09 0引言 滚动轴承是现代机械设备中的关键部件之一，滚动轴承的运行情况直接关系到 机械系统能否正常运行（包括进度、可靠性、寿命等）1±1。滚动轴承通常要在 高温、高速、露天等恶劣环境下运行，非常容易遭受到损坏。因此，对机械设备 中的滚动轴承健康状态进行监测是十分必要的宜。随着电子测控技术的发展， 滚动轴承状态监测信息采集系统日益复杂。监测布线点数不断增加;监测信号类 型从温度、振动到图像、视频等状态数据格式呈现多样化趋势。随着计算机技术 的发展，计算性能的提升，滚动轴承状态监测已从原來的故障在线诊断技术逐 步发展为在线诊断、离线分析、健康状态跟踪、故障演化分析、状态预警等研究 领域[3] o这些基于智能计算的深度学习研究需要海量监测数据作为支撑[4-5] o 滚动轴承健康状况监测数据正在以指数级速度增长，而且数据结构繁杂，非结 构化数据特征明显。传统单机模式的数据存储方式无法完成海量数据的存储，串 行数据管理方式无法及时有效地对海量数据进行统计分析归1。本文以高速机 车转向架轮对滚动轴承状态监测实验数据为例，利用机群建立分布式