大数据下结构性态监测信息管理系统设计与应用.docVIP

大数据下结构性态监测信息管理系统设计与应用 　　摘要：论述了一种适用于处理海量监测数据的结构性态监测信息管理系统（MIMS）的设计方案.基于三层浏览器/服务器架构搭建软件系统，利用多服务器协同工作机制提升系统性能.应用大数据技术，充分考虑海量监测数据对数据管理系统的高要求，选用MongoDB数据库作为数据管理平台，论述了数据库结构和采用的数据格式.最后以宁波南站结构性态监测为例，展示了系统的实现效果.结果表明该系统具有很好的扩展性和通用性，每天可接收远程数据约10 GB，能实现对海量监测数据的实时吞吐和高效组织管理. 　　关键词：结构性态监测；大数据；MongoDB数据库；多服务器协作；浏览器/服务器 　　中图分类号：TP274 文献标识码：A 　　土木工程领域的结构健康监测研究始于上世纪70年代末.目前，对结构健康监测技术的研究大多集中在传感网络子系统设计及损伤识别和安全预警等方面.在结构性态监测软件的开发方面，近几年也出现了一些技术创新和实践成果，如土石坝安全监测软件[1]、桥梁结构健康监测系统软件[2]和上海中心大厦结构健康监测软件[3]等.但这些软件基本上都是针对特定结构开发，系统的可移植性、可维护性和可扩展性表现较差.在监测数据的组织管理方面，已有的结构性态监测软件大多是从海量的监测数据中获取有效的关键数据形成数据报告，不能实现全部监测数据的实时吞吐，并且存在数据采集与存储不同步的问题. 　　随着物联网、云计算和社交网络等新兴技术与服务的出现，数据类型和数据量正以惊人的速度扩张，如何更好地管理和利用大数据开始备受关注[4-6].在结构健康监测中应用大数据技术，对实时监测数据流进行统计分析，可以预测出数据发展的趋势，从而实现系统对结构损伤的识别、诊断和预测.达到这一目的的关键在于实现监测数据的实时吞吐和高效组织管理.由于土木工程结构健康监测与物联网的融合以前所未有的速度生成数据，这些数据即使经过过滤，只保留有效的数据，其数据量也是惊人的庞大.如何实现对海量监测数据的组织、存储、查询和分析，既是实现对结构全寿命周期跟踪式在线监测的前提，也是对结构进行有效的损伤识别和安全评定的基础. 　　针对以上问题，本文提出一种大数据技术下的结构性态监测信息管理系统（MIMS）设计方案.该方案以实现高效的数据管理和安全的数据共享为目的，实现监测数据实时或近实时的、动态的、数字化、网络化和可视化的管理.系统已应用于多个大型项目的结构健康监测，如宁波南站、上海中心大厦、兰州西站和上海世博轴阳光谷等. 　　1系统架构 　　目前，基于网络化的监测软件实现模式主要有两种方式，一种为客户机/服务器（Client/Server， C/S）模式，另一种为浏览器/服务器（Browser/Server， B/S）模式[7]. 　　B/S模式是Web2.0兴起后的一种网络结构模式，该模式由服务器安装数据库和Web应用，承担系统的核心功能；客户机安装浏览器作为客户端，浏览器通过服务器端的Web应用间接同数据库进行数据交互.这一模式解决了传统C/S模式中专用客户端软件开发成本高，升级维护困难等问题（见图1）. 　　该体系结构具有以下优点： 　　1）广域网/局域网都可使用，对客户端软硬件环境要求不高，只要有操作系统和浏览器即可； 　　2）各层在逻辑上相对独立，具有很好的灵活性、可重用性和可扩展性； 　　3）系统功能集中在服务器端，可随时进行更换或更新，从而实现无缝升级，降低系统维护成本； 　　4）可添加用户管理机制，利用业务逻辑层阻止未授权用户访问数据层，实现数据的安全管理； 　　5）浏览器即客户端，一方面可降低开发难度和成本，另一方面可充分利用页面制作技术与用户进行更加生动和丰富的交流. 　　2系统功能实现 　　2.1服务器软件 　　MIMS的功能主要包括数据的采集与接收、过滤与转换以及处理与查询，如图2所示.系统核心功能集中在服务器端.考虑到各功能环节对服务器有各自不同的要求，且具有不同步性，因此将各个功能模块设计成相互独立的服务器软件. 　　MIMS的运行模式是以系统的自动运行为主，一旦服务器软件或硬件出现故障，系统的运行将终止，如果不被及时发现并加以维护将会造成不可预计的数据损失乃至工程损失.因此，MIMS设计有独立的自检服务器软件，以实时监视服务程序，当有异常状态发生时，以邮件和短信的方式通知相关技术人员. 　　2.2多服务器协同机制 　　MIMS采用多服务器协同机制对服务器进行管理.Internet的快速增长要求服务器具备提供大量并发访问服务的能力，因此对于大负载的服务器来讲，CPU，I/O处理能力成为瓶颈[8].通过提高硬件性能来提高单台服务器性能的效果有限，而采用多服务器协同工作机制和负载均衡技术可以很好