大数据技术及其在土木工程中的应用.PDFVIP

第五届工程建设计算机应用创新论坛论文集 上海·2015 大数据技术及其在土木工程中的应用 1 马智亮 ，刘世龙，刘喆 （清华大学，北京100084） 【摘要】大数据技术相比于传统的数据分析技术可以实现对海量数据的快速处理和价值挖掘，当前已经应 用于医疗、能源等行业。为探寻大数据技术在土木工程中的应用前景，首先需要把握其应用现状。本文在 Web of Science 数据库、Engineering Village 数据库以及中国知网等国内外有代表性的文献数据库中检索相 关文章并做归纳分析，总结大数据技术在土木工程中的应用现状，并预测在土木工程中应用大数据技术的 发展趋势，为在土木工程中进一步应用大数据技术提供参考依据。 【关键词】大数据技术；土木工程；大数据应用；数据处理；价值挖掘 1. 前言 近几年，随着互联网的快速发展，在互联网上发布、传递和共享信息产生了大量的数 据，同时，传感器和物联网在交通、环境等方面的大规模使用也使得数据呈现爆发式增长。 另外，通过实施企业信息化，大量的管理数据也积累在企业管理信息系统中。根据国际数 [1] 据公司 （International Data Corporation ，IDC ）的报告 ，2011 年全球数据总量已达 1.8ZB （1ZB=240GB ）。这些数据不仅包含结构化数据，还包含半结构化数据和非结构化数据。对 这些数据进行分析和处理，可以得到大量有价值的信息。利用传统数据处理方法处理这些 海量数据时往往效率较低，而且半结构化和非结构化数据的存在也给数据处理带来困难。 这些在有限时间内用传统数据处理方法无法处理完的数据，通常被称作大数据。虽然 对大数据的分析要比对传统数据的分析困难，但大数据蕴含巨大价值，对大数据进行有效 挖掘可以得到传统数据无法分析得到的价值，因此专门用于大数据处理的大数据技术已应 [2] [3] [4] [5] [6] 用在医疗行业 、能源行业 、通信行业 、零售业 和科学研究 等。 为了应对大数据的挑战和机遇，各国政府都提出了相应的应对措施。2012 年3 月美国 政府启动大数据发展计划，该计划斥资2 亿多美元，将利用大数据技术在环境、生物医学 [7] 等领域进行突破 。2015 年9 月我国国务院印发《促进大数据发展行动纲要》，提出形成政 府数据统一共享交换平台的目标，并对促进大数据产业健康发展、规范利用大数据保障数 据安全等方面做出部署。 土木工程支撑基础设施及民众住房建设，很明显，土木工程中会产生大数据，且土木 1 【作者简介】马智亮，1963 年生，男，教授，长期从事信息技术在土木工程中的应用研究。 第五届工程建设计算机应用创新论坛论文集 上海·2015 工程中涉及大量决策，可以预计，大数据技术在土木工程中具有良好的应用前景。本文旨 在总结大数据技术在土木工程中的应用现状并预测其发展趋势。为此，首先阐述大数据技 术的关键概念，然后基于文献调研分析大数据技术在土木工程中的应用现状和发展趋势。 2. 大数据及大数据技术简介 2.1 大数据及大数据技术 当前大数据并没有统一的定义，不同的定义试图通过描述大数据的特征给出定义。 [8] Grobelnik 认为大数据的特征为：体量大（volume ）、多样 （variety ）和高速 （velocity ） 。 [9] 国际数据公司IDC 则认为大数据具有以下四个特性 ： 1）体量大：大数据处理的数据集体量大，一般为TB 或PB （1PB=210TB ）级别，超出 传统数据处理方式的处理能力； 2 ）多样：数据来源广泛，包含结构化、半结构化和非结构化数据；