大数据在职业安全健康领域的应用初探.pdfVIP

中国职业安全健康协会 2013 年学术年会论文集 大数据在职业安全健康领域的应用初探 李雷 （防化研究院第一研究所 北京市花园北路 35 号西楼） 【摘 要】本文讨论了大数据的提出、发展以及特点，并对大数据在职业安全健康领域的应用 提出了思考和建议。 1 前言 大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工 具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。随着 以博客、社交网络、基于位置的服务为代表的新型信息发布方式的不断涌现，以及云计算、物联网 等技术的兴起，数据正以前所未有的速度在不断地增长和累积，大数据时代已经来到。 “大数据”一词早在 20 世纪 80 年代就已经出现，最早提出“大数据”时代已经到来的机构是全球 知名咨询公司麦肯锡。麦肯锡在研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐 渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮 的到来。但是一直以来，“大数据”仅仅是作为数据挖掘技术定义中“海量数据” 的另一种表述，局限 于计算机学科中的“海量数据”挖掘与处理技术等研究，并未形成具有影响力及代表意义的突出研究 成果或研究方案。2008 年，《Nature 》杂志出版专刊《Big Data》，基于多个学科的实际研究现状系 统地介绍了“大数据”所蕴含的潜在价值与挑战[5]。自此，“大数据”正式登上科学研究的大舞台，并 成为各个学科中的研究热点问题。而 2011 年，《Science》杂志出版的专刊《Dealing with Data》则 标志着“大数据”时代的到来[6]。“大数据”时代的来临，标志着传统数据挖掘方法已经不再适应日新 月异的数据环境，在数据采集、数据存储、数据分析以及可视化等诸多方面捉襟见肘。与此同时， 各行各业对数据的依赖性有增无减，甚至以数据为基础的定量分析方法也有逐步取代耗时耗力的以 专家为基础的定性分析方法的趋势。 据图灵奖得主 Jim Gray 和 Jnan Dash 在“科学的第四个范式” 中的预测，数据密集型科学将成为 人类科学研究的第四个范式。继实验科学、理论科学、计算机科学之后，以大数据为代表的数据密 集型科学将成为新一次技术变革的基石。 2012 年 3 月，美国奥巴马政府宣布推出“大数据的研究和发展计划” 。该计划涉及美国国家科 学基金、美国国家卫生研究院、美国能源部、美国国防部、美国国防部高级研究计划局、美国地质 勘探局等 6 个联邦政府部门，承诺将投资两亿多美元，大力推动和改善与大数据相关的收集、组 织和分析工具及技术，以推进从大量的、复杂的数据集合中获取知识和洞见的能力。美国奥巴马政 643 中国职业安全健康协会 2013 年学术年会论文集 府宣布投资大数据领域，是大数据从商业行为上升到国家战略的分水岭，表明大数据正式提升到战 略层面，大数据在经济社会各个层面、各个领域都开始受到重视。同时，我国科技部发布的“‘十二 五’国家科技计划信息技术领域 2013 年度备选项目征集指南”也把大数据研究列在首位。在今年召 开的全国“两会”上，有全国人大代表提出要把发展“大数据”上升为国家战略。 2 “大数据”的特点 “大数据”不仅有“大”这个特点，还有很多其他的特色。总体而言，可以用“4V +1C”来概括。 ( 1) Volume( 海量) 通过各种智能设备产生了大量的数据，从 TB 级别，跃升到 PB 级别(1PB=1024TB) 。 ( 2) Variety( 多样化) 大数据一般包括以事务为代表的结构化数据、以网页为代表的半结构化数据和以视频和语音信 息为代表的非结构化等多类数据，并且它们的处理和分析方式区别很大。物联网、云计算、移动互 联网、车联网、手机、平板电脑、PC 以及遍布地球各个角落的各种各样的传感器，无一不是数据 来源或者承载的方式。[3] ( 3) Velocity( 快速) 大数据要求快速处理，因为有些数据存在时效性。 ( 4) Vitality( 灵活) 在互联网时