大数据生命周期全景及产业发展IADP模型研究报告.docxVIP

- . z 本期主题 大数据产业链全景与产业开展IADP模型研究 一、大数据产业链全景概览 〔一〕大数据开展背景 2012年3月，美国奥巴马政府启动“大数据研究和开展方案〞，投入2亿多美元推动大数据提取、存储、分析、共享、可视化等领域的研究，并将其与历史上对超级计算和互联网的投资相提并论。此举引发了世界各国政府对大数据的高度关注。则，“大数据〞终究是IT界又一概念炒作的噱头，还是产业开展的必然趋势.“大数据〞是一种单纯的技术形态，还是人类社会全面进步的里程碑. 事实上，大数据是数据开放和流动、IT技术进步和应用开展的必然结果。早在上个世纪六十年代，美国白宫预算局就提出了当时堪称革命性的创新方案——成立一个被称为“中央数据银行〞的统一大型数据库，把政府部门所有的数据库连接、集中、整合起来，提高数据的准确性和一致性；八十年代，美国就有人提出了“大数据〞概念，企业界、学术界不断对此进展探讨；1995年麻省理工学院教授尼葛洛庞帝出版了?数字化生存?，率先提出“后信息时代〞的概念，指出海量数据正在流动、时空障碍将被打破，个人将在后信息时代获得更大的解放；?自然?杂志在2008年9月推出了名为“大数据〞的封面专栏，讲述了数据在数学、物理、生物、工程及社会经济等多学科扮演的愈加重要的角色；2009年，奥巴马就任美国总统，任命了美国历史上第一位首席信息官和首席技术官，并建立了统一的数据开放门户Data.gov，全面开放政府拥有的公共数据，鼓励更多的创新型应用，提高政府的效率和效能；2011年，麦肯锡出版了?大数据：创新、竞争和生产力的下一个新领域?，产学研界对“大数据〞的关注到达一个新的高度。 图1 大数据开展历程 全球的数据总量正呈指数增长，过去三年间产生的数据量超过以往总和。2011年全球被创立和被复制的数据总量达1.8ZB；预计2020年全球电子设备存储的数据将增至35.2ZB。大数据已经成为一种社会现象：它既是对既往IT技术开展至今的高度抽象和概况，同时抓住了IT技术效劳于人、数据蕴藏价值的本质。大数据之“大〞，不仅仅在于其容量之大——虽然数据容量的爆炸确实给数据的采集、存储、维护、共享带来了具有研究意义的现象和挑战，但大数据之“大〞更多的意义在于：人类可以处理、分析并使用的数据在大量增加，通过这些数据的处理、整合和分析，人类可以发现新知识、创造新价值，带来“大知识〞、“大科学〞、“大利润〞和“大开展〞，逐渐走向群众创新的“大社会〞时代。 图2 大数据的三维增长特性 〔二〕大数据产业链全景概览 因循数据的流动性和开放性，目前中国已初步形成了从数据产生到应用、继而产生新数据的环形产业链。从数据产生到应用，参与企业逐渐增多，数据价值逐级放大。 图3 大数据产业链 1、数据产生和采集 随着近年来社会各行业信息化开展的日臻成熟、社会化网络的兴起，以及云计算、移动互联网和物联网等新一代信息技术的广泛应用，数据内容、数据构造和数据采集手段变得日益多元。 数据按其内容可大致划分为社会舆情数据、业务数据和环境资源数据这三类数据；三者之间存在一定的穿插和重叠。 数据按其产生和采集手段可划分为IT方式和非IT方式。通过IT手段生产和采集的主要有三种：交易数据、交互数据与传感数据。其中，交易数据来自于企业ERP系统、各种POS终端、以及电子支付系统等业务系统；交互数据主要来自于Web2.0技术的各类网络应用，应用硬件载体除传统网络终端，更多则是智能手机、平板电脑、车载终端等移动设备；传感数据则来自于各种物联网的“感知层〞设备，如GPS设备、RFID设备、视频监控设备等。 图4 数据产生来源和采集手段 2、数据传输 从理论上讲，数据在流转过程中的任何阶段都存在传输问题。目前数据传输主要通过通讯与网络传输或者光传输来实现。大数据时代对数据传输软硬件技术和设备都提出了更高的要求：随时随地、高速、稳定、平安地传输各种大小的构造化数据或非构造化数据。如交通应急指挥就是表达以上要求的典型应用。 图5 数据传输技术和途径 3、数据存储 随着数据量急剧增加，许多IT厂商致力于研究存储方案，加速了存储技术的开展。并且非构造化数据增长速度远超过构造化数据；据预测，到2020年全球将有超过80%的数据为非构造化数据。用户面临的问题是：如何平安有效存储这些数据.除了新增的数据量，如何做好既有数据的保护.多数用户都会进展数据备份，无形中数据量增长了数倍，则数据容量的增长给使用者带来了非常大的压力。则如何提高存储空间的使用效率.如何降低需要存储的数据量.这些都是大数据时代用户时时要考虑的问题。 应对存储容量的资源优化管理技术会成为关注热点，如重复数据删除〔适