大数据的产业价(下).ppt

Gartner2014年技术成熟度曲线 Bigdata IoT Cloud Computing IoT 机器学习 自动驾驶汽车 Gartner2015年技术成熟度曲线 2-5年内成为主流： 市民数据科学（Citizen Data Science）； 混合云计算（Hybrid Cloud Computing）； 机器学习 (Machine Learning)。 5-10内成为主流： 自动驾驶汽车、物联网、物联网平台； 信息安全、3D打印器官移植、智能咨询； 虚拟个人助手、软件定义安全以及小的数据中心等。 ONE TWO 大数据打破了企业传统数据的边界，改变了过去商业智能仅仅依靠企业内部业务数据的局面，而大数据则使数据来源更加多样化，不仅包括企业内部数据，也包括企业外部数据，尤其是和消费者相关的数据。 大数据应用已经凸显出了巨大的商业价值，触角已延伸到各行各业。未来大数据还将彻底改变人类的思考模式、生活习惯和商业法则，将引发社会发展的深刻变革，同时也是未来最重要的国家战略之一。 （二）大数据存在的问题 我国缺乏核心技术，能否实现弯道超车有待努力； 人才缺口非常大，缺乏统计学人才和数据挖掘人才； 信息资源保护意识的缺失造成极大的安全隐患； 大数据利用的不开放性会带来新的垄断和社会资源浪费； 大数据时代的个人隐私难以得到保护。 Volume 容量大要求数据的高效管理、存储和压缩； Velocity Variety 组合运用结构化和非结构化数据寻找问题的答案； Varacity 基本数据是准确、可靠、值得信赖的，并且具有一致性。 1s界限； 数据的高效组织管理； 大数据不再强调“大”； 大数据是机会，但不是终极解决方案，要结合云计算； 非结构化数据占比不断增大，但对结构化大数据的分析处理更重要； 组合运用结构化和非结构化数据寻找问题答案，是成功进行预测的基础； 大数据强调关联的同时，永远不会忽略因果； 相比数据抓取和存储，数据的管理更重要； 架构上，存储和IO依然是主要问题。 （三）大数据发展的建议 统筹物联网、云计算以及智慧城市以及大数据建设，避免各立山头； 自然科学研究、环境保护、生物医药研究、教育以及国家安全等领域才是大数据技术突破的重点； 在扶持大数据在电商企业应用的同时，更要大力支持大数据在基础科学研究、国防以及若干关键领域的应用研究； 大数据的应用和推广，技术是关键，人才是保障。 你以为我懂，我以为你懂，可能谁也不懂，却都在不懂装懂； 你说我忽悠，我说你忽悠，不知谁在忽悠，不忽悠白不忽悠； 能搞的人拿不到钱，拿到钱的人不再真心搞，没钱没权确实难搞； 企业在谈，政府在谈，专家教授也在谈，谈笑间风起云涌，但愿不再空谈。 * * 大数据的产业价值（下） 汪东升 清华大学教授 点击添加文本 点击添加文本 点击添加文本 点击添加文本 目 录 1 2 3 大数据及其相关概念理解 大数据的产业价值 技术发展趋势、问题与建议 二、大数据的产业价值 ONE TWO 20世纪，瑞士心理学家荣格发现了《易经》筮法中蕴涵的一种不同于因果原理的普遍联系法则，这同大数据技术的复杂相关性有着相似的地方。 2012年3月，奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，并且定义为“未来的新石油”，希望增强政府收集、分析和萃取海量数据的能力。 2012年瑞士达沃斯论坛上发布《大数据大影响》报告，称数据已成为一种新的经济资产类别，就像货币或黄金一样，许多国家政府更是把大数据上升到战略层面。 2015年，国务院办公厅发布《关于运用大数据加强对市场主体服务和监管的若干意见》（国办发〔2015〕51号）。 IDC公司发布的数字宇宙研究报告称:全球信息总量每两年就会增长一倍,2011年全球被创建和被复制的数据总量为1.8ZB 。 IDC认为,到下一个十年(2020年),全球所有IT部门拥有服务器的总量将会比现在多出10倍,所管理的数据将会比现在多出50倍。预计到2020 年,全球将总共拥有35ZB的数据量。 2011年企业创造、采集、管理和储存信息的成本下降到2005年的1/6,而同期企业关于数据的总投资自2005年以来却反而上升了50%。 数据成本的下降助推了数据量的增长,而新的数据源和数据采集技术的出现则大大增加了未来数据的类型,数据类型的增加导致现有数据空间维度增加,增加了未来大数据的复杂度。 Volume PB+ 数据处理 价值 Velocity 实时处理 Value 海量数据挖掘 Variety 多数据类型 交叉分析 大数据分析技术是对大数据的产生、存储、挖掘和展现的全生命周期进行综合分析处理的过程。 科学家通过大数据分析,可以发现隐藏于其中的有价值的信息和知识。 FBI和警察局依赖于庞大的数据基础，包括媒体对马拉松赛报道的大量图片、视