2019年02大数据助推产业创新发展-吴澄.pdfVIP

大数据助推产业创新发展 清华大学 吴 澄 2017.5.16 提纲 1，数据和大数据 2，大数据如何助推产业创新发展？ 3，大数据技术的关键是数据分析 4，结束语 1，数据和大数据 数据：在 日常生活、科学研究、商业活动中反映客观世界运行状态的信 号能够通过感觉器官感知或是被观测仪器检测到，一旦这些信号被记录下来， 就可以被称为数据。 文字、数字、图表、视频等形式多样的资料都可以被称为数据。 数据是人类对于客观世界运行信号最原始的记录， 通过对数据进行处理，人类可以建立数据之间的关联，从数据的对比中 总结出规律性的结论，并用于回答某些问题，这些从数据中抽象出来的结论 被称为 “信息” 在7000年前的古埃及，尼罗河的洪水常常会引发河流两岸的巨大损失， 当时的埃及人试着把洪水的发生时间记录下来，他们发现原来洪水的发生按 照时间来看是有规律可循的，渐渐地，古埃及人通过这些数据掌握了洪水涨 落的趋势，继而将这些规律应用到农业生产中，根据灾害的发生安排农业生 产和生活活动，能够提前对洪水的发生有所准备，减小洪水带来的影响。 数据爆炸 今天的地球：数据指数膨胀 互联网 （社交、搜索、视频、电商）、移动互联网 （微博、微 信）、物联网 （传感器，智慧地球）、车联网、全球导航卫星系 统 (GNSS)、遥感影像、安全监控、金融 （银行、股市、保险）、 电信 （通话、短信）都在疯狂产生着数据，数据量井喷，据统计， 全球90%的数据都是在过去两年中生成的，并指数增长。 数据的膨胀对存储和计算设备提出了挑战。存储和计算成本 都如同 “摩尔定律”中所预言的那样不断降低，越来越多的数据 借助记录工具被源源不断地存入存储设备，这些数据成为了 “大 数据”诞生的前提。 说 “大数据时代”到来不为过： • K – M - G – T - P – E – Z - Y • 谷歌已经把互联网的数据存储起来，大约10E，到2020年， 估计500亿个互联设备的感知、互联、智能，每年将产生 35Z (1Z 1000E)的数据，需要1000个谷歌 ！ • 用现代的已知技术无法想像如何去实现 ！ • 这将深刻影响到迄今的全部信息技术 (首先是数据库、软 件、算法、芯片、通讯……)，势必一场大变革 ！,进而影 响物理学等基础学科…… 什么是大数据？有种种说法 • 麦肯锡 ： “大数据是指无法在一定时间内用传统数据库软件工具对其内 容进行抓取、管理和处理的数据集合” • Gartner： “大数据是需要新处理模式才能具有更强的决策力、洞察发现 力和流程优化能力的海量、高增长率和多样化的信息资产” • 《大数据时代》作者维克托 (V iktor Mayer-Schönberger) ： “大数据是 人们在大规模数据的基础上可以做到的事情，而这些事情在小规模数据 的基础上是无法完成的；大数据是人们获得新的认知、创造新的价值的 源泉；大数据还是改变市场、组织结构以及政府与公民关系的方法。” • IDC： “大数据技术将被设计用于在成本可承受 （econom ica lly）的条件 下 ，通过非常快速 （ve loc ity ）的采集 、发现和分析 ，从大量化 （vo lumes）、多类别 （variety）的数据中提取价值 （value），将是IT 领域新一代的技术与架构。” • 1994年，Gartner提出了新兴技术成熟度曲线。旨在跟踪人们对技术和商业创 新的周期性兴趣爆发和经常性失望的起起伏伏。 • 评价： “虽然成熟度曲线不是严格地以数据为基础，但Gartner分析师们对技 术采纳状况作出的判断常常与其他优秀观察者的看法相一致。在特定创新应该 处于曲线什么位置的问题上，有时会有争议，但该曲线所勾勒的总体趋势很少 受到质疑。”大数据没有出现在2010年的趋势图中。 大数据在2011年首次上榜。 2012年 热度继续升高 2013年 Gartners 2014 大数据