2019年大数据时代背景.pptVIP

大数据时代 不知道BIG DATA? 你out了! 反对派认为，我们现在处在一个盲目的大数据崇拜时代 目录 21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。 互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。 “大数据”的诞生： 半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域中。 大数据时代的背景 GB TB PB EB ZB 想驾驭这庞大的数据，我们必须了解大数据的特征。 地球上至今总共的数据量： 在2006 年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据； 在2011 年，这个数字达到了1.8ZB。 而有市场研究机构预测： 到2020 年，整个世界的数据总量将会增长44 倍，达到35.2ZB（1ZB=10 亿TB）！ 1PB = 2^50字节 1EB = 2^60字节 1ZB = 2^70字节 大数据时代的爆炸增长 “大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。 大数据的4V特征 大数据 = 海量数据 + 复杂类型的数据 海量交易数据： 企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。 大数据包括： 交易数据和交互数据集在内的所有数据集 海量交互数据： 源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输Manage File Transfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。 海量数据处理： 大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的Apache Hadoop。 大数据的构成 目录 1、密不可分的大数据与云计算 商业模式驱动 应用需求驱动 云计算本身也是大数据的一种业务模式 大数据是落地的云 云计算的模式是业务模式，本质是数据处理技术。 数据是资产，云为数据资产提供存储、访问和计算。 当前云计算更偏重海量存储和计算，以及提供的云服务，运行云应用，但是缺乏盘活数据资产的能力，挖掘价值性信息和预测性分析，为国家、企业、个人提供决策和服务，是大数据核心议题，也是云计算的最终方向。 2、大数据不仅仅是“大” 多大？ 至少PB 级 比大更重要的是数据的复杂性，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值 3、软件是大数据的引擎 和数据中心（Data Center） 一样，软件是大数据的驱动力，软件改变世界 大数据生态：软件是引擎 4、大数据的应用不仅仅是精准营销 通过用户行为分析实现精准营销是大数据的典型应用，但是大数据在各行各业特别是公共服务领域具有广阔的应用前景 消费行业 金融服务 食品安全 医疗卫生 军事 交通环保 电子商务 气象 5、管理大数据“易”理解大数据“难” 虽然大数据是一个重大问题，真正的问题是让大数据更有意义 目前大数据管理多从架构和并行等方面考虑，解决高并发数据存取的性能要求及数据存储的横向扩展，但对非结构化数据的内容理解仍缺乏实质性的突破和进展，这是实现大数据资源化、知识化、普适化的核心 非结构化海量信息的智能化处理：自然语言理解、多媒体内容理解、机器学习等 目录 分析技术： 数据处理：自然语言处理技术 统计和分析：A/B test; top N排行榜；地域占比；文本情感分析 数据挖掘：关联规则分析；分类；聚类 模型预测：预测模型；机器学习；建模仿真 大数据技术： 数据采集：ETL工具 数据存取：关系数据库；NoSQL；SQL等 基础架构支持：云存储；分布式文件系统等 计算结果展现：云计算；标签云；关系图等 存储 结构化数据： 海量数据的查询、统计、更新等操作效率低 非结构化数据 图片、视频、word、pdf、ppt等文件存储 不利于检索、查询和存储 半结构化数据 转换为结构化存储 按照非结构化存储 解决方案： Hadoop（MapReduce技术） 流计算（twitter