大数据分析讲稿概要.pptVIP

互联网、传感技术及其应用的迅猛发展产生了各种各样的海量数据，它们的存储和处理很多都是前所未研究的； 社会和生产性服务业（包括物质的、精神的等方面）爆炸式发展产生了海量数据； 智慧城市，智能社区、交通、通信、物流、医疗、能源、信息化、机器人等应用中产生了大量的数据。 大数据分析产生的背景 大数据特征和定义 1. “大数据”的名称来自于未来学家托夫勒所著的《第三次浪潮》 1980年，著名未来学家托夫勒在其所著的《第三次浪潮》中热情地将“大数据”称颂为“第三次浪潮的华彩乐章”。《自然》杂志在2008年9月推出了名为“大数据”的封面专栏。从2009年开始“大数据”才成为互联网技术行业中的热门词汇。 2. 最早应用“大数据”的是麦肯锡公司（McKinsey） 对“大数据”进行收集和分析的设想，来自于世界著名的管理咨询公司麦肯锡公司。麦肯锡公司看到了各种网络平台记录的个人海量信息具备潜在的商业价值，于是投入大量人力物力进行调研。在2011年6月发布了关于“大数据”的报告，该报告对“大数据”的影响、关键技术和应用领域等都进行了详尽的分析。麦肯锡的报告得到了金融界的高度重视，而后逐渐受到了各行各业关注。 大数据特征和定义 3. “大数据”的特点由舍恩伯格和库克耶在编写《大数据时代》中提出 “大数据”的4V特点：Volume（数据量大）、Velocity（输入和处理速度快）、Variety（数据多样性）、Value（价值密度低）。 这些特点得到了广泛认可，凡提到“大数据”特点的文章，基本上采用了这4个特点。 4. 在云计算技术出现之后“大数据”才凸显其真正价值 自从有了云计算服务器，“大数据”才有了可以运行的轨道，才可以实现其真正的价值。有人就形象地将各种“大数据”的应用比作一辆辆“汽车”，支撑起这些“汽车”运行的“高速公路”就是云计算。 最著名的实例就是Google搜索引擎。面对海量Web数据，Google于2006年首先提出云计算的概念。支撑Google内部各种“大数据”应用的，正是Google公司自行研发的云计算服务器。 维基百科对大数据的定义：大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。 大数据特征和定义 * * 任一概念或事物原则上都可用其具有的特征来描述或定义。一旦研究对象用其属性界定以后再开展各种设定目标的研究。同样，“大数据”概念也可从其主要特征（属性）的描述或定义开始来对它的研究。 大数据应该具有“大”或“多”的特征（属性），但大数据不只是其包含的数据量大而已。因为仅仅数据量大的问题，现有的计算机软硬件技术基本上都已可解决，不必新提概念。 那么，我们所要研究的对象是什么？应该称作什么？它可能具有哪些主要特征？ 大数据特征和定义 * 1. 数量大 大数据的首要特征当然应该是“规模大”。何谓大，对于不同的应用问题可有不同的衡量标准，所以大小本身具有相对性，不能简单用数量划界来区分大小。 大数据可指大数据集合中包含的数据多，也可指组成大数据的网络包含的子数据个数多。应该说，这些问题如果没有时空的限制，原则上都已能用现有的软硬件技术解决。 这种大数据特征一般用来指明该大数据是由很多很多子数据构成的集合，现有各种数据库中的数据大多是这种数据。 大数据特征和定义 * * 2、类型多 大数据可以包含多种结构化数据和非结构化数据，数据类型很多，用现有的DBMS等软件技术难以描述和处理。 这种大数据特征一般用来指明该大数据中包含的各种数据类型很多，既可包含各种结构化数据类型，又可包含各种非结构化数据类型，乃至其他数据类型。 大数据特征和定义 * * 3. 维度高 描述数据的属性维数高，不但可以多至成百上千（有限维），乃至无穷维（可数维、连续维），应用时不得不先降维后才能进一步处理。 这种大数据特征（高维度）一般用来指明构建大数据时可以包含各种高维度的子数据。特别，可以采用无穷维度的数据 。 大数据特征和定义 * * 4、媒体多 表征大数据的媒体（或介质）众多，包括文字、语言、音频、图像、视频、以及各种不断涌现着的新媒体等等。 这种大数据特征（多媒体）一般用来指明构建该类大数据的媒体多种多样，乃至包括刚在网上新出现的各种新媒体。 5. 动态性和实时性 大数据的结构和内容等都可动态变化，而且变化频率高、速度快、范围广，数据形态具有极大的动态性，处理需要极快的实时性。 大数据特征和定义 * 6.多源性 组成大数据的子数据的来源空间分布广、时间持续长、网点种