大数据全书教学课件.pptx

第 1 章 大数据概述1.1 指数时代1.2 大数据特征和价值1.3 大数据研究现状和发展动态1.4 大数据研究存在的主要问题1.5 大数据时代统计学重构意义1.1 指 数 时 代 我们现在常常用指数效应来说明这个指数时代，指数效应或者指数的颠覆性效应是现代社会一种新的常态。目前，人类产生的数据总量每两年翻一倍，所有这些都验证了摩尔定律。摩尔定律是由英特尔(Intel)创始人之一戈登·摩尔(Gordon Moore)提出来的，他认为，当价格不变时，集成电路上可容纳的元器件的数目，每隔 18～24 个月便会增加一倍，性能也将提升一倍。换言之，每一美元所能买到的电脑性能，将每隔 18～24 个月翻一倍以上。这一定律揭示了信息技术发展的速度，这也进一步带来了一系列指数式的链式反应，尽管这种趋势已经持续了超过半个世纪，摩尔定律仍被认为是观测或推测，而不是一个物理或自然法则，但所有这些都表明数据的快速增长，我们已经进入了指数社会时代1.2 大数据特征和价值1.2.1 大数据特征1.2.2 大数据价值1.21大数据特征4V 特点，Volume(数据量大)；Velocity(输入和处理速度快) ;Value(价值密度低);Variety(数据多样性)大数据给我们带来三个颠覆性观念转变不是随机样本而是全体数据不是精确性而是混杂性不是因果关系而是相关关系1.22大数据价值 1．大数据延伸商业智能内涵客户关系管理(CRM)盈利能力分析控制成本绩效管理大数据满足用户需求且市场空间巨大大数据创造需求且拓宽市场边界大数据产业链分析 分为4个部分，即数据采集和整合、数据存储和运算、数据分析和挖掘、 数据应用和消费大数据技术是重要生产力1.3大数据研究现状和发展动态1.3.1 大数据研究现状1.3.2 大数据研究发展动态1.3.1 大数据研究现状“大数据”并不是很大或者很多数据。 第一，“大数据”并不是一部分数据样本，而是关于某个现象的所有数据； 第二， 由于掌握了关于某个现象的所有数据，那么在统计时就能接受更多不准确的信息； 第三，“大数据”着重分析了解“什么”而不是“为什么” 有学者把“大数 据”解读为巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人 工，在合理时间内达到截取、管理、处理并整理成为人类所能解读的信息。 也有学者把“大数据”定义为巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到截取、管理、处理并整理成为帮助企业经营决策更积极目的资讯。 什么样数据才可称其为“大数据”？目前，国内外的专家学者对大数据只是在数据规模 上达成共识：“超大规模”表示的是 GB 级别的数据，“海量”表示的是 TB 级的数据，而“大数据”则是 PB 级别及其以上的数据。1.32 大数据研究发展动态资源的管理与利用信息服务行业调整4．关键技术1.4 大数据研究存在的主要问题1.4.1 大数据技术存在的问题1.4.2 研究方法问题1.4.3 领域融合问题1.41大数据技术存在的问题数据采集方面数据存储方面数据分析方面数据显示方面数据安全方面1.42研究方法问题 大数据研究开创了科研的第四范式，与传统的逻辑推理研究不同，大数据研究是对数量巨大的数据做统计性的搜索、比较、聚类和分类等分析归纳1.43领域融合问题 当前大数据研究主要集中在各个学科的科学家对本领域的海量数据的处理，信息领域的 科学家只能起到助手的作用。各领域的科学问题还掌握在各学科的科学家手里，缺乏学科之间的交叉与融合，缺乏既拥有清 清理和组织大型数据的能力又懂得“商业语言”的数据科学家。1.5 大数据时代统计学重构意义 数据统计分析，就是运用统计学的方法对数据进行处理。大数据分析离不开统计学，而传统的统计学也无法解决大数据分析的问题，所以数据统计分析的方法不得不随着大数据时代的到来而发生改变。1.5.1 对大数据的初步认识1.5.2 统计思维变化1.5.3 大数据时代下统计学重构1.5.1 对大数据的初步认识 目前通常用 4V(Volume，Variety，Velocity 和 Value) 来形容大数据的特征，根本之处就是数字化基础上的数据化。通俗地说，大数据就是一切可记录信号的集合。1.5.2 统计思维变化 1．认识数据的思维要变化 2．收集数据的思维要变化 3．分析数据的思维要变化1.5.3 大数据时代下统计学重构 1．需要改变总体、个体乃至样本的定义方式 2．需要改变对不确定性的认识 3．需要建立新的数据梳理与分类方法 4．需要强化结构化数据与非结构化数据的对接研究 5．需要转变抽样调查的功能 6．需要归纳推断法与演绎推理法并用 7．需要相关分析与因果分析并重 8．需要统计技术与云计算技术融合 第2章 统计基础2.1 统计学基本概念2.