大数据技术基础第一章：大数据技术概述.pptxVIP

第1章 大数据技术概述;1.1 大数据技术的发展背景;1. 萌芽阶段 20世纪90年代至21世纪初，??大数据发展的萌芽期。在此阶段，数据库技术已逐步成熟，数据挖掘理论也不断完善，因此也被称为数据挖掘技术阶段。 2. 突破阶段 2003年至2006年是大数据发展的突破期。在此阶段，学术界和企业界开始从多角度对数据处理系统、数据库架构进行重新思考。;3. 成熟阶段 2006年至2009年，是大数据技术发展的成熟阶段。在此期间，大数据技术研究的焦点是性能（Performance）、云计算（Cloud Computing）、大规模数据集并行运算算法（MapReduce）以及开源分布式系统基础架构（Hadoop）等。 4. 应用阶段 2009年至现在，大数据技术架构和大数据技术生态系统越来越完善，尤其是Hadoop大数据技术平台的成熟标志着大数据技术的发展正式进入了落地应用阶段。学术界和企业界开始从大数据技术的基础性研究纷纷转向大数据技术的应用研究。;1. 大数据技术在国外 2013年5月，麦肯锡全球研究所（McKinsey?Global?Institute）发布了一份名为《颠覆性技术：技术进步改变生活、商业和全球经济》的研究报告。 2014年5月，美国政府发布了2014年全球大数据白皮书的研究报告《大数据：抓住机遇、守护价值》。 美国和欧洲一些发达国家政府都从国家科技战略层面提出了一系列的大数据技术研究计划，以推动政府机构、重大行业、学术界和工业界对大数据技术的研究和应用。 ;2.大数据技术在我国 中央电视台分别于2013年4月做了两期大数据专题谈话节目“谁在引爆大数据”、“谁在掘金大数据”。 2013年以后，国家自然科学基金、973计划、核高基、863等重大研究计划都已经把大数据研究列为重大的研究课题。 2015年9月，国务院印发《促进大数据发展行动纲要》，系统部署大数据发展工作。 2016年3月17日，国家“十三五”规划纲要发布。该纲要明确指出：一是加快政府数据开放共享。全面推进重点领域大数据高效采集、有效整合，深化政府数据和社会数据关联分析、融合利用,提高宏观调控、市场监管、社会治理和公共服务精准性和有效性。;2005年Hadoop项目诞生。 2008年末发表了一份有影响力的白皮书《大数据计算：在商务、科学和社会领域创建革命性突破》。 2011年5月，全球知名咨询公司麦肯锡全球研究院（MGI）发布了一份报告——《大数据：创新、竞争和生产力的下一个新领域》，大数据开始备受关注，这也是专业机构第一次全方面的介绍和展望大数据。 2014年5月，美国白宫发布了2014年全球大数据白皮书的研究报告《大数据：抓住机遇、守护价值》。 2016年3月17日，国家“十三五”规划纲要发布。;1.2 大数据的概念、特征及意义;它具有以下五大特征： 1. 数据量大（Volume） 2. 类型繁多（Variety） 3. 价值密度低（Value） 4. 速度快时效高（Velocity） 5. 永远在线（Online） ;1. 搜索引擎服务 2. 电子商务 3. 社交网络 4. 音视频在线服务 5. 个人数据业务 6. 地理信息数据 7. 传统企业 8. 公共机构 ;1. 大数据对技术的挑战 2. 大数据对信息安全的挑战 3. 大数据对运营商的挑战 4. 大数据对企业经营与管理的挑战 ;1. 大数据计算提高数据处理效率，增加人类认知盈余 2. 全局的大数据让人类了解事物背后的真相 3. 大数据有助于了解事物发展的客观规律，利于科学决策 4. 大数据提供了同事物的连接，客观了解人类行为 5. 大数据改变过去的经验思维，帮助人们建立数据思维 ;1.3 大数据的存储与计算模式 ;1. 大数据存储问题与挑战 大数据存储系统面临的挑战主要来自以下3个方面。 (1) 存储规模大，通常达到 PB（1,000 TB）甚至 EB（1,000 PB）量级。 (2) 存储管理复杂，需要兼顾结构化、非结构化和半结构化的数据。 (3) 数据服务的种类和水平要求高，换言之，上层应用对存储系统的性能、可靠性等指标有不同的要求，而数据的大规模和高复杂度放大了达到这些指标的技术难度。;2. 大数据存储的关键技术 大数据存储的关键技术有以下4个。 (1) 分布式文件系统 (2) 分布式数据库 (3) 大数据索引和查询技术 (4) 实时流式大数据存储与处理技术 ;1.3.2 大数据的计算模式;不同的大数据的计算模式产生了不同的大数据计算技术 (1) 大数据查询分析计算模式与技术。具备大数据查询分析计算模式的典型系统包括Hadoop下的HBase和Hive，Facebook开发的Cassandra，Google公司的Dremel，Cloudera公司的实时查询引擎Impala。 (2) 批处