《大数据基本处理框架原理与实践》PPT课件（共16次课）第十五次课：课程复习与总结.pptVIP

第十五次课：课程复习与总结 刘春 计算机与信息工程学院数据科学系 河南省时空大数据产业技术研究院 河南大学 第一次课：大数据技术概述 刘春 计算机与信息工程学院数据科学系 河南省时空大数据产业技术研究院 河南大学 信息技术发展 数据生产方式发展 数字化 摩尔定律 信息化 互联网化 用户原创生产 行业组织自生产 传感器自主生产 海量的数据的产生 4 何谓大数据？ “大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。 大数据4V特点 大数据的4V特征 大数据要解决的问题 Volume 海量的数据规模 Variety 多样的数据类型 Streams Real time Near time Batch TB PB EB Structured Unstructured Semi-structured All the above Value Velocity 快速的数据流转 巨大的数据价值 数据挖掘 大数据技术全景图 互联网 云计算 物联网 人工智能 机器学习 数据挖掘 人脸识别 商品推荐 Hadoop生态 Hadoop发展历程 Hadoop最早起源于一个开源的网络搜索引擎项目Nutch，由Doug Cutting于2002年创建，目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能。但随着抓取网页数量的增加，他们面临着如何处理数10亿规模网页的难题。 2003年，Google发表了第一篇关于云计算的Google文件系统GFS的论文。在了解GFS系统后，Doug Cutting等人意识到，他们可以利用GFS的技术来解决Nutch抓取网页和建立索引过程中产生的大量文件的存储问题，并且可以提高管理这些存储节点的效率。因此在参考GFS技术的基础上，他们在2004年编写了一个开放源码的类似系统—NDFS (Nutch Distributed File system)。 2004年谷歌发表了谷歌分布式计算框架MapReduce的论文，该论文也展示了MapReduce编程模型在解决大型分布式并行计算问题上的巨大威力。在此之后，Nutch项目团队就将MapReduce技术应用在他们的项目，并于2005年将Nutch的主要算法都移植到基于MapReduce和NDFS的框架下运行。 由于NDFS和MapReduce不仅适用于搜索领域还可以应用于其他领域，2006年初，开发人员便将其移出Nutch，成为Lucene的一个子项目，称为Hadoop。同年2月，Apache Hadoop项目正式启动以支持MapReduce和HDFS的独立发展。 2008年1月，Hadoop成为Apache顶级项目，迎来了它的快速发展期。 Hadoop发展历程 2011年12月，Hadoop发布1.0.0版本，标志着Hadoop已经初具生产规模。 2013年, Hadoop发布了2.2.0版本，Hadoop进入到2.x时代。 2014年，Hadop2.x更新速度加快，发布了包括Hadoop2.6.0在内的多个版本，完善了YARN框架和整个集群的功能。 2015年，Hadoop2.7.0版本发布。 2016年, Hadoop及其生态圈在各行各业落地并且得到广泛应用，同年，Hadoop 发布 Hadoop3.O-alpha 版本，标志着Hadoop 进入3.x时代。 Spark Spark是一种类似Hadoop的MapReduce的并行计算框架。相比于MapReduce，Spark的中间输出结果可以保存在内存中，这样降低了计算过程中磁盘读写的开销，极大提高了运算速度。 同时，Spark的目标是用一个技术栈解决大数据领域中的各种任务，因此Spark软件栈包括了用于批处理、流处理、迭代计算的多种组件。这也使得Spark适用于各种之前需要多种不同分布式平台才能完成的场景。 Spark发展历程 2009年，Spark诞生于加州大学伯克利分校的AMP实验室，最初属于加州伯克利大学的研究性项目。 2010年Spark正式开源，2013年成为了Apache基金会的项目。 2010年10月，Spark 0.6.0版本发布。 之后经过不断的完善修改，Spark 1.0版本于2014年5月发布。Spark此时已经具备了Spark SQL、MLlib、GraphX和SparkStreaming组件，Spark核心引擎也具备了对安全YARN集群的支持。 Spark 2.0.0版本也于2016年7月发布。 Spark 2.4.5版本于2020年2月发布。 Storm Storm是Apache基金会开源的实时流计算框架。 它将数据流中的数据以元组的形式不断的发送给集群中的不同节