第四课大数据处理.pptx

第四章数据处理与应用;学习目标：;未来，已发生改变……大数据的关键技术;大数据，或称海量数据，指所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。 在总数据量相同的情况下，与个别分析独立的小型数据集相比，将各个小型数据集合合并后进行分析可得出许多额外的信息和数据关系性，可用来察觉商业趋势、避免疾病扩散、打击犯罪、测定实时交通路况或判定研究质量等。;大数据的魅力;什么是分治思想？;大数据处理类型？;一、批处理计算;国内外那些企业用Hadoop?;Hadoop 诞生于大搜索应用;Hadoop是什么？;思考：;1、分布式文件系统HDFS;静态数据的批处理计算;练一练;二、流计算;;练一练;三、图计算;图计算;四、实时处理于批处理的整合 ;练一练;Thanks