大数据处理技术简介选读.pptx

大数据处理技术简介; 三、大数据开源软件Hadoop简介; 一、大数据背景;我们正处在信息爆炸的年代;大数据定义;数据的分类;2000年以后非结构化数据占绝大部分;从非结构化数据到结构化数据;网页爬虫;传统关系数据库，如：Oracle、MYSQL 无法储存几亿行长，几百万行宽的表格，巨大的数据直接导致数据库崩溃 半结构化数据和脏数据将会导致出错（类型不严格） 传统方法失效 ！ 如何解决？ 大数据处理技术的解决办法： 存成文件（File System）;; 二、大数据处理实现技术;大数据处理技术面对的第一个问题;数据读取问题;谷歌文件系统（GFS）;分而治之;……..;可靠性问题 ;备份 一份数据至少做三个备份 ;;Google File System架构;大数据处理实现技术 —— 分布式计算模型 MapReduce;分布式计算（并行计算）;谷歌提出 Map / Reduce 模型;Map函数：接受一个键值对（key-value pair），产生一组中间键值对。map函数将中间键值对里键相同的值传递给Reduce函数。 Reduce函数：接受一个键，以及相关的一组值，将这组值进行合并产生一组规模更小的值（通常只有一个或零个值） ;Key-Value（键-值）模型;气象站气象数据的处理（找出最高气温）;大数据处理实现技术 —— 分布式计