信息与智能科学导论_教案_08.pptVIP

（2）HDFS Hadoop的分布式文件系统（Hadoop Distributed File System，HDFS）的功能是进行数据的存储、管理和出错处理。 * 二. NoSQL数据库 NoSQL（Not only SQL）数据库泛指非关系型的数据库。NoSQL数据库解决了大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。 常用的4类NoSQL数据库包括键值（Key-Value）存储数据库、列存储数据库、文档型数据库和图形数据库。 * 三．SQL on Hadoop 2004年，Google公司首先推出了以MapReduce为代表的非关系数据管理技术，作为面向大数据分析和处理的并行计算模型，很快引起了工业界和学术界的广泛关注。Hadoop技术很快也影响了数据库研究领域，就像数据库使用SQL语言一样，很多工具的开发目标是能在Hadoop上使用SQL。 * 3.数据处理 面向大数据处理的数据查询、统计、分析、挖掘等需求，催生了不同的计算模式，适用于不同领域的产品。 主要的计算模式包括批处理计算、流计算、图计算和查询分析计算。 * （1）批处理计算 批处理计算主要面向离散计算场景，计算的数据是静态数据，数据在计算前已经被获取并保存，在计算过程中不会发生变化。 例如，电商领域统计一年的销售额，上一年的数据已经存在并且不会增加或者被修改，因此允许不必立即返回结果。 * MapR