大数据分析之Hadoop工具应用.pptVIP

大数据分析之Hadoop工具应用 ——分布式文件系统（HDFS）、分布式数据库(Hbase)与分布式计算（MapReduce） 什么是大数据 什么是大数据 大数据类型与存储 数据处理流程 检索 分析 展现 共享 存储 大数据处理的技术关键 分析技术： 数据处理：自然语言处理技术； 统计和分析：地域占比，文本情感分析，A/B test，top N排行榜； 数据挖掘：建模，聚类，分类，排名； 模型预测：预测模型，机器学习，建模仿真。 存储技术： 结构化数据：海量数据查询、统计、更新等操作效率低 非结构化数据：图片、视频、word、pdf、ppt等文件存储，不利于检索，存储和查询 半结构化数据：转换为结构化数据或者按照非结构化存储。 大数据技术： 数据采集：ETL工具； 数据存取：关系数据库，NoSQL，NewSQL,等 基础架构支持：云存储，分布式文件系统等； 计算结果展现：云计算，标签云，关系图等。 解决方案： Hadoop（MapReduce技术）、MongoDB、流计算（twitter的strom和yahoo!的S4） Hadoop项目介绍 Hadoop最先是由Apache公司在2005年引入的，起源于google开发的MapReduce和Google File System（GFS）项目。 分布式文件系统——HDFS 分布式文件系统——HDFS HDFS为了做到可靠性（reliability）创建了多份数据块（datablocks）的复制（replicas），并将它们放置在服务器群的计算节点中（compute nodes）。 分布式文件系统——HDFS 分布式文件系统——HDFS 分布式文件系统——HDFS HDFS的元数据 元数据包括 文件系统目录树信息 文件名，目录名 文件和目录的从属关系 文件和目录的大小，创建及最后访问时间 权限 文件和块的对应关系 文件由哪些块组成 块的存放位置 机器名，块ID HDFS对元数据和实际数据采取分别存储的方法 元数据存储在指定的服务器上(NameNode) 实际数据储存在集群的其他机器的本地文件系统中(DataNode) 分布式文件系统——HDFS NameNode1 NameNode2 NFS服务器 正常运行状态 单点失效状态 分布式文件系统——HDFS 分布式文件系统——HDFS 分布式数据库——HBase 分布式数据库——HBase Row Key：行键，表的主键，表中的记录按照Row Key字典排序； Timestamp：时间戳，每次数据操作对应的时间记录，可以看做是数据的版本号； Column Family：列簇，表 在水平方向有一个或者多个Column Family组成，一个Column Family可以由多个Column 组成，即Column Family支持动态扩展，无需预先定义Column 的数量及类型，所有Column 均以二进制格式存储，用户需要自行进行型转换。 分布式数据库——HBase 分布式数据库——HBase 分布式数据库——HBase HTable：在行方向上分为多个HRegion。当表随着记录的不断增加而变大后，会逐渐分裂成多份splits，称为region，一个region由[startkey,endkey]表示，不同的region会被Master分配给相应的RegionServer进行管理。 HRegion： Region按大小分隔，达到阈值，HRegion自动等分，后台会一直进行split和sort操作，以达到region的等分。 HTable HRegion分割 分布式数据库——HBase HRegion分布 Region是分布式存储的最小单元 分布式数据库——HBase storefile就是列簇，一个列簇整合成一个storefile文件。所有数据进来先在memstor进行缓冲，达到一定的阀值就刷新一次形成一个storefile。 分布式数据库——HBase HFile ：Hbase中Key Value数据存储格式，是Hadoop的二进制格式文件，实际上StoreFile就是对HFile做了轻量级包装，即StoreFile底层就是HFile。 分布式数据库——HBase HLogFile：HBase中WAL(Write Ahead Log)的存储格式，物理上是Hadoop的Sequence File。 WAL类似mysql中的binlog,用来 做灾难恢复作用，HLog记录数据的所有变更，一旦数据修改，就可以从log中进行恢复。每 个Region Server维护一个Hlog,而不是每个Region一个。这样不同region(来自不同table)的日志会混在一起，这样做的目的是不断追加单个 文件相对于同时写多个