大数据框架整理.docxVIP

大数据框架整理 　　 大数据离线部分 　　一、HDFS 　　1：HDFS的架构部分及 工作原理 　　NameNode：负责管理元素据，将信息保存在内存中 　　DataNode：保存数据，以块的形式保存。启动后需要定时的向NameNode发送心跳，报告自身存储的块信息 　　2：HDFS的上传过程 　　3：HDFS的下载 　　4：NameNode的元数据安全机制 　　以记日志的形式将每一个操作写在磁盘的日志文件中，然后借助Secondary NameNode的checkpoint功能将fsImage和日志进行合并。 　　重点：记住checkpoint工作过程 　　5：如果服务器的磁盘坏了，如何挽救数据？ 　　配置多个.dir 路径为本地磁盘路径和nfs网络磁盘路径。 　　6：hdfs集群中，受到拓展瓶颈的是NameNode还是Datanode? 　　是NameNode，因为DataNode不够可以很方便的水平拓展，而工作的NameNode只有一个，他的存储能力完全取决于他的内存，所以。。。。， 　　但是其实NameNode一般不会成为瓶颈，因为一个块 记录的元数据信息大小约为150B，如果每一个块大小为128M的话，那么15G的NameNode内存可以存储12PB的数据。 　　7：datanode明明已启动，但是集群中的可用datanode列表中就是没有，怎么办？ 　　已经不是处女，在她的Data目录下，已经有其他NameNode的标记，这个NameNode不认。 　　8：文件下载到window中，为什么会报错？ 　　默认使用 操作系统的内核进行磁盘数据的写入，也就是需要一个winutil的工具，而默认的安装包中不提供，所以需要编译源码或者设置为使用Java的进行磁盘写入。 　　9：hadoop的HA（高可用） 　　二、MapReduce 　　1：MapReduce中，fileinputformat - map - shuffle - reduce的过程 　　2：MapReduce中，job提交的过程 　　3：自定义Javabean作为数据，需要extends writableandCompareble接口。 　　4：自定义outputformat，进行不同方向的处理。 　　5：MapReduce的一些应用场景 　　1、排序并且求 TOPOne 和TOPN 　　2、求某个用户前几个月的总流量，并且选择出流量前几名的用户。 　　3、reduce端的join 　　4、map端join 　　5、求共同好友问题 　　三、hive 　　1：什么是hive？ 　　一个将 sql转化为MapReduce程序的、单机版的、数据仓库工具。通过关系型 数据库（mysql等）来记录表元数据信息。真正的数据在HDFS中。 　　Hive利用HDFS存储数据，利用MapReduce查询分析数据 　　hive2.0版本之后，都是基于Spark处理了。 　　安装的时候，需要注意jline的版本冲突。 　　2：如何启动？ 　　3：执行的sql的形式 　　hiveshell、 hive -e sql命令、 hive -f 一个包含着很多SQL语句的文件 　　4：hive的创建表操作 　　内部表、外部表 ? 就差连个关键字（external 和 location） 　　分区表、分桶表 　　5：hive查询表 　　join 　　动态分区 　　分组查询 　　复杂的那个累计报表操作。 　　6：hive自定义函数（UDF） 　　四、sqoop 　　利用hadoop的map端进行数据的并行导入导出。 　　安装在HDFS上，配置HDFS的路径和Hive路径即可。 　　五、flume 　　1：agent：sources 、 channel 、 sinks 　　2：sources：exec、spooldir、arvo （加一个拦截器）3：channel：men 、 disk4：sinks：arvo 、HDFS、kafka 　　5：flume安装在数据源这一边。 　　6：如何自定义拦截器？class myiterceptor implements Iterceptor 　　//里面有一个静态的公共内部类。 　　public static class mybuilder implements Iterceptor.Builder 　　7：如何实现flume的多级连接，以及如何实现高可用？ 　　大数据实时storm部分 　　storm 　　1:storm是一个实时的计算框架，只负责计算，不负责存储。它通过spout的open和nextTuple方法去外部存储系统（kafka）获取数据，然后传送给后续的bolt处理， 　　bolt利用prepare和execute方法