大数据面试题汇总-1.docxVIP

公司面试题汇总

一、面试题1

1.讲解一下MapReduce的一些基本流程

任务提交流程，任务运行流程

2.你们数据库怎么导入hive的,有没有出现问题

使用sqoop导入，我们公司的数据库中设计了text字段，导致导入的时候出现了缓存不够的情况（见云笔记），开始解决起来感觉很棘手，后来查看了sqoop的文档，加上了limit属性，解决了。

3.公司技术选型可能利用storm进行实时计算,讲解一下storm

从storm的应用，代码书写，运行机制讲-

4.问你java集合类的数据结构,比如hashmap

看java面试宝典

5.问你知不知道concurrent包下的东西,例如concurrenthashmap

看java面试宝典

6.公司最近主要在自然语言学习去开发,有没有接触过

二、面试题2

1.从前到后从你教育背景(学过哪些课)到各个项目你负责的模块,问的很细(本以为他是物理学博士,但是所有的技术都懂)

2.Hadoop的namenode宕机,怎么解决

先分析宕机后的损失，宕机后直接导致client无法访问，内存中的元数据丢失，但是硬盘中的元数据应该还存在，如果只是节点挂了，重启即可，如果是机器挂了，重启机器后看节点是否能重启，不能重启就要找到原因修复了。但是最终的解决方案应该是在设计集群的初期就考虑到这个问题，做namenode的HA。

3.一个datanode宕机,怎么一个流程恢复

Datanode宕机了后，如果是短暂的宕机，可以实现写好脚本监控，将它启动起来。如果是长时间宕机了，那么datanode上的数据应该已经被备份到其他机器了，那这台datanode就是一台新的datanode了，删除他的所有数据文件和状态文件，重新启动。

4.Hbase的特性,以及你怎么去设计rowkey和columnFamily,怎么去建一个table

因为hbase是列式数据库，列非表schema的一部分，所以在设计初期只需要考虑rowkey和columnFamily即可，rowkey有位置相关性，所以

如果数据是练习查询的，最好对同类数据加一个前缀，而每个columnFamily实际上在底层是一个文件，那么文件越小，查询越快，所以讲经常一起查询的列设计到一个列簇，但是列簇不宜过多。

5.Redis,传统数据库,hbase,Hive每个之间的区别(问的非常细)

redis是缓存，围绕着内存和缓存说

Hbase是列式数据库，存在hdfs上，围绕着数据量来说

hive是数据仓库，是用来分析数据的，不是增删改查数据的。

6.公司之后倾向用Spark开发,你会么(就用Java代码去写)

会，spark使用Scala开发的，在scala中可以随意使用jdk的类库，可以用java开发，但是最好用原生的scala开发，兼容性好，scala更灵活。

三、面试问题3

1.笔试:java基础(基本全忘,做的很烂,复习大数据连单例都忘了怎么写)

复习java面试宝典

2.开始介绍项目,直接用大数据项目介绍,项目经理也懂大数据

3.Mapreduce一些流程,经过哪些步骤

Map—combiner—partition—sort—copy—sort—grouping—reduce

4.说下对hadoop的一些理解,包括哪些组件

详谈hadoop的应用，包括的组件分为三类，分别说明hdfs，yarn，mapreduce

5.详细讲解下你流式实时计算的项目部署以及收集的结果情况

讲解storm集群的部署方案，项目的大小，使用的worker数，数据收集在hbase或者hdfs，好处是什么

6.你的数据库是不是很大么,有没有分表,分区,你是怎么实现的

数据库的分表在设计初期是按照月份进行拆分的，不同的月份查询不同的表。分区没弄过。

7.开始问java的一些东西(从各种框架原理到各种复杂SQL)

8.多线程,并发,垃圾回收机制,数据结构(问这些,基本觉得看你是不是高级程序员了)

多线程要知道操作方式，线程安全的锁，并且要知道lock锁

垃圾回收机制需要详细了解（见云笔记），主要从内存划分，垃圾回收主要的工作区域，垃圾回收器的种类，各有什么优缺点，

用在哪里合适。

数据结构基本的要知道，复杂的参考相关的书籍。

四、面试问题4

1.BI小组的3个年轻学生一起技术面试(一个是南开博士）

2.数据量多少,集群规模多大,型号

一般中型的电商或者互联网企业，日志量每天在200-500M左右，集群规模在30-50台左右，机器一般为dell的2000左右的服务器，型号不定

大型的互联网公司据网上资料显示，日志量在GP-PB不等，集群规模在500-4000不等，甚至更多，机器型号不确定。

3.项目,mapreduce

介绍整个mapreduce项