2023年大数据面试题归类 .pdfVIP

2023 年大数据面试题归类 1 hadoop （1 ）概念题 1、简述 hadoop 生态组件 2、mapreduce 原理 3、对 mapreduce 的了解 4、hadoop 任务调度，进程调度 5、mapReduce 的过程 6、hadoop 的事务怎么操作 7、请描述 HDFS 存储的机制 8、请详细比较 Hadoop 和传统 SQL 数据库 9、请用 MapReduce 如何实现两张表连接，有哪些方法 10、请描述 MapReduce 架构中 combiner,partition 作用 11、.reduce 的数目为什么默认是一个 12、mapper reducer 数量如何确定 13、一个 datanode 死掉 ，会怎么样？如果这个datanode 之后恢复了，然后会怎 么样 14、说一下 HDFS 的全称 15、设置 map 个数是在哪个配置文件里 16、数据倾斜，什么时候出现 2 次 mapreduce 17、HA 配置过程 （2 ）业务题 1、mapreduce 怎么同时读 2 个文件 2、对 mapreduce 进行过哪些调优 3、mapreduce 分析 top 项 4、Map 中的有 3 个 key,1 个 key 是另外两个 key 的和，如何操作 5、编写一个 mapreduce 6、用 mapreduce 简述一下实现最热商品（一天商品访问量）、会员用户活跃度（一天 登陆次数）、会员访问时长（一天内）等多个模块之间各个模块的 top 排序（前 10 个） （3 ）算法题 1、给 10 亿条记录，key 好像是 100 个字节，value 是 800 个字节长度，计算出前 100 个 Top 值 2、给定 a、b 两个文件，各存放 50 亿个 url,每个 url 各占 64 字节，内存限制是 4G ， 找出 a、b 文件共同的 url 3、在 hadoop 开发工程中主要用过哪些算法 2 HIVE （1 ）概念题 1、Hive 有几种交互方式 2、Hive 是怎么从本地装载数据到一个分区表中的 3、说下 Hive 中的 matastore 表 4、hive 中导致数据倾斜的原因有哪些及解决方案 5、谈谈 hive 和 hbase 的区别 6、Hive 中内部表与外部表的区别 7、怎么对 hive 进行优化的 8、Hive 中 sql 语句与 MySql 中 sql 语句的区别 9、ROW_NUMBER 使用的场景，有没有出现什么问题，如何解决问题的 10、UDAF 的编写 11、hive 和 hbase 交互，写 sql 语句分析的具体过程 12、sortby ，orderby ，distinctby 区别 13、hive 哪个版本的 distinct 有 bug,需要改写其他形式 14、如何干预负载均衡 （2 ）业务题 1、用 HQL 两种方法简述一下实现最热商品（一天商品访问量）、会员用户活跃度（一 天登陆次数）、会员访问时长（一天内）等多个模块之间各个模块的 top 排序（前 10 个）。 2、UDTF 解析 IP 地址可行？怎么进行解析的 3、手写 sql 批量统计会话时长 4、Hive 语句实现 WordCount 假设数据存放在 Hadoop 下，路径为：/home/hadoop/worddata 里面全是一些单词 5、设定一个场景，解决数据倾斜 注意 ：大部分面试要求手写 SQL 语句处理较为复杂的业务 3 HBase （1 ）概念题 1、rowkey 的设计 2、HBase 的优化 3、HBase 分区表的了解 4、mapreduce 与 Hbase 集成 5、HBase 读写 6、Hbase 的表设计 7、为什么不直接使用 Hive ，还要从Hbase 读取 8、java api 与 hbase 集成增删改 9、Hbase 的内部机制是啥么 10、HBase 宕机如何处理 11、HBas