大数据高频面试题及详细答案（实战向、无机器话术）.docxVIP

大数据高频面试题及详细答案（实战向、无机器话术）

一、大数据基础核心面试题

1、你理解的大数据是什么？和传统数据的核心区别是什么？

大数据简单来说，就是无法用传统数据库和工具在短时间内完成采集、存储、处理和分析的海量数据集。行业内普遍用4V特性定义，分别是数据量大、种类多、处理速度快、价值密度低。

和传统数据的核心区别主要有三点：

第一，数据量级不同。传统数据多是GB、TB级别，结构规整；大数据是PB、EB级别，数据体量呈指数级增长。

第二，数据类型不同。传统数据以结构化数据为主，比如数据库表数据；大数据包含结构化、半结构化、非结构化数据，日志、图片、视频、文本都属于范畴。

第三，处理逻辑不同。传统数据是先定义结构再存储数据，处理侧重精准查询和事务；大数据是先存储所有数据，后续再做解析和计算，侧重批量、实时海量数据处理，牺牲部分一致性换取高吞吐和高可用。

2、大数据处理的核心流程是什么？实际工作中是怎么落地的？

完整的大数据业务流程分为五步，也是日常项目的标准落地流程：

首先是数据采集，通过日志采集工具、数据库同步工具、接口拉取等方式，采集业务系统、服务器、APP、小程序的各类原始数据；

其次是数据存储，将采集的海量原始数据落地到分布式文件系统、数据仓库，实现海量数据低成本存储；

然后是数据清洗与分层，过滤脏数据、重复数据、无效数据，按照数仓分层规范处理数据，统一数据口径；

接着