证券公司大数据面试题库及详细答案（真实职场版）.docxVIP

证券公司大数据面试题库及详细答案（真实职场版）

一、大数据基础技术高频题（券商必考）

1、说说Hadoop、Spark、Flink的区别，以及券商场景下你怎么选型？

详细答案：三者核心差异在计算模型、延迟、容错和适用场景。Hadoop的MapReduce是离线批处理，磁盘读写多、速度慢，稳定性极强，适合超大批量历史数据清洗、归档统计，券商一般用来做盘后海量交易数据、客户流水的日度离线计算。

Spark是基于内存的批处理，兼顾少量准实时，比MapReduce快很多，容错靠RDD重算，适合中短时的离线任务、日度/小时级的数据统计，比如客户资产统计、产品持仓汇总。

Flink是真正的实时流计算，支持低延迟、状态管理、Exactly-Once精准消费，容错靠Checkpoint，适合券商实时场景，比如实时交易风控、实时资金监控、行情数据实时聚合。

券商选型原则：离线归档、大盘后批量统计用Hadoop；日常离线数仓、中高频批量计算用Spark；实时风控、实时监控、行情实时计算全部用Flink。

2、什么是数据仓库的分层？券商数仓常规分层逻辑是什么？

详细答案：数仓分层核心是解耦原始数据、清洗数据、业务汇总数据，避免重复计算，方便迭代和数据溯源。券商通用分层是ODS、DWD、DWS、ADS四层。

ODS层：原始数据层，直接同步业务库、交易系统、行情系统的原始数据，不做清洗，保留全量原始字