流批一体引擎选型与实时特征计算.docx

流批一体数据处理引擎选型与实时特征计算实施实例

（软件研发技术文档·数据与实例为据）

第一章场景与改造目标

本文档记录智能推荐系统把离批与流计算合并为流批一体架构的过程。改造前推荐特征计算分两条管道：离线SparkT+1算约4200万用户行为特征、实时Flink仅覆盖3个窗口特征，同一指标两套代码维护成本高、口径不一致。

目标定三条：流批共用一份代码把开发人力从18人降到7人、特征口径统一率100%、全流程时效从24小时压缩到1分钟以内。团队分4期、120天完成迁移。

表1-1改造目标

改造项

改造前

改造后

收益

开发人数

18人

7人

-61%

口径不一致

22个指标

0个

统一

全流程时效

24小时

1分钟

-99.9%

代码维护量

两套

一套

-52%

第二章引擎选型与能力对比

团队横向测3种方案：ApacheFlink流批一体、SparkStructuredStreaming、自研批流融合引擎。Flink在Exactly-Once语义与状态管理上领先，Spark在批处理上成熟，自研灵活但维护重。

选型依据是推荐场景对一致性与时延双高要求。Flink全流程Exactly-Once保障特征不丢不重，窗口算子支持秒级更新；SparkStreaming微批模式最小粒度仍有5秒、不满足1分钟目标。

表2-1引擎能力对比

指标

Flink

Spark

自研

一致