通用的实时数仓构建方法与实践.docxVIP

通用的实时数仓构建方法与实践 实时数据在美团外卖的场景是格外多的，次要有以下几个方面： 运营层面：比照实时业务变化，实时营销效果，当日营业情况以及当日分时业务趋势分析等。 生产层面：比照实时系统能否牢靠，系统能否稳定，实时监控系统的健康情况等。 C端用户：比如搜索推举排序，需要实时行为、特点等特征变量的生产，给用户推举愈加合理的内容。 风控侧：实时风险识别、反欺诈、特别买卖等，都是大量应用实时数据的场景。 02 实时技术及架构 1. 实时计算技术选型 目前，市面上已经开源的实时技术还是很多的，比较通用的有Storm、Spark Streaming以及Flink，技术同学在做选型时要依据公司的具体业务来进行部署。 美团外卖依托于美团全体的基础数据体系建设，从技术成熟度来讲，公司前几年次要用的是Storm。当时的Storm，在功能稳定性、牢靠性以及扩展性上也是无可替代的。但随着Flink越来越成熟，从技术功能上以及框架设计优势上已经超越了Storm，从趋势来讲就像Spark替代MR一样，Storm也会渐渐被Flink替代。当然，从Storm迁移到Flink会有一个过程，我们目前有一些老的任务仍旧运转在Storm上，也在不断推动任务迁移。 具体Storm和Flink的对比可以参考上图表格。 2. 实时架构 ① Lambda架构 Lambda是比较经典的一款架构，以前实时的场景不是很多，以