中信证券基于 SelectDB 的实时数仓平台构建-2024 Apache Doris Summit 峰会.pdf

基于SelectDB的实时数仓平台构建

DorisSummitAsia2024峰会设有主会场以及智慧金融、泛互联网、政企与智造、SelectDB产品专场4大平行论坛，设计KeynoteSpeech、RegularSpeech及ShortSpeech三种演讲形式。来自金融、证券、互联网、零售、电商、物流、能源、制造、通信、企业服务等十余行业的40+技术专家纷纷登台，带来精彩演讲，并与现场观众进行互动、答疑与交流，技术氛围十分浓厚。

目录01基于CDP的旧实时数仓

02面临的困难与挑战

DorisSummitAsia2024峰会设有主会场以及智慧金融、泛互联网、政企与智造、SelectDB产品专场4大平行论坛，设计KeynoteSpeech、RegularSpeech及ShortSpeech三种演讲形式。来自金融、证券、互联网、零售、电商、物流、能源、制造、通信、企业服务等十余行业的40+技术专家纷纷登台，带来精彩演讲，并与现场观众进行互动、答疑与交流，技术氛围十分浓厚。

03基于SelectDB的解决方案

04未来展望

01

DorisSummitAsia2024峰会设有主会场以及智慧金融、泛互联网、政企与智造、SelectDB产品专场4大平行论坛，设计KeynoteSpeech、RegularSpeech及ShortSpeech三种演讲形式。来自金融、证券、互联网、零售、电商、物流、能源、制造、通信、企业服务等十余行业的40+技术专家纷纷登台，带来精彩演讲，并与现场观众进行互动、答疑与交流，技术氛围十分浓厚。

基于CDP的旧实时数仓

实时计算：持续、低时延、事件触发的计算作业

实时计算面对的数据是实时且流式的，数据按照时间发

生顺序被实时计算程序订阅和消费

实时数据

DorisSummitAsia2024峰会设有主会场以及智慧金融、泛互联网、政企与智造、SelectDB产品专场4大平行论坛，设计KeynoteSpeech、RegularSpeech及ShortSpeech三种演讲形式。来自金融、证券、互联网、零售、电商、物流、能源、制造、通信、企业服务等十余行业的40+技术专家纷纷登台，带来精彩演讲，并与现场观众进行互动、答疑与交流，技术氛围十分浓厚。

触发源为无界流式数据，一旦有新的流数据进入实时计算系统，

它就立刻发起并进行一次计算任务，因此整个过程是持续进行的

持续计算

流处理的计算结果可以同流式数据一样，持续的写入目的数据存储

实时数据

集成

维度批量计算实时计算

处理对象有界的静态数据集无界的动态数据流

DorisSummitAsia2024峰会设有主会场以及智慧金融、泛互联网、政企与智造、SelectDB产品专场4大平行论坛，设计KeynoteSpeech、RegularSpeech及ShortSpeech三种演讲形式。来自金融、证券、互联网、零售、电商、物流、能源、制造、通信、企业服务等十余行业的40+技术专家纷纷登台，带来精彩演讲，并与现场观众进行互动、答疑与交流，技术氛围十分浓厚。

处理时延高：小时到分钟级低：秒级到毫秒级

吞吐量