预计算技术+Hologres在阿里采集流量分析产品中的实践.pdfVIP

《预计算技术+Hologres在阿里采集流量分析产品中的实践》

康凯

数据技术及产品部-平台技术

2022/09/23

目录

•预计算与Hologres的关系

•A+流量分析介绍

•重点业务Hologres解决方案

预计算与Hologres的关系

•团队和业务

•预计算和Hologres关系

•为什么选择Hologres

团队和业务

团队属于阿里数据及产品部-查询加速团队，致力打造低成本、高性能、普惠的查询加速引擎。服务包括“A+流量分析、生意参谋、

黄金策、友盟、FBIQBI”等具有海量数据交互分析的产品，在成本可控的情况下，使用AQP、FastMap、预计算等技术，大幅提升海量数据查

询性能，将响应时间降低至秒级、甚至毫秒级。

本人从事OLAP、大数据相关领域多年，也是查询加速团队最初成员之一，目前主要负责加速引擎平台的架构设计，为阿里数据产品服务。

数据产品A+流量采集分析黄金策生意参谋QBI/FBI友盟数据分析

加速层查询加速平台

数据存储Hologres

预计算与Hologres的关系

数据模型维度数据库维度

强大的运行载体

ROLAP（关系模型）MOLAP（多维模型）Hologres交互式分析

举例来说：查询11月11日那天天猫销量最高的商品

事先按维度[sell_date,item]数据分布

计算SUM(sell_amount)cube模型发挥

不同维度的优化

1.扫描Hologres极致作用

数据存储方式

2.按商品聚合

索引

预计算核心：就是解决千亿、万亿条记录的秒级查询问题，其关系查询执行计划

中的关键就是打破查询时间随着数据量呈线性增长的这一规律。

但是依然需要载体来存储和计算。

为什么选择Hologres

算子能力

•Bitmap引擎

•特殊场景：分钟内转化周期的漏斗、金额频次高基场景等

统一查询

查询加速平台

•业务不同分析需求一套实现

基于成本的一体化架构

•提供热存、冷存、