实时湖仓在视频号场景的应用实践 2024数据湖峰会PPT-梁溪-终稿-23页.docx

实时湖仓在视频号场景的应用实践 2024数据湖峰会PPT-梁溪-终稿-23页.docx

  1. 1、本文档内容版权归属内容提供方,所产生的收益全部归内容提供方所有。如果您对本文有版权争议,可选择认领,认领后既往收益都归您。。
  2. 2、本文档由用户上传,本站不保证质量和数量令人满意,可能有诸多瑕疵,付费之前,请仔细先通过免费阅读内容等途径辨别内容交易风险。如存在严重挂羊头卖狗肉之情形,可联系本站下载客服投诉处理。
  3. 3、文档侵权举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
实时湖仓在视频号场景的应用实践 2024数据湖峰会PPT-梁溪-终稿-23页

实时湖仓在视频号场景的应用实践

演讲人:梁溪—微信视频号—高级数据工程师

目录

CONTENT

背景介绍

项目总结

应用实践

未来展望

背景介绍

业务概况

l数据规模

作者数量、视频数量、视频曝光次数,均呈爆发式增长

单log峰值TPS可达240W/s

单日记录数达千亿级,存储量超4PB

数据流转概况

架构概况

lLambda系统特性

离线与实时链路相互独立

离线使用批计算,稳定性高

实时采用流计算,延迟低

lLambda架构问题

离线/实时数据不一致

两套链路,运维成本高

离线产出时延高,实时出错率高

方案调研

l

文档评论(0)

4A方案 + 关注
实名认证
服务提供商

擅长策划,|商业地产|住房地产|暖场活动|美陈|圈层活动|嘉年华|市集|生活节|文化节|团建拓展|客户答谢会

1亿VIP精品文档

相关文档