- 1、本文档内容版权归属内容提供方,所产生的收益全部归内容提供方所有。如果您对本文有版权争议,可选择认领,认领后既往收益都归您。。
- 2、本文档由用户上传,本站不保证质量和数量令人满意,可能有诸多瑕疵,付费之前,请仔细先通过免费阅读内容等途径辨别内容交易风险。如存在严重挂羊头卖狗肉之情形,可联系本站下载客服投诉处理。
- 3、文档侵权举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
实时湖仓在视频号场景的应用实践 2024数据湖峰会PPT-梁溪-终稿-23页
实时湖仓在视频号场景的应用实践
演讲人:梁溪—微信视频号—高级数据工程师
目录
CONTENT
背景介绍
项目总结
应用实践
未来展望
背景介绍
业务概况
l数据规模
作者数量、视频数量、视频曝光次数,均呈爆发式增长
单log峰值TPS可达240W/s
单日记录数达千亿级,存储量超4PB
数据流转概况
架构概况
lLambda系统特性
离线与实时链路相互独立
离线使用批计算,稳定性高
实时采用流计算,延迟低
lLambda架构问题
离线/实时数据不一致
两套链路,运维成本高
离线产出时延高,实时出错率高
方案调研
l
您可能关注的文档
- 2024年11月全国新能源市场深度分析报告.docx
- 2024年11月世界旅游晴雨表 International tourism on track for full recovery by end of the year.docx
- 2024年AI Agent商业化进程、BC两端巨头布局及落地场景分析报告.docx
- 2024年数字体验报告 DX Vision 24.docx
- 博商《战略规划与设计》课后任务模板.docx
- 博商《战略规划与设计》课后任务模板.pdf
- 乘联会:2024年11月OTA监测月报.docx
- 房地产 -2024年房地产企业数智化转型报告.docx
- 房地产 -粤商实业前海新城产业项目整体定位及启动区建议.docx
- 房地产 -粤商实业前海新城产业项目整体定位及启动区建议.pdf
原创力文档


文档评论(0)