实时计算架构与实践.pptxVIP

实时计算架构与实践施晓罡 实时计算平台研发负责人大纲腾讯实时计算简介实时计算引擎优化实时计算平台介绍实时计算典型架构与应用腾讯实时计算数据分发监控报警实时BI在线学习3亿每秒处理数据峰值30万亿每天处理消息数4.5PB每天接收数据量为何选择Flink?通过轻量级的Checkpoint机制保证在发生故障时仍能实现AT-LEAST-ONCE和EXACTLY-ONCE的消息传递语义提供了对程序状态的有效支持，提供本地状态访问，并在并发度改变时自动进行状态数据的划分灵活而又强大的编程接口，有效解决数据流处理中的乱序到达问题，支持多种不同的窗口机制使用事件触发的单条处理机制，能够实现毫秒级延迟构建实时计算平台的挑战复杂基础设施构建搭建过程费时费力告警基础设施(短信、邮件)监控（CPU、内存、数据流、组件异常）数据开发门槛高程序代码为主的流式数据开发模式灵活度极低无伸缩能力，难于应对数据突增高技术门槛组件复杂度高，难于维护安全构建复杂链路层数据安全、跨源数据安全的体系化构建数据链路障碍数据基础设施联动困难Oceanus: 一站式实时流计算平台面向腾讯内部和外部用户对实时计算的不同需求，一站式提供从数据接入、应用开发、测试验证、应用部署到线上运维的全生命周期管理广告商业智能精准推荐监控报警数据分发配置部署监控测试SQLCanvasJAROceanus-MLOceanusMessage Queue