今日头条推荐系统架构设计实践.pptx

2021年1月汇报人:今日头条推荐系统架构设计实践今日头条本质上是一个强大的智能推荐引擎截至2016年12月底? 头条DAU:7800w;? 头条MAU:1.75亿;? 单用户日平均使用时长: 76分钟;? 用户行为峰值: 150w+ msg/s;? 每天训练数据:300T+(压缩后);? 机器规模:万级;系统架构用户行为数据App Stream APIKafkaVideoChannelFeedStorm Hadoop Spark预估 服务PGC/UGC/Crawl召回 服务1. 模型更新;UserProfile;GroupProfile;4. 统计实验指标;Profile 服务倒排 服务正排 服务文章profilecache集群文章属性模型用户profile用户画像面临挑战? 期望快速反馈:10min内;? feature 数量:200+;? 存量用户数和每天的用户行为数据量巨大;? 在线存储:读写吞吐高,要求延时低且可预期;流式计算实现Storm Python框架- 写MR的方式写Streaming Job;- Topology用Yaml描述,代码自动生成,降低编写job成本;- 框架自带KafkaSpout,业务仅关注拼接和计算逻辑;- Batch MR相关算法逻辑可以直接复用在流式计算中;? Job数:300+;? Storm集群规模:1000+;在线存储-abase基于

文档评论(0)

1亿VIP精品文档

相关文档