2021年1月汇报人:今日头条推荐系统架构设计实践今日头条本质上是一个强大的智能推荐引擎截至2016年12月底? 头条DAU:7800w;? 头条MAU:1.75亿;? 单用户日平均使用时长: 76分钟;? 用户行为峰值: 150w+ msg/s;? 每天训练数据:300T+(压缩后);? 机器规模:万级;系统架构用户行为数据App Stream APIKafkaVideoChannelFeedStorm Hadoop Spark预估 服务PGC/UGC/Crawl召回 服务1. 模型更新;UserProfile;GroupProfile;4. 统计实验指标;Profile 服务倒排 服务正排 服务文章profilecache集群文章属性模型用户profile用户画像面临挑战? 期望快速反馈:10min内;? feature 数量:200+;? 存量用户数和每天的用户行为数据量巨大;? 在线存储:读写吞吐高,要求延时低且可预期;流式计算实现Storm Python框架- 写MR的方式写Streaming Job;- Topology用Yaml描述,代码自动生成,降低编写job成本;- 框架自带KafkaSpout,业务仅关注拼接和计算逻辑;- Batch MR相关算法逻辑可以直接复用在流式计算中;? Job数:300+;? Storm集群规模:1000+;在线存储-abase基于
您可能关注的文档
- 建立非权威技术管理机制.pptx
- 将Oracle 12c和真实世界的性能技术应用于SAP.pptx
- 将本地应用程序迁移到云端检查连接策略.pptx
- 讲故事图表高交互数据呈现.pptx
- 结合威胁情报云的高级恶意攻击多维分析.pptx
- 今年十大数据应用最佳案例获奖名单.pptx
- 金融博弈下的价值学习.pptx
- 金融反欺诈背景下的Spark实践.pptx
- 金融业用开源实现软件模型转换.pptx
- 金融业云运维知识库.pptx
- 《设备控制处处在》教学课件-2026-2027学年华中科大版(新版)小学信息科技六年级全一册.pptx
- 部编语文二年级上册句子总复习.pptx
- 《通过反馈知效果》教学课件-2026-2027学年华中科大版(新版)小学信息科技六年级全一册.pptx
- 《我是小小控制员》教学课件-2026-2027学年华中科大版(新版)小学信息科技六年级全一册.pptx
- 《开关量的真与假》教学课件-2026-2027学年华中科大版(新版)小学信息科技六年级全一册.pptx
- 部编版语文三年级上《礼物》.pptx
- 退货跨班周期维护问题复盘与改进跟踪.docx
- 退货跨班任务分派与班前准备核对单.docx
- 退货跨班资料追溯与责任交接单.docx
- 退货逆向物流结果复核与验收确认记录表.docx
最近下载
- 机械设计课程设计《单级圆柱齿轮减速器说明书》.pdf VIP
- 石家庄铁道大学四方学院《中国近代史纲要》2023-2024学年第一学期期末试卷.pdf VIP
- 中信金融资产招聘考试笔试题目及答案.docx VIP
- 教育部学位授予和人才培养学科目录.doc VIP
- 承压热水锅炉突发超压事故应急演练资料全套(含方案、记录、评估、总结).docx VIP
- 2025年中职(烘焙工艺)蛋黄酥制作试题及答案.doc VIP
- 13.3 电磁感应现象及其应用 课件 (共23张PPT)高一物理人教版(2019)必修第三册.pptx VIP
- 2025年中国AI论文润色工具学术伦理争议调研报告_2025年12月.docx VIP
- 世界文化遗产峨嵋山风景名胜区(包括乐山大佛)的资料.docx VIP
- 2025年演出经纪人直播演出未来发展趋势与创新方向专题试卷及解析.pdf VIP
原创力文档

文档评论(0)