- 1、本文档共28页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
快手Flinkonk8s的迁移
与稳定性保障
“大模型”与“大数据”两者犹如车之双轮,合力驱动数据价值和企业价值的增长。大数据和大模型,作为双核驱动力,正在引领我们迈向更加智能、高效和便捷的时代。
演讲人:刘建刚-快手-技术专家
DataFunCon#2024
Contents
目录
快手Flink介绍稳定性保障
“大模型”与“大数据”两者犹如车之双轮,合力驱动数据价值和企业价值的增长。大数据和大模型,作为双核驱动力,正在引领我们迈向更加智能、高效和便捷的时代。
大规模迁移实践未来规划
logo
“大模型”与“大数据”两者犹如车之双轮,合力驱动数据价值和企业价值的增长。大数据和大模型,作为双核驱动力,正在引领我们迈向更加智能、高效和便捷的时代。
01快手Flink介绍
发展历程
2021-2022
•Flink生产可用改造•Flinkonk8s
“大模型”与“大数据”两者犹如车之双轮,合力驱动数据价值和企业价值的增长。大数据和大模型,作为双核驱动力,正在引领我们迈向更加智能、高效和便捷的时代。
•实时计算平台建设•流批一体探索•Runtimeadaption
•公司实时化转型•易用性、稳定性、•湖仓一体建设
功能性深度优化•AI场景大规模落地
2018-20202023-2024
整体架构
“大模型”与“大数据”两者犹如车之双轮,合力驱动数据价值和企业价值的增长。大数据和大模型,作为双核驱动力,正在引领我们迈向更加智能、高效和便捷的时代。
应用规模
“大模型”与“大数据”两者犹如车之双轮,合力驱动数据价值和企业价值的增长。大数据和大模型,作为双核驱动力,正在引领我们迈向更加智能、高效和便捷的时代。
“大模型”与“大数据”两者犹如车之双轮,合力驱动数据价值和企业价值的增长。大数据和大模型,作为双核驱动力,正在引领我们迈向更加智能、高效和便捷的时代。
02大规模迁移实践
背景
公司需求技术趋势Flink发展
•统一、高效的资源管•Kubernetes已发展为容•弹性伸缩
“大模型”与“大数据”两者犹如车之双轮,合力驱动数据价值和企业价值的增长。大数据和大模型,作为双核驱动力,正在引领我们迈向更加智能、高效和便捷的时代。
理与调度。器编排的事实标准。•存算分离
•Runtimeadaption
2018-2022Flinkonyarn2023-2024Flinkonk8s
•初期跟Flink结合的比较好。•统一的云生态和丰富的应用。
架构演进
•调度性能好
您可能关注的文档
- 从大数据到大模型:搜索推荐技术的前沿探索-2024大数据大模型峰会.pdf
- 打造LLMOps时代Prompt数据驱动引擎-2024大数据大模型峰会.pdf
- 大模型在智能电销的应用-2024大数据大模型峰会.pdf
- 大模型增强用户体验与用户服务论-2024大数据大模型峰会.pdf
- 多模态手机智能体Mobile-Agent-2024大数据大模型峰会.pdf
- 基于 Apache Paimon 的实时湖仓架构探索-2024大数据大模型峰会.pdf
- 基于ByteHouse OLAP架构如何实现⾼性能向量检索-2024大数据大模型峰会.pdf
- 基于Doris湖仓一体分析系统在快手的实践-2024大数据大模型峰会.pdf
- 基于Uplift Model的电商平台优惠券分发优化-2024大数据大模型峰会.pdf
- 基于大模型实现结构化标签提取-2024大数据大模型峰会.pdf
文档评论(0)