OPPO数据湖加速大模型训练.docx

OPPO数据湖加速大模型训练

分享人:陈哲嘉–OPPO-高级大数据平台工程师

DataFun#2024

目录

CONTENT

OPPO数据湖平台介绍

Glacier–自研湖仓引擎流批一体

大模型任务加速

大模型任务接入数据平台Rust加速大模型任务

03技术规划

01

OPPO数据湖平台介绍

DataFun#2024

OPPO大数据架构

自研数据湖产品-Glacier

?管理和优化开源数据湖表

?秒级写入

?索引增强

?非结构化数据优化

数据产品

接入层

计算引擎

元数据

文档评论(0)

1亿VIP精品文档

相关文档