【全球架构师峰会】大模型时代数据库技术创新.pptx

大模型时代数据库技术创新

百度智能云数据库产品总架构师

《大数据架构详解》

获得2017电子工业出版社优秀作者奖

《大数据和云计算技术》

自我介绍

个人著作

公众号

j百度智能云

01数据库与大模型

02DB4AI：向量数据库

03AI4DB：数据库运维应用

目录

\j百度智能云

4

新媒体

移动App

云计算

物联网

在线办公、教育

娱乐、短视频

云数据库

分布式数据库

Aurora

RDS

Redshift

Oceanbase

CockroachDB

GaiaDB

Pega

关系型数据库

数据仓库

PC单机数据库

SQLServer

Teradata

dBase

PG

数据库行业发展史概览

1950s1970s1990s2000s20152023

企业信息化

ERP/CRM/财务

企业BI

个人办公

个人娱乐

关系型数据库

Oracle

DB2

Ingres

AI原生应用

Jasper

Midjourney

微软copilot

媒体

搜索

电子商务

社交

j百度智能云

数据中心+互联网

PC机+局域网

云+端+4G

GPU+AI

小型机

大型机

大模型和数据库结合相比以前的AI技术场景更通用，能力更实用！

大模型二次激发了数据库和AI的结合

AI4DB

DB4AI

数据库智能驾驶舱

向量数据库

j百度智能云

ModelBuilder

大模型精调，部署相关工具链

AgentBuilder

AppBuilder

GPU

大模型（文心，Llama,etc.）

VectorDB

RAGFlow

CPU

各种Agent

客服，销售

各种App

CRM，ERP，财务，HR

私有知识库

互联网，金融，多媒体

数据库智能驾驶舱DBSC

大模型最新技术栈

2CAgent

2BAgent

低代码态开发

代码态开发

j百度智能云

8

•文档，向量混合搜索

•多路召回，排序模型有：CohereRerank和BGE-Reranker

•知识库

•客服

•大模型记忆问答

•多模态检索

•推荐系统

•分类系统

向量数据库典型场景

j百度智能云

Query预处理

•意图识别

•同义词生成

•专有名词处理

召回

•向量检索

•文本检索

•多路召回

•re-rank

数据分块

•按固定大小

•按意图

Embedding

•BGE

•text-

embedding-3

•CLIP

Prompt工程

•StepbyStep

•针对场景优化

大模型能力

•理解

•生成

•逻辑

•记忆

RAG每步的难点和要解决的问题

LogsAPIs

非结构化数据

j百度智能云

copilot

音频

视频

搜索

推荐

文档

图片

CoAI

•成本低

•性能好，尤其是响应时延更好

•问答稳定，解决大模型幻觉问题

•复杂问题，安全问题处理更好（复杂过滤，安全回答）

•定位方便（大模型是黑盒）

RAG在通用性和性价比上占据明显优势

大模型长文本

•推理能力更强

j百度智能云

RAG

业务场景

基于大模型的推理能力，搭配向量数据库私有数据召回能力，构建私域知识库

功能需求

统一的客户向量数据全生命周期管理

•数据embedding管理

•多模私域数据存储和检索管理

•针对私域数据的向量标量混合检索

技术难点

•向量模型的版本管理和全量更新

•复杂的向量和标量混合查询条件支持

•支持私有化部署，集群小型化部署

RAG应用场景：私域知识库

j百度智能云

传统数据库支持向量的缺陷

j百度智能云

弹性高可用/

•提供弹性伸缩能力，最大上千节点

•分布式高可用架构，可用性99.99%，RPO=0，RTO=30s

•内建自动化管理和监控

•支持本地磁盘和云存储设施

•支持主流的LLMs框架集成开发

•集成百度千帆Embedding模型，基于百度中文语料并加入知识图谱进行训练，中文实体和短语性能好

百度AI原生向量数据库VectorDB

全栈LLM开发/

j百度智能云

接入服务

访问接口In