面向大规模向量数据的云原生存储解决方案 Milvus 向量数据库的经验.docx

米zilliz:DclaFun.

面向大规模向量数据的云

原生存储解决方案

DataFunCon#2024

米zilliz:DataFun.

个人介绍

·Zilliz首席工程师

·大数据系统工程师，ApacheHiveHadoop贡献者·前阿里高级专家

米zillizDataFun.

关于Zilliz

milvus·全球第一款向量数据库

Milvus

Milvus

Milvusisanopensourcevector

databasseusedtostore,index,andmanemassiveeembeddingvector

bydeepneuralnetworkshermachinelearning(ML)

mod

towhee

Towhee

TowwheemakesiteasytolbuildneurforAl

applicaredsof

orithmsand

Towheehelpsyou

encourunstructureddatainto

embeddings.

·高性能和高吞吐·线性扩展

·模型编排

·向量数据库云服务

·超高性能·全托管

·高度可定制

GPTCache

GPTCacheisanopen-sourcetooldesignedtoimprrovetheefficiency anddspedofGPT-bassed

applicaationsbyimplementingacachetostoretheresponses

generatedbylanguagemodels.

·大模型缓存

Contents

目录

米zilizDstaFun.

米zilliz:DataFun.

向量数据库

为AI打造的非结构化数据解决方案

zillizDataFun.

嵌入

·数据的向量表达·无监督特征抽取·语义相似性度量

Texmodel

Videosmodel

Embeddinngs

YideoVectoEmbedding

米zillizDataFun.

ANNSearch

zillizDataFun.

向量存储

VectorStores

2.QueryVectorStore

VectorStore1.LoadSource

VectorStore

Embled

D国

D国

Load,Transform,Embed目品曲

Load,Transform,Embed

9□

9□

D自

XXXXXXXXXXXXX

3.Retrievemostsimilar

向量存储是AI系统的核心组件

米zillizDataFun.

为什么不使用向量索引库?

·向量索引库没有完备的数据库功能

·数据更新

·条件查询和分组查询

·数据类型支持和函数支持

·向量索引库使用门槛高·部署

·管理：监控、备份

·向量索引库无法多机扩展

米zillizDataFun.

为什么不使用传统数据库?

·向量索引能力·复杂向量操作·多向量查询

·混合查询

·非结构化存储挑战

zillizDataFun.

向量数据库的关键指标

Serial_latency_p99(lessisbetter)ZillizCloud-8cu-perf

Serial_latency_p99(lessisbetter)

ZillizCloud-8cu-perf Milvus-16c64g-hnsw ZillizCloud-2cu-cap Pinecone-p2.x1-8node Milvus-4c16g-diskQdrantCloud-4c16g-5nodePinecone-s1.x1-2node

13.7ms

27.4ms·功能一混合查询、分组、多模态

27.4ms

·扩展性-存储计算分离的弹性伸缩

·稳定性

lolavailable

locd

disk

zillizDataFun.

Zilliz向量数据库产品

BRINGYOUROWNCLOUDSELFMANAGEDSOFTWAREFULLY

BRINGYOUROWNCLOUD

SELFMANAGEDSOFTWARE