⾯向⽣成式AI的向量数据库：架构，性能与未来趋势.pptx

?向?成式AI的向量数据库：架构，性能与未来趋势

向量数据库背景介绍Milvus整体架构设计性能的关键-索引?向AI持续进化

01向量数据库背景介绍

什么是向量数据

什么是向量检索找到离查询向量最近的 条向量（TopK）怎么计算距离取决于模型定义使?怎样的Metric，常?的有L2，IP和Cosine等

什么是向量数据库向量数据库是?种专为存储和查询?维度向量数据?优化的数据库系统

为什么需要向量数据库AI1.0时代，向量数据库已经被?泛应?于机器学习应?中，包括推荐系统，搜索，?控，安防等系统中。现在仍然是重要的使?场景

为什么需要向量数据库RetrievalAugmentedGeneration(RAG)，向量数据库作为存储记忆体保存领域相关的知识，?于查找query相关的数据LLM从增强的提示词中获得为?户量身定制的答案，增强了结果的相关性

什么是?个好的向量数据库性能扩展性易?性功能可观测可运维?态集成故障恢复安全…

您公司的logo02Milvus整体架构设计

云原?的分布式向量数据库Proxy：接?层，负责请求编译，检查和路由Query：负责数据/索引的加载和查询Data：负责数据批流转化Index：索引构建

云原?的分布式向量数据库强?的隔离性，建索引不争抢查询资源良好的扩展能?，?持百亿级别的向量更加灵活的流式数据处理能?和增量更新/删除能?

实时性和性能的tradeoffSegment是milvus查询的最?单位growingsegment负责流式数据的查询，保证数据的实时可?，性能差sealedsegment负责持久化数据的查询。数据构建过索引，性能好通过indexNode构建索引替换queryNode上的数据加速查询

异步compaction把?些?segment合成?segment，加速查询合并delete数据，做物理删除，对向量检索更加友好

批量写??持bulkinsert功能，?户提供json/csv/parquet等格式的?件，跳过消息队列，直接插?到对象存储?持Sparkconnector，外部数据源可以通过SparkETL导?到Milvus

全局索引根据不同租户做划分数据根据标量过滤条件划分数据根据向量空间分布划分数据

Zillizcloud：向量数据库即服务ZillizCloud是Zilliz基于开源向量数据库milvus打造的全托管企业级向量检索云服务分为Serverless，SaaS和BYOC三个版本，?向不同需求和不同部署环境?前已经登陆AWS，GCP，Azure，阿?云、腾讯云等

您公司的logo03性能的关键-索引

主流向量索引树索引：维度灾难，性能差哈希：精确有限量化：精度有限，但?哈希更为常?图索引：占?资源?，精度和性能优异哈希量化图树

knowhere引擎Knowhere作为milvus的核?向量引擎，集成了多种向量算法，供?户?由选择对外统?接?，?便集成新索引

FLAT暴搜：效率很低，但100%准确！数据量少的时候可能优于索引的性能

IVF对数据点做聚类，分成若?个buckets查询时找到query最近的nprobe个buckets，避免搜索全量数据

Productquantization将向量分成m段，每段?向量通过聚类编码成聚类中?id，有效压缩向量的内存占?查询时预计算query向量和每段聚类中?的距离，把距离计算转化成查表操作

HNSW?前最为?泛使?的图索引建索引的原则：近邻的近邻?概率是近邻，同时引??些?边防?陷?局部最优层次化的结构快速定位，贪?式搜索找到最终结果

DISKANNDisk中保存图索引，并按照向量本身和邻居id?起存的?式增强locality。每次IO同时得到原始向量计算精确距离，同时得到邻居id，?到内存中的PQ编码计算近似距离?于导航DiskANN可以实现较低的内存占?，达到还不错的性能和?精度

GPUcagra和NVIDIA团队合作，将gpucagra索引集成到knowhere，充分利?gpu的并?计算能?，加速索引构建和查询

如何选择最合适的索引希望降低cost考虑采?disk的?案，量化的?案。希望提?accuracy则不去做激进的量化策略，要求很?则使?FLAT。希望提?performance，采?内存图索引/gpu索引?案不可能三?：必须在限制的条件中进?筛选最合适的策略

Zillizcloud商业版索引引擎-cardinal更加?程化的代码更智能的参数学习更加优异的数据存储布局更加极致的SIMD优化

您公司的logo04?向AI持续进化

Filtersearch带标量过滤条件的向量检索