PostgreSQL高维向量检索索引插件介绍.pdfVIP

PostgreSQL高维向量检索索引插件介绍 姓名 ：方概 公司 ：蚂蚁金服 1. 背景 目录 2. 索引插件实现 3. 示例和性能 4. 索引扩展 5. 展望 01 背景 问题 ，解决方案 近似最近邻检索 (ANN,Approximate Nearest Neighbor Search) ANN流程 向量检索场景 为什么不直接使用开源算法库 l 开源算法库 ：faiss， SPTAG, annoy, nmslib, falconn 组合查询 问题 分布式和高可用 数据迁移 PostgreSQL(简称PG)优势 The Worlds Most Advanced Open Source Relational Database 高性能 开源许 和稳定 可证灵 性 活 扩展性 使用广 强 泛 PG现有向量索引插件 索引插件 实现方式 特点 限制 imgsmlr 基于Gist索引 内部提供图像特征提 只能用于16维的向量检索 取等方法 场景，不适用于大规模的 工业应用 cube 基于Gist索引 支持向量的聚类、向 仅支持100维以下 ，测试性 量的距离计算 能不佳 freedy 基于上层SQL扩展 支持丰富的ANN算法 大规模数据场景性能无法 函数 接受 基于PG的高维向量检索插件 (Pase - PG ANN search extension) 复合查询 一种可行的通用方案 ，赋予 PG大规模高维向量检索能力。 高效存储 扩展性 和检索 02 索引插件实现 索引结构 ，实现算法和索引扩展 PG索引结构抽象 PG索引底层存储结构 底层存储基于PG定义的基础结构 ：PAGE PageHeaderData - PG定义的数据结构 ，用于Page的管理。 special space – 部分内容由用户 自定义使用。 User define space