刘轩-BES在大规模向量数据库场景的探索和实践.pdfVIP

BES 在大规模向量数据库场景的 探索和实践 百度智能云资深研发工程师 刘轩 01 向量数据库应用简介 02 BES工程实践 03 BES应用案例介绍 向量数据库的传统应用场景 在大模型出现之前 ，向量检索这项技术就已经发展成熟了 随着深度学习技术广泛应用于图片 、音频 、视频搜索 、推荐 ，语义检索 ，文本问答 ，人脸识别等领域 大模型时代的机遇 大 （语言 ）模型的出现改变了人机交 大模型知识能力不够强 ，训练周期长 ，跟不上实时热点 ，产生幻觉 互方式 ，带来AI技术革命 ，但仍然还 有存在很多问题 ： Q ：北京2023年6月30 日气温最高多少 A ：很抱歉 ，我无法提供北京市2023年6月30 日的气温数据 。您可以通过查询北京市气象局官方 • 知识能力不够强 ，产生幻觉 微博来获取最准确的气温数据 。 • 训练周期长 ，成本高 • 隐私数据安全性 Q ：请根据以下 内容回答 问题 ：据北京市气象局官方微博消息 ，市应急管理局提示 ：市气象台 2023年6月30 日7时升级发布高温橙色预警信号 ，预计6月30 日和7月1日本市大部分地区最高气 温可达38-39℃ 。请做好防暑降温措施 ，注意节水节电。建议高温时段停止户外作业 ，减少户外 如何增强AI的知识 ，同时保护私有数 活动 ，谨防中暑和热射病 。中小学 、幼儿园高温时段停止室外活动 。问题 ：北京2023年6月30 日 据的安全？ 气温最高多少 A ：根据北京市气象局官方微博消息 ，北京市应急管理局提示 ，市气象台2023年6月30 日7时升 通过外置的数据和工具来增强大模型 级发布高温橙色预警信号 ，预计6月30 日和7月1日本市大部分地区最高气温可达38-39℃ 。所以 能力 ，称为提示词工程 北京2023年6月30 日气温最高可达39℃ 。 向量数据库在大模型应用中的核心工作流程 万物皆可Embedding ，向量是AI理解世界的通用形式 向量检索工程技术为AI提供知识和记忆 百度ElasticSearch简介 • Elasticsearch是基于Apache Lucene(单机搜索引擎)的分布式 、开源搜索与分析引擎 。搜索引擎数据库领域排名第一 百度ElasticSearch是一款成熟的产品 ，拥有云上的资源保障和运维能力 百度ElasticSearch向量检索能力 ，2020年开始已经在百度内广泛使用 ，积累丰富经验案例 百度ElasticSearch分布式架构 BES管控平台 集群管理 监控管理 … 管控平台实现集群管理 、监控 、变配 、 新建/删除 索引置冷 定时调度 策略调度平台 扩缩容 、冷热沉降等调度管理能力 BES集群实例 BLB负载均衡 基于云服务器BCC和云磁盘CDS构建ES 节点 ，便于扩展 …