AnythingLLM + Ollama 实现私有知识库.pdf

AnythingLLM+Ollama实现私有知识库

前言

在前面的教程中，我们通过Ollama实现了私有化部署大模型，并完成了对话与API访问的基本功能。

然而，此时的大模型还无法访问私有知识库。本文将介绍如何通过

AnythingLLM

与

Ollama

结

合，搭建一个具备私有知识库能力的AI应用。

AnythingLLM简介

AnythingLLM

是一款开箱即用的一体化AI应用，支持RAG（检索增强生成）、AI代理等功能。它无

需编写代码或处理复杂的基础设施问题，适合快速搭建私有知识库和智能问答系统。

主要特性：

多种部署方式：支持云端、本地和自托管部署。

多用户协作：支持团队协作，适用于企业知识管理和客户支持。

多模型支持：兼容OpenAI、Anthropic、LocalAI等主流大模型。

多向量数据库支持：支持Pinecone、Weaviate等向量数据库。

多文件格式处理：支持PDF、TXT、DOCX等文件格式。

实时网络搜索：结合LLM响应缓存与对话标记功能，提供高效的文档管理和智能问答能力。

下载与安装

AnythingLLM

提供了Mac、Windows和Linux的安装包，用户可以直接从官网下载并安装。

安装完成后，首次启动时会提示配置偏好设置。用户可以根据需求进行设置，后续也可以随时修改。

配置LLM提供商

在

AnythingLLM

的设置页面，可以通过

LLM首选项

修改LLM提供商。本文使用本地部署

的

Ollama

和

qwen2.5:14b

模型。配置完成后，务必点击

Savechanges

按钮保存设置。

❝

注意：关于Ollama的部署与使用，请参考之前的教程。

上传文档

在聊天界面中，用户可以创建多个工作区。每个工作区可以独立管理文档和LLM设置，并支持多个会话

（Thread），每个会话的上下文也是独立的。

点击上传图标，可以管理当前工作区的知识库。AnythingLLM

支持以下三种方式上传文档：

1.本地文档上传：直接上传本地文件。

2.Web链接：通过URL上传网页内容。

3.数据链接：从GitHub、GitLab等平台导入数据。

Documents界面

在

Documents

界面，用户可以管理已上传的文档，并通过下方的上传按钮或拖拽方式上传新文档。

❝

提示：如果需要上传整个目录及其子目录中的文档，直接将目录拖拽到上传按钮上即可。

DataConnectors

DataConnectors

功能支持从GitHub、GitLab仓库或网站爬取数据。用户只需输入仓库地址和

Token，即可导入指定目录或网页内容。

上传示例

以下是一个从GitHub仓库导入数据的示例：

1.输入仓库地址和Token。

2.通用FileIgnores配置导入的目录。

3.点击导入按钮，等待数据加载完成。

导入完成后，用户可以在

Documents

界面选中文档，并点击

MovetoWorkspace

将其添加到

工作区。

添加到工作区后，点击

SaveandEmbed，将文档内容转换为向量检索所需的嵌入数据结构。此过程

可能会消耗较多CPU资源，具体时间取决于文档数量。

查询知识库

将文档添加到工作区后，用户可以通过设置聊天模式调整大模型的回复方式：

聊天模式：结合LLM的通用知识和上传文档的上下文生成答案。

查询模式：仅基于上传文档的上下文生成答案。

在聊天窗口中，用户可以直接提问。大模型会基于文档内容生成答案，并标注答案来源。

使用Agent能力

AnythingLLM

支持AI代理功能，用户可以通过Agent完成特定任务。除了官方提供的默认Agent

（如

Scrapewebsites），还支持通过社区添加自定义Agent。

配置Agent

在设置页面的

代理技能

中，用户可以管理Agent。默认开启的