大模型面试题-13-基于langchain RAG问答应用实战.pdf

基于langchainRAG问答应用实战

来自：AiGC面试宝典

宁静致远2024年02月08日10:04

一、前言

1.1介绍

本次选用百度百科——藜麦数据（/item/藜麦/5843874）模拟个人或企业私域数

据，并基于langchain开发框架，实现一种简单的RAG问答应用示例。

1.2软件资源

•CUDA11.7

•Python3.10

•pytorch1.13.1+cu117

•langchain

二、环境搭建

2.1下载代码

$

2.2构建环境

$condacreate-npy310_chatpython3.10#创建新环境

$sourceactivatepy310_chat#激活环境

2.3安装依赖

$pipinstalldatasetslangchainsentence_transformerstqdmchromadb

langchain_wenxin

三、RAG问答应用实战

3.1数据构建

藜麦数据（/item/藜麦/5843874）保存到藜.txt文件中。

3.2本地数据加载

fromlangchain.document_loadersimportTextLoader

loader=TextLoader(./藜.txt)

documents=loader.load()

documents

[Document(page_content藜（读音lí）麦（Chenopodium\xa0quinoa\xa0Willd.）是藜科藜属

植物。穗部可呈红、紫、黄，植株形状类似灰灰菜，成熟后穗部类似高粱穗。植株大小受环境

及遗传因素影响较大，从0.3-3米不等，茎部质地较硬，可分枝可不分。单叶互生，叶片呈鸭掌

状，叶缘分为全缘型与锯齿缘型。藜麦花两性，花序呈伞状、穗状、圆锥状，藜麦种子较小，

呈小圆药片状，直径1.5-2毫米，千粒重1.4-3克。\xa0[1]\xa0\n原产于南美洲安第斯山脉的哥

伦比亚、厄瓜多尔、秘鲁等中高海拔山区。具有一定的耐旱、耐寒、耐盐性，生长范围约为海

平面到海拔4500米左右的高原上，最适的高度为海拔3000-4000米的高原或山地地区。

\xa0[1]\xa0\n藜麦富含的维生素、多酚、类黄酮类、皂苷和植物甾醇类物质具有多种健康功

效。...

3.3文档分割

文档分割，借助langchain的字符分割器，这里采用固定字符长度分割chunk_size=128

#文档分割

fromlangchain.text_splitterimportCharacterTextSplitter

#创建拆分器

text_splitter=CharacterTextSplitter(chunk_size128,chunk_overlap0)

#拆分文档

documents=text_splitter.split_documents(documents)

documents

[Document(page_content藜（读音lí）麦（Chenopodium\xa0quinoa\xa0Willd.）是藜科藜属

植物。穗部可呈红、紫、黄，植株形状类似灰灰菜，成熟后穗部类似高粱穗。植株大小受环境

及遗传因素影响较大，从0.3-3米不等，茎部质地较硬，可分枝可不分。单叶互生，叶片呈鸭掌

状，叶缘分为全缘型与锯齿缘型。藜麦花两性，花序呈伞状、穗状、圆锥状，藜麦种子较小，

呈小圆药片状，直径1.5-2毫米，千粒重1.4-3克。\xa0[1]\xa0\n原产于南美洲安第斯山脉的哥

伦比亚、厄瓜多尔、秘鲁等中高海拔山区。具有一定的耐旱、耐寒、耐盐性，生长范围约为海

平面到海拔4500米左右的高原上，最适的高度为海拔3000-4000米的高原或山地地区。

\xa0[1]\xa0\n藜麦富含的维生素、多酚、类黄酮类、皂苷和植物甾醇类物质具有多种健康功

效。藜麦具有高蛋白，其所含脂肪中不饱和脂肪酸占83%，还是一种低果糖低葡萄糖的食物，能

在糖脂代谢过程中发挥有益功效。\xa0[1]\xa0\xa