量化漫谈系列之六：为大模型插上翅膀，ChatGLM部署与Langchain知识库挂载.docxVIP

1敬请参阅最后一页特别声明 1 敬请参阅最后一页特别声明 金融工程组 分析师：高智威 (执业 S1130522110003) gaozhiw@ 联系人：王小康 wangxiaokang@ 为大模型插上翅膀--chatGLM部署与 Langchain知识库挂载 chatGPT大模型使用现状与 Langchain框架介绍 自去年底 ChatGPT 发布以来，大模型展现出的能力受到市场的广泛关注，我们基于 ChatGPT 的系列量化研究也充分说 明其在投研领域的重要作用。不过 ChatGPT 在实际使用中依然存在专业度不够、数据隐私性得不到保证、信息及时性 不够等问题。 我们推荐使用 Langchain 这一开源的大模型框架以提升模型的实际使用体验，该框架应用领域广泛， 可以基于本地知 识库进行问答，接受多种不同文档形式的输入。其基本原理是将本地的不同文档进行切分后存入向量数据库中， 在用 户提问时进行相似性搜索， 结合最相似性的文档段落放入提示模板中对大语言模型进行提问， 从而得到更有专业性的 回答结果。此外，Langchain 的强大的 Chain 和 Agent 模块能够实现任务识别、任务拆解、工具选择使用、完成任务 后的回答整理，对于大模型和知识库的使用起到了锦上添花的作用。 主流开源大语言模型对比 随着 ChatGPT 推出之后受到的广泛关注， 国内外众多互联网、科技类公司也纷纷推出了自己的大语言模型。 美国的互 联网科技公司在开发出 LLaMA 模型后，众多高校以该模型为基座训练出了 Alpaca 和 Vicuna 等模型。国内有阿里云推 出的 Qwen，商汤科技、上海 A I 实验室联合多个高校开发出了 InternLM，清华大学与智谱 A I 训练的 ChatGLM 等模型 都有非常不错的表现。在 OpenCompass 的中文多维度综合能力测评中， 众多国产开源大模型已经展现出了较强的综合 实力。 chatGLM2部署与Langchain知识库挂载 我们选择关注度较高的 ChatGLM2-6B 模型进行部署，该模型在量化后可在一些消费级显卡上进行推理， 同时也有不错 的表现。同时搭配 Langchain 的框架对过往的行业研报、金工研报、宏观及策略研报进行向量化后构建对应的知识库， 我们分别针对新知识掌握、多文本总结概括和信息搜集三大应用场景进行测试，发现 ChatGLM2 整体给出了较高的回 复质量。该流程实现自动化后，可以将我们关心的日常资讯、私有数据、最新研报等内容自动更新加载进入知识库， 从而使模型使用更佳高效便捷。 风险提示 1、 大语言模型基于上下文预测进行回答，不能保证回答准确性，由此可能产生误导影响用户判断。 2、 Langchain 框架效果与挂载知识库质量、提示模板设计、大语言模型能力高度相关，若相关配置不到位，可能会 导致回答效果不及预期。 金融工程专题报告扫码获取更多服务 金融工程专题报告 2敬请参阅最后一页特别声明 2 敬请参阅最后一页特别声明 内容目录 一、ChatGPT 等通用大语言模型使用现状 4 二、 Langchain 知识库框架介绍 6 2.1 Langchain 知识库原理介绍 6 2.2 Langchain 知识库主要模块介绍及应用案例 7 三、 主流开源大语言模型对比 10 3.1 部分大语言模型介绍 10 3.2 大语言模型评价指标介绍及对比 10 3.3 大语言模型部署的显卡消耗 12 四、 ChatGLM2 模型+Langchain 知识库挂载 12 4.1 模型部署 12 4.2 Langchain 知识库挂载及应用案例 13 总结 14 风险提示 15 图表目录 图表 1： ChatGPT 行业打分回答示例 4 图表 2： ChatGPT 分析 OPEC 新闻对于原油期货价格的影响回答示例 4 图表 3： ChatGPT 金融领域专业知识问答示例 5 图表 4： ChatGPT 最新资讯问答示例 5 图表 5： Langchain 挂载本地知识库框架介绍 6 图表 6： 知识库挂载问答示例 1 7 图表 7： 知识库挂载问答示例 2 7 图表 8： Langchain 常用模块 7 图表 9： 主流 Embedding 模型介绍 8 图表 10： Langchain 主要模块应用案例 1-联网搜索 8 图表 11： 向量化研报文本节选 8 图表 12： Langchain 主要模块应用案例 2-ReAct 信息提取计算 9 图表 13： 部分大语言模型基本介绍（排名不分先后）