ChatGLM部署、微调与开发 课件 13本地部署ChatGLM3-6B.pptx

第13章本地部署ChatGLM3-6B模型下载并克隆仓库一运行ChatGLM3-6B二LangChain与ZhipuAI三

通过modelscope社区下载模型13.1模型下载并克隆仓库pipinstallmodelscopefrommodelscopeimportsnapshot_downloadmodel_dir=snapshot_download(ZhipuAI/chatglm3-6b,revision=v1.0.0)ModelScope社区是一个在2022年6月由阿里巴巴达摩院和CCF开源发展委员会共同发起成立的模型开源社区及创新平台。它专注于深度学习模型的开放合作，提供一站式的模型服务，包括模型的管理、下载、调优、训练和部署等功能。

13.1模型下载并克隆仓库首先通过git克隆仓库gitclone/THUDM/ChatGLM3cdChatGLM3然后通过pip安装依赖pipinstall-rrequirements.txt通过git克隆仓库

第13章本地部署ChatGLM3-6B模型下载并克隆仓库一运行ChatGLM3-6B二LangChain与ZhipuAI三

13.2运行ChatGLM3-6B运行Demo#首先进入综合demo的代码目录：cdcomposite_demo#接下来使用预先下载好的模型启动webdemo，首先在环境变量中添加模型路径：exportMODEL_PATH=./.cache/modelscope/hub/ZhipuAI/chatglm3-6b#之后安装运行demo所需要的依赖，注意安装在chatglm3环境中。pipinstall-rrequirements.txtipythonkernelinstall--namechatglm3--user#随后即可启动服务：streamlitrunmain.py

13.2运行ChatGLM3-6B运行Demo效果

第13章本地部署ChatGLM3-6B模型下载并克隆仓库一运行ChatGLM3-6B二LangChain与ZhipuAI三

13.3LangChain与ZhipuAI安装LangChainLangChain是一个开源框架，用于简化大型语言模型（LLMs）的应用开发。它提供模块化组件和用例链，支持将语言模型与外部资源和数据源结合，实现丰富的语言处理任务。LangChain的上下文感知能力提升了回应的准确性。通过封装通用行为为API，LangChain降低了开发门槛，支持多种应用场景，并增强了开发灵活性。Langchain简化了大语言模型应用的每一个阶段。Langchain的安装：pipinstalllangchainpipinstalllangchain_communitypipinstalljupyter1.开发阶段：在这个阶段用户可以使用langchain提供的组件，还有丰富的第三方库以及模板。2.运行阶段：用户可以使用LangSmith进行查看，监视定义的从输入到输出的一整个链条，这样的话就可以不断优化使用大语言模型的流程3.部署阶段：用户可以使用langserve将我们定义的大语言模型的流程转化为应用接口的方式。

13.3LangChain与ZhipuAIZhipuAI的基本调用fromlangchain_community.chat_models.zhipuaiimportChatZhipuAIfromlangchain.schemaimportHumanMessage,SystemMessagemessages=[SystemMessage(content=你是一个个智能的助手，请帮我回答下面的问题),HumanMessage(content=手上有了两个弹珠，弹出去一个还剩几个？),]llm=ChatZhipuAI(zhipuai_api_key=…,temperature=0.95,model=glm-3-turbo)llm.invoke(messages)

13.3LangChain与ZhipuAI使用Langchain进行链式调用大模型fromlangchain_mptsimportChatPromptTemplateprompt=ChatPromptTemplate.from_messages([(system,你现在是一个文档助手),(user,{input})])chain=prompt|llmchain.invoke({input:刷牙的流