大语言模型基础(微课版）课件 第7、8章 提示工程与微调、强化学习方法.pptx

;;大语言模型正在发展成为人工智能的一项基础设施。作为像水、电一样的基础设施，预训练大模型这种艰巨任务只会有少数技术实力强、财力雄厚的公司去做，而大多数人则会是其用户。对用户来说，掌握用好大模型的技术更加重要。用好大模型的第一个层次是掌握提示（Prompt）工程，第二个层次是做好大模型的微调。;提示工程关注提示词的开发和优化，帮助用户将大模型用于各场景和研究领域。掌握提示工程相关技能帮助用户更好地了解大模型的能力和局限性。

另一方面，经过海量数据预训练后的语言模型虽然有了大量的“知识”，但由于其训练时的目标仅是进行下一个词的预测，还不能够理解并遵循人类自然语言形式的指令，为此，需要使用指令数据对其进行微调。如何构造指令数据，如何高效低成本地进行指令微调训练，以及如何在语音模型基础上进一步扩大上下文等问题，是大模型在有监督微调阶段的核心。;;PART01;提示扮演着至关重要的角色。提示工程应用于开发和优化提示词，帮助用户有效地将语言模型用于各种应用场景和研究领域。研究人员可利用提示工程来提高大模型处理复杂任务场景的能力，如问答和算术推理能力以及大模型的安全性。开发人员可通过提示工程设计和实现与大模型或其他生态工具的交互和高效接轨，借助专业领域知识和外部工具来增强大模型能力。

提示不仅是用户与AI模型（如ChatGPT）交互的桥梁，更是一种全新的“编程语言”，用户通过精心设计的提示来指导AI模型产生特定的输出，执行各种任务。;提示任务的范围非常广泛，从简单问答、文本生成到复杂的逻辑推理、数学计算和创意写作等。与传统的编程语言相比，提示通常更加即时和互动。用户可以直接在AI模型的接口中输入提示并立即看到结果，而无需经过编译或长时间的运行过程。;作为通用人工时代的“软件工程”，提示工程涉及到如何设计、优化和管理提示内容，以确保人工智能模型能够准确、高效地执行用户的指令。

图7-1提示工程的内容;（1）设计：提示设计需要仔细选择词汇、构造清晰的句子结构，并考虑上下文信息，确保人工智能模??能够准确理解用户的意图并产生符合预期的输出。

（2）优化：优化提示可能涉及调整词汇选择、改变句子结构或添加额外的上下文信息，以提高人工智能模型的性能和准确性。这可能需要多次尝试和迭代，以达到最佳效果。;（3）管理：随着通用人工智能应用的不断增长和复杂化，管理大量的提示内容变得至关重要。这包括组织、存储和检索提示，以便在需要时能够快速找到并使用它们。同时，还需要定期更新和维护这些提示，以适应人工智能模型的改进和变化的需求。;1.提示构成

一个完整的提示应该包含清晰的指示、相关上下文、有助于理解的例子、明确的输入以及期望的输出格式描述。

（1）指示：是对任务的明确描述，相当于给模型下达了一个命令或请求，它告诉模型应该做什么，是任务执行的基础。

（2）上下文：是与任务相关的背景信息，它有助于模型更好地理解当前任务所处的环境或情境。在多轮交互中，上下文尤其重要，因为它提供了对话的连贯性和历史信息。;（3）示例：给出一个或多个具体示例，用于演示任务的执行方式或所需输出的格式。这种方法在机器学习中被称为示范学习，已被证明对提高输出正确性有帮助。

（4）输入：是任务的具体数据或信息，它是模型需要处理的内容。在提示中，输入应该被清晰地标识出来，以便模型能够准确地识别和处理。

（5）输出格式：是模型根据输入和指示生成的结果。提示中通常会描述输出格式，以便后续模块能够自动解析模型的输出结果。常见的输出格式包括结构化数据格式如JSON、XML等。;2.提示调优

提示调优是一个人与机器协同的过程，需明确需求、注重细节、灵活应用技巧，以实现最佳交互效果。

（1）人的视角：明确需求。

·核心点：确保清晰、具体地传达自己的意图。

·策略：简化复杂需求，分解为模型易理解的指令。;（2）机器的视角：注重细节。

·核心点：机器缺乏人类直觉，需详细提供信息和上下文。

·策略：精确选择词汇和结构，避免歧义，提供完整线索。

（3）模型的视角：灵活应用技巧。

·核心点：不同模型、情境需要有不同的提示表达方式。

·策略：通过实践找到最佳词汇、结构和技巧，适应模型特性。;提示技术是引导人工智能模型进行深度思考和创新的有效工具。

（1）链式思考提示。这是一种注重和引导逐步推理的方法。通过构建一系列有序、相互关联的思

考步骤，使模型能够更深

入地理解问题，并生成结

构化、逻辑清晰的回答。

图7-2链式思考提示示例;链式思考提示的核心特点是：

·有序性：要求将问题分解为一系列有序的步骤，每个步骤都建立在前一个步骤的基础上，形成一条清晰的思考链条。

·关联性：每个思考步骤之间必须存在紧密的逻辑联系，以确保整个思考过程的连贯性和