大语言模型通识微课课件：大模型应用技术架构.pptx

;大语言模型的技术架构是一个高度综合的系统，旨在平衡技术性能、效率、成本与实际应用需求，推动在各个领域的深入应用。技术架构包括：

（1）基础架构层：深度学习框架、计算资源、分布式训练系统。

（2）模型架构层：Transformer架构、预训练与微调。

（3）数据处理层：数据收集与清洗、数据增强。

（4）优化与效率层：激活重计算、高效注意力机制、参数高效微调。

（5）应用接口层：API与SDK、平台与工具。

（6）安全与伦理层：内容过滤与监测、隐私保护。;大语言模型的应用架构建立在技术架构基础之上，关注如何将强大的语言处理能力转化为实际的产品和服务。具体可以分为以下几个核心组件和流程：

（1）模型接入与部署：

?模型选择与版本管理：根据应用场景选择合适的大模型版本并维护。

?容器化与服务化：利用容器编排技术，将模型封装为可扩展、高可用。

（2）请求处理与负载均衡：

?API网关：作为外部请求入口点，负责认证、路由、限流等操作。

?负载均衡器：确保系统能够处理高并发请求，维持低延迟响应。;（3）对话管理和上下文追踪：

?会话管理器：维护用户对话，确保多轮交互理解上下文，连贯体验。

?状态存储：使用数据库缓存存储用户会话状态，加快访问速度。

（4）个性化与定制化：

?用户画像：基于用户行为和偏好创建个性化配置，更贴合用户需求。

?动态参数调整：允许根据动态调整模型参数，优化输出质量。;（5）内容生成与后处理：

?生成引擎：接收前端请求，调用模型生成文本，实现翻译等多种功能。

?后处理模块：对原始输出格式化、过滤敏感内容、提升模型输出质量。

（6）监控与反馈循环：

?性能监控：跟踪模型响应时间、错误率等指标，确保服务质量。

?用户反馈系统：收集反馈，用于持续优化模型和策略调整。;（7）合规与安全防护：

?内容审核：集成敏感词过滤、情感分析等工具，检测并阻止不当内容。

?隐私保护措施：确保数据传输加密，遵守GDPR等数据保护法规。

通过这样一套应用架构，大语言模型得以在保障高效、安全、合规的前提下，服务于各种复杂的自然???言处理应用场景，包括但不限于智能客服、内容创作、教育辅助、数据分析、产品推荐等。;现有的大模型的应用技术从上往下，从简单到复杂，依次主要有四种，即指令工程、函数调用、检索增强生成、微调。

（1）指令工程：考验一个人写提示（指令）的“功力”，通过引导模型生成特定类型的文本。好的提示可以引导模型以期望的方式生成文本。这种方法简单直观，但对提示要求较高。

（2）函数调用：通过调用模型的内部函数，直接获取模型的某些特性。这种方法可以直接获取模型的内部信息，但需要理解模型的内部结构。;（3）检索增强生成（RAG）是一种结合了检索和生成的应用架构。模型首先检索相关文本，然后以这些文本为输入，让模型生成答案。优点是利用了大量外部信息来提高模型生成质量。

（4）微调：是一种在特定任务上进一步训练模型的应用架构。模型首先在大量文本上进行预训练，学习语言的基本规律。然后在特定任务的数据上进行微调，学习任务的特定规律。但这种方法需要大量的标注数据。;2024年2月16日，OpenAI发布Sora视频生成模型技术，揭示了Sora大模型背后的强大训练思路和详细的技术特性。

图3-4文生视频模型Sora的作品;Sora模型不仅展现了三维空间的连贯性、模拟数字世界的能力、长期连续性和物体持久性，还能与世界互动，如同真实存在。其训练过程获得了大模型的灵感，采用扩散型变换器模型，通过将视频转换为时空区块的方式，实现了在压缩的潜在空间上的训练和视频生成。这种独特的训练方法使得Sora能够创造出质量显著提升的视频内容，无需对素材进行裁切，直接为不同设备以其原生纵横比创造内容。

Sora的推出，无疑为视频生成领域带来了革命性的进步，其技术细节值得每一位从业者细致研究。;