第1天-大模型基础.pptxVIP

大模型基础理论与实践大模型介绍

课程大纲了解大模型基础理论与前沿、掌握实践技能（调用、部署和训练）大模型基础介绍提示词工程工具调用和RAG多模态大模型与Agent介绍CoT与大模型微调部署深度学习基础（选）

课程大纲要求：1、通俗易懂，建立直观的概念；2、前瞻性，最新学术领域动态；3、注重实践，手把手教学；

今日课程大纲理论：1、大模型背景；2、从机器学习到大模型的发展历史；3、大模型基础理论；4、大模型应用案例介绍；5、大模型的前沿应用与未来发展；实践：1、python、conda开发环境配置；2、python基础语法；3、大模型API接口调用；

课前调研有多少人使用过大模型？多少人会python，pip，conda？多少人了解机器学习/深度学习？多少人了解pytorch？

阶段时间代表性技术数据规模技术栈弱人工智能1950-1990人工设计的规则系统数百基于专家知识和规则的系统统计机器学习1990-2012HMM、SVM、反向传播、卷积网络百万级统计机器学习算法+算法包(scikit-learn,XGBoost)深度学习2013-2018ImageNet、ResNet、Word2Vec、Transformer十亿级深度神经网络+开发框架(TensorFlow,PyTorch)大语言模型2018-至今BERT，GPT，LLaMA，DeepSeek全网万亿级数据预训练+微调+后训练+开源社区人工智能发展阶段

大模型背景大语言模型展现了前所未的零样本泛化能力，为通用人工智能/强人工智能的带来曙光。室温超导通用人工智能

大模型背景-什么是chatgpt？chatgpt代表聊天或对话，强调了这个模型用于进行自然语言对话的功能GenerativePre-trainedTransformer的缩写，其中Generative表示生成式，意味着模型能够生成文本；Pre-trained表示预训练，说明模型在部署前已经接受过大量数据的训练；Transformer是一种深度学习架构，广泛应用于自然语言处理领域关键特征：?参数规模巨大：通常以百亿甚至千亿参数计（如GPT-3.5有千亿参数级别）。?通用性强：不仅能完成特定任务，还能迁移到未见过的任务中。?多模态支持：支持文字、图像、视频甚至音频的多模态交互。

大模型背景-发展历史

大模型背景-发展历史2018GPT-10.1B参数Decoder-Only2019GPT-21.5B参数统一多任务学习2020GPT-3175B参数上下文学习、涌现能力2022InstructGPT指令微调人类对齐RLHF2022年11月ChatGPT正式公开上线2023年3月GPT-4性能大幅度提升扩展输入图文双模态2023年9月GPT-4Turbo上下文窗口128K价格更低2023年9月GPT-4oNative多模态输入输出（文本、图像、音频）性能提升2017TransformersAttention大规模并行

大模型背景-发展历史2023年2月LLaMA7B、13B、20B、65B参数1T语料训练上下文2K2023年7月LLaMA-27B、13B、34B、70B参数2T语料训练上下文4K2024年4月LLaMA-38B、70B参数15T语料训练上下文8K2024年6月Qwen20.5B、1.5B、7B、57B、72B参数上下文128K2024年6月ChatGLM49B参数上下文最大1M2024年5月DeepSeek-V216B、236BMoE全参数8.1T语料训练上下文128K?

大模型背景机器学习神经网络深度学习大模型

机器学习-最小二乘基本概念数据(蓝色点集合):模型:y=ax+b目标：确定参数a和b，最小化结果:y=0.5x+5

机器学习-最小二乘基本概念数据(蓝色点集合):模型:y=ax+b目标：确定参数a和b，最小化结果:y=0.5x+51、数据的质量直接决定了算法的效果；2、选择一个正确的模型是至关重要的；3、如何选择优化目标，从而确定模型参数是关键问题；

机器学习-最小二乘的局限性核心假设模型是线性的y=ax+b如果更复杂的任务无法确定模型

模型是什么?模型输入输出Y=WXW=[w1,w2,…,wn]X=[x1,x2,…,xn]Y=[y1,y2,…,yn]

大模型是什么?模型输入输出Y=WXW=[w1,w2,…,wn]X=[x1,x2,…,xn]Y=[y1,y2,…,yn]模型参数量内存消耗ResNet5025M（百万）1GBLLaMA-65B65B（十亿）780GB

神经网络理论上万能的函数逼近器-神经网络8

神经网络-核心缺点简单的神经网络实际拟合能力有限，且计算效率低下，收敛缓慢；

深度学习-基本概念增加神经网络的