自然语言处理基础及应用课件 (11).pptxVIP

智能未来-大模型的崛起与行业革新高等学校自然语言处理课程教材

战略拐点：人工智能已经从成长期到产业化转换第一阶段酝酿期构造范式成长期产业化成熟期看得到新技术看得懂新技术用得上新技术用得好新技术中国式新技术技术能力第二阶段第三阶段第四阶段第五阶段技术大爆炸产业发展AI所处的位置新产品、新产业的爆炸性增长和迅速创新全部集群（新产业、技术体系和基础设施）创新和市场潜力的全面扩张产业范式的颠覆式创新扩张新产品和新产业接近成熟，已经构建独立的技术体系新产品、新产业、新技术体系接连出现并储蓄更新数据来源：甲子光年智库2025

人工智能“三驾马车”AI算法算力数据

AI时代模型参数与算力的急速增长算力（FLPOs）AI时代模型算力需求以超过摩尔定律增长5-6个月翻倍（远超摩尔定律）深度学习之 20个月翻倍（近似摩尔定律）前深度学习时代模型AlexNetResNetChatGPT发布时间201220152022模型层数8层152层-总参数量60-70M150MAI时代模型参数的急速增长

“三驾马车”驱动AI发展新阶段

大模型发展历程GPT-1(1.17亿参数)GPT-1有一定的泛化能力，能够用于和监督任务无关的NLP任务中。GPT-2(15亿参数)除了理解能力外，GPT-2在生成方面表现出了强大的天赋：阅读摘要、聊天、续写、编故事，甚至可以生成假新闻、钓鱼邮件或在线进行角色扮演。2018201920202022.122023.32024.5GPT-3(1750亿参数)GPT-3作为一个自监督模型，可以完成自然语言处理的绝大部分任务：将网页描述转换为相应代码、模仿人类叙事、创作定制诗歌、生成游戏剧本，甚至模仿已故的哲学家预测生命的真谛。ChatGPTChatGPT是InstructGPT的衍生产品，它将人类的反馈纳入训练过程，更好地使模型输出与用户意图保持一致。GPT-4GPT-4的回答准确性不仅大幅提高，还具备更高水平的识图能力，且能够生成歌词、创意文本，实现风格变化。2025.1GPT-4oGPT-4o可以实时对音频、视觉和文本进行推理，新模型使ChatGPT能够处理50种不同的语言，同时提高了速度和质量DeepSeekR1专为复杂推理任务设计，强化在数学、代码生成和逻辑推理领域的性能，实现了与OpenAIo1系列相当的推理能力。

大模型工作原理：以700亿参数“羊驼2”模型为例本质上来说，大模型训练就是对互联网数据进行有损压缩,需要一个巨大的GPU集群来完成。第三步：得到压缩后的140GB参数文件第二步：在6000块GPU集群训练12天第一步：输入10TB互联网数据分散在整个网络中的十亿、上百亿参数依靠神经元相互连接，顺着这种连接就找到了下一个连接的词，然后给出概率，比如“mat（97%）”，就形成了“猫坐在垫子上（catsatonamat）”的完整句子。第四步：预测单词

大模型的关键之一：涌现能力（自主学习）?涌现能力：书读百遍，其义自见

大模型的关键之二：思维链（逻辑训练）思维链CoT（ChainofThought）：由Google于2022年提出大模型可能难以直接解决一个困难的大问题。可以在提问时加入引导，将大问题拆分为多个简单的小问题，从而得到解答

大模型的关键之三：人类反馈强化学习（价值观对齐）RLHF（ReinforcementLearningwithHumanFeedback）：收集人类真实指令，并且聘用了专门的合同工写回答用于初始训练根据人类真实指令，不断对齐模型的价值观，最终生成人类所能接受的答案

微调赋予大模型实际意义与价值2022.12微调大模型的最大意义在于可以使大模型适应特定任务。预训练基本是每年进行一次，而微调可以周为频率进行。鹦鹉学舌让这个鹦鹉成为一个领域的“专家”第一步：撰写标注说明；第二步：雇人（或用scale.ai），收集10万份高质量对话或其他内容；第三步：在这些数据上微调，等待约1天；第四步：得到一个可以充当得力助手的模型；第五步：进行大量评估。第六步：部署。第七步：监控并收集模型的不当输出，回到步骤1再来一遍。

如何定制领域化大模型?问题2：如何运行并微调一个定制化大模型？现有预训练大模型3.基于上述数据进行微调（采用在线API微调或开源代码微调）4.得到一个可以充当得力助手的模型5.对你的定制小助手进行大量评估6.部署定制化小助手（服务器+GPU）7.监控并收集模型的不当输出2.收集10万份高质量对话或其他内容1.撰写定制数据标注说明数据算力算法模型可以在Huggingface上下载

算力拐点：DeepSeek的出现，意味着算力效率拐点显现数据来源：甲子光年智库2025Deep