大学信息技术基础教程课件 6.3利用大模型生成代码.pptxVIP

6.3利用大模型生成代码

目录页contents6.3.1大规模预训练模型概述6.3.2使用大模型进行代码生成6.3.3应用场景123

选题背景及意义ONE6.3.1大规模预训练模型概述

6.3.1大规模预训练模型概述1.大模型发展历程(1)早期探索(1950s-1980s)1950年：图灵测试艾伦·图灵提出图灵测试，为人工智能的发展奠定了基础。1956年：达特茅斯会议人工智能正式成为一门学科，开启了人工智能研究的序幕。1960s-1970s：感知机和专家系统感知机模型的提出引发了第一次神经网络热潮。专家系统在特定领域取得了一定成功，但局限性明显。

6.3.1大规模预训练模型概述1.大模型发展历程(2)神经网络复兴(1980s-1990s)1986年：反向传播算法反向传播算法的提出解决了多层神经网络训练难题，推动了神经网络的发展。1989年：卷积神经网络(CNN)YannLeCun提出卷积神经网络，为图像识别领域带来了突破。1997年：长短期记忆网络(LSTM)LSTM的提出解决了传统RNN的梯度消失问题，为序列建模奠定了基础。

6.3.1大规模预训练模型概述1.大模型发展历程(3)深度学习崛起(2000s-2010s)2006年：深度学习GeoffreyHinton提出深度学习概念，开启了深度学习的新时代。2012年：AlexNetAlexNet在ImageNet图像识别挑战赛中取得突破性成绩，深度学习引起广泛关注。2014年：生成对抗网络(GAN)IanGoodfellow提出生成对抗网络，为图像生成和风格迁移等领域带来了新的可能性。2017年：TransformerTransformer模型的提出彻底改变了自然语言处理领域，为后续大模型的发展奠定了基础。

6.3.1大规模预训练模型概述1.大模型发展历程(4)大模型时代(2018年-至今)2018年：GPTOpenAI发布GPT模型，开启了大规模预训练语言模型的时代。2019年：GPT-2GPT-2展现出强大的文本生成能力，引发了对大模型潜在风险的讨论。2020年：GPT-3GPT-3拥有1750亿参数，在多种自然语言处理任务上取得了令人惊叹的成绩。2022年：ChatGPTChatGPT的出现标志着大模型在对话式AI领域取得了重大突破，引发了全球范围内的关注和讨论。2023年：GPT-4GPT-4在性能和应用范围上进一步提升，推动了大模型在各行各业的应用。2024年：DeepSeek-V2DeepSeek-V2在保持高效训练和推理的同时，实现性能的进一步提升，推动大模型技术的实际应用落地。

2.模型架构模型核心架构核心机制优势典型应用Transformer编码器-解码器堆叠结构

（多头自注意力+前馈网络）自注意力机制

并行处理长序列全局依赖捕捉

高效并行计算机器翻译、文本生成BERTTransformer编码器堆叠双向上下文编码

（MLM掩码语言模型+NSP下一句预测）深层语义理解

适应多种NLP任务文本分类、问答、实体识别ERNIEBERT改进+知识增强知识驱动的掩码策略

（实体/短语级掩码+多任务持续学习）融合外部知识

提升语义推理能力知识问答、搜索、跨语言任务6.3.1大规模预训练模型概述

(1)预训练（Pre-training）在预训练阶段，模型通过大量的未标注数据学习通用的语言规律和知识。例如，模型可能会学习到词汇的语义、句法结构以及上下文关系等。这一阶段的目标是让模型具备广泛的语言理解能力，为后续的特定任务奠定基础。(2)微调（Fine-tuning）微调阶段，模型在预训练的基础上，使用特定任务的标注数据进行进一步训练。这使得模型能够适应特定的应用场景，如情感分析、机器翻译等。微调的过程通常需要较少的计算资源和时间，因为模型已经在预训练阶段积累了丰富的通用知识。3.训练过程6.3.1大规模预训练模型概述

选题背景及意义TWO6.3.2使用大模型进行代码生成

（1）输入指令内容示例：请编写一个冒泡排序算法，确保排序后的数值按照升序排序，要求：1.使用Python编程语言实现冒泡排序算法。2.算法应包含对数组的初始化、冒泡排序逻辑以及最终数组的输出。3.请确保代码简洁、易读，并包含必要的注释。1.文心一言使用步骤6.3.2使用大模型进行代码生成

（2）模型生成代码文心一言将按照提示词的要求输出符合要求的代码，以及对代码中关键处作出解释说明。将文心一言输出的代码复制到Python运行环境中。6.3.2使用大模型进行代码生成

2.调试运行代码6.3.2使用大模型进行代码生成

选题背景及意义THREE6.3.3大模型的应用场景

大模型的应用场