ChatGLM部署、微调与开发 课件 04大模型未来发展趋势及挑战.pptx

;大模型技术发展趋势引言

大模型技术，作为人工智能领域的前沿方向，正日新月异，推动着各行各业的变革

技术发展趋势分为：

大模型的幻觉修复

定义：大模型生成无意义或与用户提示词不对应的内容

思维链

定义：通过让大模型逐步参与将一个复杂问题分解为一步一步的子问题并依次进行求解

多模态大模型

定义：能够处理和理解多种不同模态数据的人工智能模型

智能体走向具身化

定义：能够自主感知环境、做出决策并执行相应行动的软件或硬件实体。

软件工程理论基于大模型增强而重新定义

大模型带动软件工程变换

科研范式全更新

大模型带动科研范式的变换

;大模型幻觉定义

定义：大模型生成无意义或与用户提示词不对应的内容

幻觉的分类

大模型的幻觉分为事实性幻觉和忠实性幻觉

事实性幻觉：

定义：模型生成的内容与可验证的现实世界事实不一致

分类：

事实不一致

事实捏造

忠实性幻觉：

定义：生成的内容与用户的指令或上下文不一致

分类：

指令不一致

上下文不一致

逻辑不一致

;幻觉产生的三大来源：

数据源

数据质量不够高

训练过程

训练的时候有冲突知识，以及训练不充分

推理过程

推理模型不够强大

解决幻觉问题的方法

数据筛选：剔除引入幻觉的数据

技术手段：可控文本生成、强化学习

多任务学习、输出后处理

大模型幻觉攻击实例

;思维链定义

定义：通过让大模型逐步参与将一个复杂问题分解为一步一步的子问题并依次进行求解，这一系列推理的中间步骤

思维链优势

提升大模型性能

增强大模型推理能力

降低忽视关键细节的现象

例子

;多模态大模型定义

指能够同时处理多种不同类型的数据（如文本、图像、音频、视频等）的大型深度学习模型。这些模型通常具有多个输入通道，可以对各种模态的数据进行联合学习和特征提取，从而实现跨模态的信息融合和知识迁移。

国内外研究进展

国外：OpenAI的Sora国内

智谱AI的CogVLM

关键技术

数据对齐：确保不同模态的数据在时间和内容上的一致性???????

数据融合：将多模态数据整合在一起，以充分利用各模态的信息???????

统一标识：构建一个统一的表示空间，使得不同模态的数据能够互相理解和结合

;Sora文生视频大模型;4.1.3多模态大模型;4.1.4智能体走向具身化与全方位交互;4.1.4智能体走向具身化与全方位交互;4.1.4智能体走向具身化与全方位交互;大模型在软件工程中的应用

设计、需求、测试、发布和运维等环节

大模型催生的新软件工程

强大的表示能力和泛化性能

颠覆性的研发模式改变

持续渐进的过程

大模型对研发工作流的影响

逐渐加深的影响程度

开发者需拥抱变化，找到切入点

认识大模型的潜在问题和限制

;大模型在跨学科领域的应用

创新超级计算机系统

重塑云计算

重构分布式系统

大模型带来的机遇与挑战

机遇：研究方法与实践的改变

挑战：学科理论基础的工具和方法增强

;大模型时代的科研背景

大规模数据和端到端学习

多任务学习能力的展现

传统科研模式的特点

小规模数据集

手工特征工程

时间和精力的投入

大模型带来的科研范式变革

简化研究流程

提高研究效率

改变数据处理和分析方式

;4.1.6科研范式全更新;第4章大模型未来发展趋势及挑战;4.2.1生成式AI改变人机交互方式;4.2.2模型即服务（ModelasaService）;4.2.2模型即服务（ModelasaService）;4.2.3大模型的垂直领域应用;4.2.3大模型的垂直领域应用;4.2.4大模型将助力个体成为超级生产者;4.2.4大模型将助力个体成为超级生产者;;4.3人工智能伦理与安全;4.3.1人工智能伦理问题;4.3.2人工智能伦理与安全国际规约;4.3.3人工智能伦理与安全国内规约;;4.4大模型面临的挑战;;4.5本章小结;欢迎提问