【西安交通大学】2025年电力人工智能多模态大模型创新技术及应用报告.pptx

电力人工智能多模态大模型创新技术与应用

报告人：王小华教授

西安交通大学电气工程学院

2025年2月;

目录

1、研究背景

2、关键技术

3、应用案例

4、未来展望;

01

研究背景

3/3;

背景1——人工智能的概念及发展

人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；其在历史上经过多个发展时期，形成了不同的技术流派；深度学习是目前主流。;

在人工智能领域，数据、算力与算法构成发展基石——数据驱动模型训练，算力支撑复杂计算，算法优化技术路径，三者协同推动人工智能向更高阶形态演进。;

早期的深度学习受限于计算能力和数据规模，难以发挥优势。随后多层感知机与卷积神经网络结合反向传播算法，显著提升了模型的学习能力。随后，基于注意力机制的Transformer架构改变了自然语言处理

的范式，使大规模预训练成为可能。近年来，大模型凭借超大规模参数和海量数据学习，在多模态学习、推理和通用人工智能方向取得重要进展，为人工智能的发展开启了新的阶段。;

大模型井喷式发展

自从ChatGPT在2022年问世以来，全球大模型发展迅速，百种大模型竞相发布，推动性能、规模和应用的全面突破，成为科技进步的重要动力源。;

传统电网：传统电力系统人工依赖度高，存在资源配置低效和故障响应不及时等问题。

新型电网：人工智能赋能后，通过实时调度优化、智能维护和精确能源管理，可大幅提升电网的运行效率、稳定性与可持续性。;

从数据上讲，通用数据分布与电力领域多模态数据差异过大，专业程度低、关联性弱；

从模型上讲，开源通用模型缺乏电力专业预训练(缺乏专业电力知识注入),多模态支持不足；从应用上讲，现有国产化电力大模型在真实电力任务上性能不够高、与实际需求仍存在差距。;

背景4——自研电力大模型意义重大(数据层面)

文本数据电气信号图像与视频;

传统电力Al模型基于特定任务开发，大多为单模态算???，综合成本高、智能性与泛化性不足；开源Al大模型缺少电力领域预训练，专业知识缺失，处理实际电力任务能力差。;

电力通用大模型的开发需要基于国产计算集群开展软硬件协同优化，满足电力大模型的应用要求；电力场景需要基于边缘计算的大模型部署方法，亟需开发相应的应用技术。;

02

关键技术实现

13/3;

提供模型

3模型训练：电力大模型分布式训练关键技术

预训练：基础模型能力训练支持分混合立体并行训练方案

布式并技术数据并行模型并行

纯文本Transformer架构行训练体系张量并行流水线并行

预训练自回归预测

高效率压缩支持分布式并行训练

=======·提供电后训练：能力增强与偏好对齐

预训练统一预训练框架态基础技术指令微调技术有监督训练

电力通用任务模型体系人类反端强化学习人类偏好对齐;

1、数据生成：纯文本数据制作管线

预训练语料库制作大规模、自动化的语料筛选清洗管线

为预训练提供充足的专业领域知识注入

原始数据搜集质量过滤去重隐私保护

MD1A.MD1B.MD2;

构建层次丰富、多样性好、知识粒度细的电力场景大规模多模态数据集，构建了8大类数据量超100万条，为多模态大模型在多场景、多任务的训练提供数据支持;

电力图像编码器

分块

线性映射层

统一的特征序列

电力文本编码器

预定义词表

…“绝缘”:20822…“由”:30265…“组成”:62034...;;

3、模型训练：预训练技术——多模态模型预训练

电力领域多模态大模型预训练方案;

3、模型训练：后训练技术——指令微调+强化学习

步骤1:有监督指令微调步骤2:训练奖励模型步骤3:PPO调整策略;

大模型训练流程

电力运维通用模型

窖

层0层层2悬n-1层N;

基于特征关