生成式AI技术的探索与应用方向.docxVIP

生成式AI技术的探索与应用方向

目录

一、生成式AI模型的内在逻辑与创新路径．．．．．．．．．．．．．．．．．．．．．．．2

二、数据维度的挖掘与表征学习．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

数据内涵．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

数据治理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

少样本学习．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

表征学习．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

自监督学习．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

三、算力与架构的前沿探索．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

规模效应．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

架构革新．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

模型压缩．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

注意力机制．．．．．．