基础模型的可控生成-Final.pdfVIP

基础模型的可控生成技术

张伟男

哈尔滨工业大学计算学部

社会计算与信息检索研究中心

2023年05月26日

-2-

基础模型的定义和特点

pFoundationModel：基础模型是一种通用类模型，其用处是构建人工智能系统

pNewParadigm：基础模型是一种新兴的范式，其形式是在大规模数据上进行

训练并能够适配到广泛的下游任务

pScaleScope：尽管技术上基于深度神经网络和自监督学习

pEmergenceHomogenization：涌现和同质化

p涌现：模型或系统的能力是潜在隐式归纳，而不是显式构造的

p同质化：通用的构建模型或系统的方法论合集

BommasaniR,HudsonDA,AdeliE,AltmanR,AroraS,vonArxS,BernsteinMS,BohgJ,BosselutA,BrunskillE,BrynjolfssonE.

Ontheopportunitiesandrisksoffoundationmodels.arXivpreprintarXiv:2108.07258.2021Aug16.

-3-

基础模型在人工智能发展的节点

p机器学习：兴起于1990+/-，从数据中归纳，涌现能力，任务/应用定制化（特征）

p深度学习：兴起于2010+/-，更多数据，涌现更高级别能力，端到端一体化（结构）

p基础模型：兴起于2018+/-，迁移学习的规模化应用，涌现出多任务通用化（知识）

BommasaniR,HudsonDA,AdeliE,AltmanR,AroraS,vonArxS,BernsteinMS,BohgJ,BosselutA,BrunskillE,BrynjolfssonE.

Ontheopportunitiesandrisksoffoundationmodels.arXivpreprintarXiv:2108.07258.2021Aug16.

-4-

基础模型的学习及应用过程

p基础的含义：统一架构、跨越模态、底层基石性（安全、稳定、可靠，非完整）

BommasaniR,HudsonDA,AdeliE,AltmanR,AroraS,vonArxS,BernsteinMS,BohgJ,BosselutA,BrunskillE,BrynjolfssonE.

Ontheopportunitiesandrisksoffoundationmodels.arXivpreprintarXiv:2108.07258.2021Aug16.

-5-

基础模型的研发过程

p基础模型生态的社会影响：从社会中来到社会中去，通过监控和反馈调整生态

BommasaniR,HudsonDA,AdeliE,AltmanR,AroraS,vonArxS,BernsteinMS,BohgJ,BosselutA,BrunskillE,BrynjolfssonE.

Ontheopportunitiesandrisksoffoundationmodels.arXivpreprintarXiv:2108.07258.2021Aug16.