非+Transformer+架构的端侧大模型创新研究与应用-ROCK+AI.docx

非Transformer架构的端侧大模型创新研究与应用

演讲人：刘凡平

ROCKAI,CEO

目录

01端侧大模型的现状与挑战

02ROCKAI的端侧大模型的实践

03未来趋势

端侧大模型的现状与挑战

1.1大模型时代的端侧需求

以全行业视角

工信部赛迪研究院数据显示，预计2035年生成式人工智能有望为全球贡献近90万亿元的经济价值，其中我国将突破30万亿元，占比超过四成。浙商证券预计到2028年全球大模型市场规模将达到1095亿美元，2022~2028年复合增长率约为47.12%。

以终端设备视角

IDC预测，2024年中国终端设备市场中，将有超过半数的设备在硬件层面具备针对AI计算任务的算力基础，至2027年，这一比例将进一步攀升至接近80%的水平。瑞银预计生成式AI智能手机出货量将从2023年的5000万部增长到2027年的5.83亿部，到2027年收入将达5130亿美元，未来面向广大C端用户的端侧大模型市场前景广阔。

1.2狭义的端侧：以推理为核心

对于“狭义端侧模型”而言，软硬件技术的核心目标在于为用户提供大语言模型推理服务，在软硬件协同优化下实现了大语言模型在终端设备上的本地化应用，训练和微调并非端侧需要考虑的任务。

AIPCAI手机具身智能

1.3现有大模型在端侧应用的局限性

1.4目前端侧大模型的主流技术方法

1.5行业针对大模型的创新研究

Domain

Subdomain

MoE

Multimodality

AGI

OverallScore

ModelArchitecture

TransformerModels

4

3

4

11

RecurrentNeuralNetworks

2

3

2

7

MixtureofExperts

3

5

4

12

MultimodalModels

5

3

5

13

TrainingTechniques

SupervisedLearming

4

3

2

9

UnsupervisedLeaming

4

3

4

11

ReinforcementLearning

3

4

5

12

TransferLearning

3

5

4

12

ApplicationDomains

NaturalLanguageUnderstanding

3

3

5

11

NaturalLanguageGeneration

3

4

5

12

ConversationalAI

4

5

5

14

CreativeAI

4

5

5

14

ComplianceandEthicalConsiderations

BiasMitigation

4

4

5

13

DataSecurity

3

3

3

9

AIEthics

4

4

1

9

PrivacyPreservation

2

4

4

12

AdvancedLearning

Self-supervisedLearning

4

5

3

12

Meta-learming

3

3

5

11

FineTuning

3

3

2

8

HumanValueAlignment

1

1

1

3

EmergingTrends

MultimodalLearning

InteractiveandCooperativeAIAGIDevelopment

AGIContainment

5

4

4

1

3

3

4

1

5

5

3

5

13

12

11

7

ROCKAI大模型的实践

2.1ROCKAI大模型发展历程

Yan架构通用大模型

Yan架构通用大模型

国内首个非Attention机制大模型，行业领先的非Transformer架构大模型

自主知识产权安全、可控、可信

标准Transformer架构基于Transformer架构Yan架构：自然语言Yan架构：通用全模态

1234

行业主流的大语言模型架构局部创新算法的大模型架构，

Dolphin系列模型

已通过网信办备案

已通过网信办备案

自研非Transformer架构的低算力通用自然语言大模型

2024年1月发布

Yan