大规模模型背景下的计算架构技术演进.docxVIP

大规模模型背景下的计算架构技术演进

目录

内容概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

大规模模型概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.1模型的定义与分类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.2模型规模的影响因素．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

2.3大规模模型的应用领域．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

计算架构技术基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

3.1计算架构的定义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

3.2架构设计与性能优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

3.3硬件与软件协同优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

早期计算架构演进．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

4.1单核处理器时代的计算模式．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

4.2并行计算与集群