网站大量收购独家精品文档,联系QQ:2885784924

1.一种集群训练任务处理的方法及系统 .pdf

1.一种集群训练任务处理的方法及系统 .pdf

  1. 1、本文档共11页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN118503194A

(43)申请公布日2024.08.16

(21)申请号202410765509.9(51)Int.Cl.

G06F15/173(2006.01)

(22)申请日2024.06.14

G06F9/50(2006.01)

(71)申请人杭州质算科技有限公司

地址310000浙江省杭州市下城区环城北

路169号汇金国际大厦西1幢1501室

申请人杭州幻方人工智能基础研究有限公

宁波积幂信息科技有限公司

杭州幻方科技有限公司

上海积幂科技有限公司

(72)发明人张力越周尚彦余水平

(74)专利代理机构杭州之江专利事务所(普通

合伙)33216

专利代理师张慧英

权利要求书2页说明书6页附图2页

(54)发明名称

一种多GPU集群网络的RDMA并行数据传输方

(57)摘要

本发明涉及计算机技术领域,尤其涉及一种

多GPU集群网络的RDMA并行数据传输方法,包括:

发送节点和接收节点上,参与发送与接收的GPU

都注册内存缓存区并交换信息,并在对应的参与

发送GPU和参与接收GPU之间一一建立RDMA连接;

主发送GPU调用接口发送,并确定报文切分大小

并切片;部分报文切片先由主发送GPU转发到辅

助发送GPU;报文切片通过所有参与发送的GPU传

输到所有参与接收的GPU,每对RDMA发送连接需

要控制发送在途报文切片数量小于等于预设在

途最大切片数;辅助接收GPU将报文切片转发到

A主接收GPU;主接收GPU确认完成。本发明的有益

4效果:充分利用多张网卡的带宽,提高网络传输

9

1

3效率,减少拥塞。

0

5

8

1

1

N

C

CN118503194A权利要求书1/2页

1.一种多GPU集群网络的RDMA并行数据传输方法,其特征在于包括以下步骤:

S101:发送节点和接收节点上,参与本轮报文数据发送与接收的GPU都注册内存缓存

区,交换所述内存缓存区的信息,并在对应的参与发送GPU和参与接收GPU之间一一建立

RDMA连接;

S102:主发送GPU调用接口发送,并确定报文切分大小,并对发送报文进行切片,得到若

干大小相同的报文切片;

S103:发送过程开始,部分报文切片先由主发送GPU转发到辅助发送GPU;

S104:报文切片通过所有参与发送的GPU传输到所有参与接收的GPU,每对RDMA发送连

接需要控制发送在途报文切片数量小于等于预设在途最大切片数;

S105:辅助接收GPU将报文切片转发到主接收GPU;

S106:主接收GPU确认接收完成;返回发送完成。

2.根据权利要求1所述的一种多GPU集群网络的RDMA并行数据传输方法,其特征在于所

述步骤S101中,至少包括一个发送节点和一个接收节点,所述发送节点和接收节点的配置

相同,并且均配置若干个GPU,每个GPU分别对应配置RDMA网卡,每个GPU通过对应的RDMA网

卡接入集群网络中。

3.根据权利要求1‑2任一权利要求所述的一种多GPU集群网络的RDMA并行数据传输方

法,其特征在于所述步骤S101中,所述发送节点中包含一个主发送GPU和若干个辅助发送

GPU,接收节点中包含一个

文档评论(0)

大鹏一日同风起 + 关注
实名认证
内容提供者

大鹏一日同风起

1亿VIP精品文档

相关文档