英博-设备基本配置与RDMA功能配置_20230704.xlsxVIP

2/14/2020 规范版本记录 版本 V1.0 更新时间 组网介绍 角色说明 Tor-S6980 GPU服务器TOR接入设备，用于接入GPU服务器，线缆形态为400G一分二 Leaf-S6980 负责GPU服务器的跨网卡通信，连接Tor-S6980设备 网络介绍 当前网络环境为： 1.8台Tor与2台Leaf交换机，型号S6980-64QC； 2.Tor 400G一分二对接GPU服务器，服务器八张GPU单独网卡对接Tor-S6980，每张网卡一个IP。最终形成所有GPU服务器的GPU-1网卡对接Tor-1，所有GPU网卡2对接Tor-2等依次类推至Tor-8，网关在Tor上； 3.Tor与Leaf交换机跑BGP实现负载，每一个Tor为单独AS，两台Leaf为一个AS； 配置规范 Tor 配置项 配置模板 规范和说明 接入GPU服务器vlan vlan 100 ! 端口拆分 split interface FHGigabitEthernet 0/1 端口拆分，负责连接GPU-01、02的GPU网卡1 split interface FHGigabitEthernet 0/2 端口拆分，负责连接GPU-03、04的GPU网卡1 split interface FHGigabitEthernet 0/3 端口拆分，负责连接GPU-05、06的GPU网卡1 split interface FHGigabitEthernet 0/4 端口拆分，负责连接GPU-07、08的GPU网卡1 split interface FHGigabitEthernet 0/5 端口拆分，负责连接GPU-09、10的GPU网卡1 下连GPU服务器接口 interface FH 0/1:1 连接GPU-Node-01的网卡1 des To-GPU-1-1 carrier-delay 0 switchport mode trunk spanning-tree portfast switchport trunk native vlan 100 interface FH 0/1:2 连接GPU-Node-02的网卡1，直至FH 0/5:2连接GPU-Node-10的网卡1 des To-GPU-2-1 上联Leaf-S6980设备接口 interface FH 0/33 Tor四线4*400G上联至Leaf-S6980-1设备，同理4*400G上联Leaf-S6980-2 no switch des To-GPU-leaf1-FH01 ip add 10.4.15.1 30 interface FH 0/34 des To-GPU-leaf1-FH02 ip add 10.4.15.5 30 interface FH 0/35 des To-GPU-leaf1-FH03 ip add 10.4.15.9 30 interface FH 0/36 des To-GPU-leaf1-FH04 ip add 10.4.15.13 30 基础配置 hostname GPU-tor1 load-balance-profile default ipv4 field protocol src-ip dst-ip l4-src-port l4-dst-port enable secret 0 ruijie@123 username ruijie password 0 ruijie@123 vlan range 100 interface Loopback 0 ip address 10.4.14.1 255.255.255.255 interface VLAN 100 ip address 10.4.0.254 24 interface Mgmt 0 ip address 172.16.1.51 24 BGP配置 router bgp 64601 bgp router-id 10.4.14.1 bgp log-neighbor-changes bgp graceful-restart restart-time 120 bgp graceful-restart stalepath-time 360 bgp graceful-restart timers bgp 10 30 neighbor Leaf peer-group neighbor Leaf remote-as 64612 neighbor Leaf advertisement-interval 0 neighbor 10.4.15.2 peer-group Leaf 连接Leaf-S6980-1、Leaf-S6980-2的BGP邻居 neighbor 10.