PVE使用INTEL82576网卡开启IOMMO和 SRIOV (1).docxVIP

PVE使用INTEL82576网卡开启IOMMO和SRIOV

1.建议先安装基本的软件

aptupdate

apt-getinstallnet-toolsvimethtool-y

2.打开IOMMU

在/etc/default/grub文件里，GRUB_CMDLINE_LINUX_DEFAULT行添加以下内容

如果intelCPU，则intel_iommu=onpcie_acs_override=downstream。

sed-i/GRUB_CMDLINE_LINUX_DEFAULT/cGRUB_CMDLINE_LINUX_DEFAULT=modprobe.blacklist=nouveauintel_iommu=on/etc/default/grub

如果AMDCPU，则amd_iommu=onpcie_acs_override=downstream。

sed-i/GRUB_CMDLINE_LINUX_DEFAULT/cGRUB_CMDLINE_LINUX_DEFAULT=modprobe.blacklist=nouveauamd_iommu=on/etc/default/grub

#更新grub

update-grub

#在/etc/modules文件里添加IOMMU

vfio/etc/modules

vfio_iommu_type1/etc/modules

vfio_pci/etc/modules

vfio_virqfd/etc/modules

#更新并重启

update-initramfs-u-kall

reboot

#检查IOMMO功能是否开启

dmesg|grep-eDMAR-eIOMMU-eAMD-Vi

find/sys/kernel/iommu_groups/-typel

lspci-vv|lspci-vv|?grepEth

如果没有开启，则在/etc/modprobe.d/的任意一个.conf下增加不安全中断：

optionsvfio_iommu_type1allow_unsafe_interrupts=1

3.启用SRIOV

lspci-nn|grepEth

最前面的数字是设备的BDF号

lspci-sBDF号-vvv|grepCapabilities

查看是否支持SR-IOV

#查看网口最大支持的VF网口数量

cat/sys/bus/pci/devices/0000:BDF号/sriov_totalvfs

返回结果就是最大支持的VF网口数量

echoVF网口数量/sys/class/net/enp1s0f0/device/sriov_numvfs

#添加VF网口成功显示

lspci|grepEth

首先确定你的intel网卡支持SR-IOV，如果支持，那么继续

root@pve:~#echooptionsigbmax_vfs=6,6,6,6,6,6/etc/modprobe.d/igb.conf

root@pve:~#depmod-a

root@pve:~#update-initramfs-u

root@pve:~#reboot

解释一下，max_vfs=6,6,6,6,6,6：

这条语句说明最大的虚拟网卡是6个，也就是虚拟6个

echooptionsigbmax_vfs=6,6,6,6,6,6/etc/modprobe.d/igb.conf

depmod-a

update-initramfs-u

reboot

解释一下，max_vfs=6,6,6,6,6,6：

这条语句说明最大的虚拟网卡是6个，也就是1个物理网卡虚拟6个

3.4检查虚拟网卡

root@pve:~#dmesg|grep82576

[2.527369]igbvf0000:07:10.1:Intel(R)82576VirtualFunction

[2.532109]igbvf0000:07:10.3:Intel(R)82576VirtualFunction

[2.535583]igbvf0000:07:10.5:Intel(R)82576VirtualFunction

[2.539074]igbvf0000:07:10.7:Intel(R)82576VirtualFunction

[2.542565]igbvf0000:07:11.1:Intel(R)82576VirtualFunction

[2.546055]igbvf0000:07:11.3:Intel(R)8