配置
Device: Dell PowerEdge T630
CPU: Intel(R) Xeon(R) E5-2696 v4 x2
GPU 1: Matrox Electronics Systems Ltd. G200eR2
GPU 2: NVIDIA GeForce GTX 1060 3GB
OS: Proxmox VE bookworm 8.3.1 x86_64
注意事项
- 硬件需支持并在 BIOS 中开启 Intel VT-D 或 AMD AMD-V
- BIOS 中开启 X2APIC 功能
- 进行任何硬件变更时请依据 手册 进行硬件配置
- 为了能够实时了解到 GPU 运行情况，建议连接显示器观察其响应，但如果出现主机无法识别/无法列出 PCIe 设备时请尝试拔掉显示器后重启
- 虚拟机存在直通设备时，建议关闭内存的 Ballooning 功能，来确保虚拟机内存不共享
PVE 直通显卡
开启 IOMMU 和硬件直通功能
编辑 /etc/default/grub，并修改 GRUB_CMDLINE_LINUX_DEFAULT 根据硬件平台添加如下选项
# Intel CPU
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt initcall_blacklist=sysfb_init pcie_acs_override=downstream"
# AMD CPU
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt initcall_blacklist=sysfb_init pcie_acs_override=downstream"
intel_iommu=on amd_iommu=on 用于开启 IOMMU 硬件单元驱动
iommu=pt 用于跳过地址映射来提高内核驱动设备性能
initcall_blacklist=sysfb_init 用于禁用 simplefb 设备加载
在 PVE 7.3 中使用 simplefb 替代了旧的 vesafb 和 efifb
所以旧版中，Legacy BIOS 引导使用 video=vesafb:off，UEFI 使用 video=efifb:off
pcie_acs_override=downstream 用于拆分 iommu groups，防止分组错误时直通一个板载端口导致整个设备被直通
更新 GRUB
PVE 官方手册中给出了 proxmox-boot-tool refresh 命令用于更新 GRUB，但有可能无法正常更新，此时请根据情况尝试 update-grub
加载内核模块
编辑 /etc/modules，添加如下内容
vfio
vfio_iommu_type1
vfio_pci
Linux Kernel 6.2 版本中取消了 vfio_virqfd，低于该版本需额外添加
重启 PVE
验证 IOMMU
dmesg | grep -e DMAR -e IOMMU，输出类似内容
[ 0.000000] Warning: PCIe ACS overrides enabled; This may allow non-IOMMU protected peer-to-peer DMA
[ 0.008734] ACPI: DMAR 0x000000007BAFE000 0000E8 (v01 DELL PE_SC3 00000001 DELL 00000001)
[ 0.008767] ACPI: Reserving DMAR table memory at [mem 0x7bafe000-0x7bafe0e7]
[ 0.349828] DMAR: IOMMU enabled
[ 0.822346] DMAR: Host address width 46
[ 0.822348] DMAR: DRHD base: 0x000000fbffc000 flags: 0x0
[ 0.822357] DMAR: dmar0: reg_base_addr fbffc000 ver 1:0 cap 8d2078c106f0466 ecap f020df
[ 0.822360] DMAR: DRHD base: 0x000000c7ffc000 flags: 0x1
[ 0.822365] DMAR: dmar1: reg_base_addr c7ffc000 ver 1:0 cap 8d2078c106f0466 ecap f020df
[ 0.822367] DMAR: ATSR flags: 0x0
[ 0.822370] DMAR: ATSR flags: 0x0
[ 0.822372] DMAR-IR: IOAPIC id 10 under DRHD base 0xfbffc000 IOMMU 0
[ 0.822374] DMAR-IR: IOAPIC id 8 under DRHD base 0xc7ffc000 IOMMU 1
[ 0.822375] DMAR-IR: IOAPIC id 9 under DRHD base 0xc7ffc000 IOMMU 1
[ 0.822376] DMAR-IR: HPET id 0 under DRHD base 0xc7ffc000
[ 0.822378] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
[ 0.822688] DMAR-IR: IRQ remapping was enabled on dmar0 but we are not in kdump mode
[ 0.822995] DMAR-IR: IRQ remapping was enabled on dmar1 but we are not in kdump mode
[ 0.823121] DMAR-IR: Enabled IRQ remapping in x2apic mode
[ 1.331693] DMAR: No RMRR found
[ 1.331696] DMAR: No SATC found
[ 1.331698] DMAR: dmar0: Using Queued invalidation
[ 1.331701] DMAR: dmar1: Using Queued invalidation
[ 1.347932] DMAR: Intel(R) Virtualization Technology for Directed I/O
验证 IOMMU 中断重映射
dmesg | grep remapping，输出类似内容
# Intel
[ 0.822378] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
[ 0.823121] DMAR-IR: Enabled IRQ remapping in x2apic mode
# AMD
AMD-Vi: Interrupt remapping enabled
此时可以直通除显卡外的 PCIe 设备
如果没有开启，请验证 BIOS 中是否启用 X2APIC 功能
开启 X2APIC 后仍无法启用中断重映射，尝试在 /etc/modprobe.d/iommu_unsafe_interrupts.conf 中添加以下内容并重启
options vfio_iommu_type1 allow_unsafe_interrupts=1
vfio_iommu_type1 启用该模块来实现设备隔离、DMA 映射及中断处理
allow_unsafe_interrupts 允许不安全的 IOMMU 中断重映射
显卡直通
屏蔽驱动
编辑 /etc/modprobe.d/pve-blacklist.conf 添加以下内容用于屏蔽对应 GPU 平台驱动，防止主机驱动 GPU
# Nvidia
blacklist nvidiafb
blacklist nouveau
blacklist nvidia
# AMD
blacklist amdgpu
blacklist radeon
# Intel UHD
blacklist snd_hda_codec_hdmi
blacklist snd_hda_intel
blacklist snd_hda_codec
blacklist snd_hda_core
忽略显卡警告（NVIDIA）
NVIDIA GPU 在 Windows 中可能会在使用类似 GeForce Experience Passmark Performance Test SiSoftware Sandra 应用时使出警告
编辑 /etc/modprobe.d/kvm.conf，添加如下内容
options kvm ignore_msrs=1 report_ignored_msrs=0
ignore_msrs=1 忽略异常
report_ignore_msrs=0 禁止报告异常
配置 VFIO，分离显示和音频输出
输入 lspci -nn | grep VGA 得到如下输出
09:00.0 VGA compatible controller [0300]: Matrox Electronics Systems Ltd. G200eR2 [102b:0534] (rev 01)
83:00.0 VGA compatible controller [0300]: NVIDIA Corporation GP104 [GeForce GTX 1060 3GB] [10de:1b84] (rev a1)
显然 83:00.0 为 GPU 设备，执行 lspci -n -s 83:00，得到如下输出
83:00.0 0300: 10de:1b84 (rev a1)
83:00.1 0403: 10de:10f0 (rev a1)
根据以上两次输出对比可以得到设备 ID 为 10de:1b84，则板载音频设备 ID 为 10de:10f0
将两个 ID 写入 /etc/modprobe.d/vfio.conf
options vfio-pci ids=10de:1b84,10de:10f0
vfio-pci 用于将指定设备绑定到 VFIO 框架，由 vfio-pci 驱动，以便用户态进程可以直接访问这些设备
更新内核
update-initramfs -u
重启
验证 vfio-pci
执行 lspci -nnk 找到显卡设备，应为类似如下内容
83:00.0 VGA compatible controller [0300]: NVIDIA Corporation GP104 [GeForce GTX 1060 3GB] [10de:1b84] (rev a1)
Subsystem: GALAX GP104 [GeForce GTX 1060 3GB] [1b4c:11de]
Kernel driver in use: vfio-pci
Kernel modules: nvidiafb, nouveau
83:00.1 Audio device [0403]: NVIDIA Corporation GP104 High Definition Audio Controller [10de:10f0] (rev a1)
Subsystem: GALAX GP104 High Definition Audio Controller [1b4c:11de]
Kernel driver in use: vfio-pci
Kernel modules: snd_hda_intel
其中 Kernel driver in use 值为 vfio-pci 即可
添加显卡到虚拟机
登录 PVE WebUI，进入虚拟机 Hardware 配置，Add => PCI Device
选择 Raw Device，在 Device 中选择 GPU，开启 All Functions ROM-Bar PCI-Express
点击 Add
解决 Linux 虚拟机中驱动签名验证问题
如果在 Linux 中使用 nvidia-smi 提示以下内容
NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.
并且 systemd-modules-load nvidia-persistenced.service 无法启动，执行 systemctl status systemd-modules-load.service journalctl -xeu nvidia-persistenced.service 提示以下内容
# systemd-modules-load.service
modprobe: ERROR: could not insert 'nvidia': Invalid argument
modprobe: ERROR: could not insert 'nvidia_current_drm': Key was rejected by service
modprobe: ERROR: ../libkmod/libkmod-module.c:1047 command_do() Error running install command 'modprobe nvidia ; modprobe -i nvidia-current-modeset ' for module nvidia_modeset: retcode 1
modprobe: ERROR: could not insert 'nvidia_modeset': Invalid argument
modprobe: ERROR: could not insert 'nvidia_current_drm': Key was rejected by service
Error running install command 'modprobe nvidia-modeset ; modprobe -i nvidia-current-drm ' for module nvidia_drm: retcode 1
Failed to insert module 'nvidia_drm': Invalid argument
# nvidia-persistenced.service
Started (737)
Failed to query NVIDIA devices. Please ensure that the NVIDIA device files (/dev/nvidia*) exist, and that user 101 has read and write permissions for those files.
Shutdown (737)
nvidia-persistenced failed to initialize. Check syslog for more details.
nvidia-persistenced.service: Control process exited, code=exited, status=1/FAILURE
该问题大概率由 驱动签名无法验证 导致，此时请尝试在 虚拟机 BIOS 中关闭安全启动
如果出于特殊需求或环境导致无法关闭，需注册 DKMS 密钥，注册流程比较复杂且涉及 EFI 分区改动，本文不作详解