Ada beberapa prasyarat yang harus dipenuhi sebelum menerapkan lingkungan virtualisasi GPU di Proxmox VE (PVE). Sama seperti alat pusat data kelas enterprise lainnya, perangkat lunak vGPU NVIDIA tidak tersedia secara gratis. Anda perlu membeli lisensi atau mendaftar untuk versi evaluasi Virtual GPU Software mereka, bersama dengan membuat akun NVIDIA Enterprise. Selanjutnya, Anda harus memperoleh kartu grafis yang kompatibel dengan vGPU dan mengunduh driver yang sesuai dari portal lisensi NVIDIA. Pastikan untuk mendapatkan versi terbaru dari driver “Linux KVM”. Minimal, Anda perlu mengunduh yang berikut:

• Perangkat Lunak vGPU: 18.0
• Driver Host: 570.124.03
• Driver Tamu Linux: 570.124.06
• Driver Tamu Windows: 572.60

Kami memanfaatkan NVIDIA L40S dan Dell PowerEdge R760 untuk proyek ini.

Selain itu, Anda akan memerlukan server lisensi khusus (DLS) atau server lisensi cloud (CLS) untuk mengaktifkan fungsionalitas vGPU pada tamu Anda. Anda dapat menemukan panduan memulai cepat dengan mengklik di sini.

Selanjutnya, verifikasi bahwa pengaturan UEFI (BIOS) server Anda mengaktifkan fitur virtualisasi yang tepat. Cari pengaturan VT-d atau AMD-v, SR-IOV, above 4G decoding, resizable bar, dan Alternative Routing ID Interpretation (ARI), dan pastikan semuanya diaktifkan.Catatan:

Jika beberapa GPU terinstal di sistem Anda, Anda dapat menggunakan perintah “lspci” di tab “Shell” di server yang diinginkan untuk menentukan ID yang sesuai dengan setiap kartu.Terakhir, periksa bahwa Anda menggunakan versi Proxmox VE yang sesuai. Fungsionalitas vGPU memerlukan, minimal, versi pve-manager 8.3.4, dengan kernel 6.18.12-8-pve atau yang lebih baru. Anda dapat memeriksa versi perangkat lunak node PVE Anda dengan menavigasi ke tab “Summary” di server yang diinginkan, seperti yang ditunjukkan di bawah ini:

Host Paling Unggul (Pengaturan vGPU Host Proxmox)

Sekarang setelah semuanya siap, saatnya untuk mengkonfigurasi server Proxmox VE. Di antarmuka web server Proxmox VE Anda, klik nama server di sisi kiri layar dan pilih tab “Shell”. Ketik perintah ini di jendela konsol yang muncul dan tekan Enter setelah selesai:

apt install pve-nvidia-vgpu-helper

Ini akan memastikan alat penyiapan vGPU terinstal di server Anda, mempersiapkannya untuk dukungan Proxmox vGPU. Setelah server selesai menginstal skrip atau memberi tahu Anda bahwa itu sudah ada, jalankan satu perintah lagi untuk mengeksekusi alat tersebut.

pve-nvidia-vgpu-helper setup

Jawab “Y” untuk pertanyaan apa pun, dan lanjutkan hingga jendela konsol kembali dan skrip selesai. Lakukan restart cepat server dengan menavigasi ke tab “Summary” server dan menekan tombol “Reboot”, atau ketik perintah reboot ke dalam konsol tab “Shell” dan tekan Enter.

Selanjutnya, driver host vGPU NVIDIA perlu dimuat ke server. Setelah server selesai reboot, gunakan alat transfer SSH atau SCP seperti WinSCP untuk menyalin driver host ke node.

Catatan:

Anda dapat membaca lebih lanjut tentang berbagai profil vGPU dan lisensi yang diperlukan di sini.Tempatkan file di direktori “/home” server, dan bersiaplah untuk menjalankan penginstal dengan perintah berikut.

cd /home chown root NVIDIA-Linux-x86_64-570.124.03-vgpu-kvm.run chmod +X NVIDIA-Linux-x86_64-570.124.03-vgpu-kvm.run ./NVIDIA-Linux-x86_64-570.124.03-vgpu-kvm.run --dkms

Catatan:

Jika beberapa GPU terinstal di sistem Anda, Anda dapat menggunakan perintah “lspci” di tab “Shell” di server yang diinginkan untuk menentukan ID yang sesuai dengan setiap kartu.Sekarang setelah driver terinstal di server, kita hanya berjarak beberapa langkah dari penyelesaian sisi host konfigurasi vGPU Proxmox kita! Sebelum kita dapat menandai GPU sebagai perangkat yang dapat dibagi di antara mesin virtual, kita harus mengaktifkan Single Root I/O Virtualization (SR-IOV). NVIDIA mendefinisikan fitur ini sebagai “…teknologi yang memungkinkan perangkat PCIe fisik untuk menampilkan dirinya berkali-kali melalui bus PCIe. Teknologi ini memungkinkan beberapa instance perangkat virtual dengan sumber daya terpisah.” Karena SR-IOV adalah bagian penting dari teknologi yang dibutuhkan untuk fungsionalitas vGPU dasar pada GPU modern, atur agar menyala saat boot dengan perintah berikut:

systemctl enable --now pve-nvidia-sriov@ALL.service

Terakhir, kita dapat memetakan sumber daya GPU untuk membaginya dengan rapi di antara VM. Di antarmuka web server Proxmox VE, klik “Datacenter” di sudut kiri atas dan gulir ke bawah untuk memilih tab “Resource Mappings”.

Klik tombol “Add” di bawah bagian “PCI Devices” di halaman, dan isi bidang “Name:” di jendela berikutnya dengan nama yang mendeskripsikan GPU yang Anda petakan.

Selanjutnya, centang kotak berlabel “Use with Mediated Devices” dan pastikan menu tarik-turun “Mapping on Node” berisi server dengan GPU yang sedang dipetakan. Gulir daftar perangkat, pastikan semua ID perangkat memiliki “NVIDIA Corporation” di kolom “Vendor”. Jika ini benar, klik kotak centang di kiri atas tabel untuk memilih semua perangkat; jika tidak, pilih hanya perangkat dengan “NVIDIA Corporation” sebagai vendor.

Catatan:

Jika beberapa GPU terinstal di sistem Anda, Anda dapat menggunakan perintah “lspci” di tab “Shell” di server yang diinginkan untuk menentukan ID yang sesuai dengan setiap kartu.Setelah selesai memilih perangkat, klik tombol “Create” di kanan bawah jendela pop-up untuk mengonfirmasi pilihan Anda. GPU NVIDIA Anda sekarang siap untuk diiris menjadi vGPU untuk tamu server Proxmox VE Anda!

Melayani Tamu (Menetapkan vGPU ke Mesin Virtual)

Semua bagian sudah siap bagi kita untuk mulai menetapkan dan menggunakan vGPU pada mesin virtual kita. Mulailah dengan membuat mesin virtual baru, seperti biasa, atau dengan menggunakan VM yang sudah ada. Untuk demonstrasi kami, kami akan menggunakan mesin virtual Windows Server 2025.

Di antarmuka web server Proxmox VE, matikan mesin virtual menggunakan metode apa pun yang Anda anggap sesuai (konsol noVNC, menu daya tamu, dll.), dan klik tab “Hardware” tamu.

Di menu tarik-turun yang muncul setelah mengklik tombol “Add”, pilih “PCI Device.”

Di jendela pop-up “Add: PCI Device”, pilih nama yang Anda tetapkan ke GPU yang dipetakan sumber daya di bidang “Device:”.

Selanjutnya, klik bidang “MDev Type:” dan amati daftar opsi tipe perangkat yang dimediasi yang ditampilkan. Anda mungkin memperhatikan bahwa setiap pilihan memiliki penunjukan angka dan huruf. Angka tersebut mewakili jumlah VRAM yang dialokasikan ke tamu (dalam gigabyte), sedangkan “A”, “B”, dan “Q” merujuk pada kasus penggunaan vGPU:

Q – Workstation virtual dengan Driver Enterprise RTX (memerlukan lisensi RTX vWS)

• B – Desktop virtual (memerlukan lisensi NVIDIA Virtual PC atau lisensi RTX vWS)
• A – Solusi aplikasi (memerlukan lisensi NVIDIA Virtual Applications)
• Catatan:

Anda dapat membaca lebih lanjut tentang berbagai profil vGPU dan lisensi yang diperlukan di sini.Untuk demonstrasi ini, kami menggunakan profil “NVIDIA L40S-12Q”. Setelah memilih tipe perangkat yang dimediasi yang Anda inginkan, selesaikan dengan mencentang kotak “PCI-Express” dan mengklik tombol biru “Add”.

VM sekarang memiliki vGPU yang ditetapkan kepadanya, tetapi kita masih perlu menginstal driver tamu dan token lisensi untuk memulai. Anda sekarang dapat menyalakan mesin virtual dan masuk.

Setelah masuk, transfer driver tamu vGPU NVIDIA yang diperoleh sebelumnya dari portal lisensi ke VM dengan cara apa pun yang Anda suka (SMB, SCP, unduhan langsung, dll.). Alternatifnya, Anda dapat membuat dan mengunggah file CD-ROM virtual (.iso) yang berisi driver ke penyimpanan server PVE Anda menggunakan perangkat lunak seperti ImgBurn untuk menyebarkan banyak tamu yang mendukung vGPU secara bersamaan.

Jalankan file penginstal driver dengan mengklik dua kali file yang dapat dieksekusi dan ikuti instruksi pada menu instalasi yang muncul.

Ekstrak driver ke lokasi default di bidang “Extraction path:”, dan pilih opsi instalasi “Express” saat diminta.

Setelah instalasi driver selesai, klik tombol “CLOSE” untuk keluar dari menu.

Selanjutnya, kita perlu mengaktifkan lisensi vGPU pada tamu. Metode aktivasi dapat sangat berbeda tergantung pada apakah Anda memilih server lisensi khusus (DLS) atau server lisensi cloud (CLS), dan sistem operasi Anda. Ikuti Panduan Memulai Cepat Sistem Lisensi NVIDIA dan Panduan Pengguna Lisensi Klien untuk langkah-langkah terperinci tentang mengaktifkan klien untuk penyiapan spesifik Anda.

Kami menggunakan server lisensi cloud dan menerima file token untuk ditempatkan pada tamu untuk aktivasi. Pindahkan file ini ke tamu dan salin ke folder “C:Program FilesNVIDIA CorporationvGPU LicensingClientConfigToken”.

Selanjutnya, reboot tamu diperlukan untuk menyelesaikan proses aktivasi.

Setelah mengikuti semua langkah konfigurasi host dan tamu yang dirinci di sini, Anda seharusnya siap untuk menjalankan program dan aplikasi yang memerlukan GPU. Jangan lupa untuk mengaktifkan Remote Desktop Protocol (RDP) atau menginstal perangkat lunak desktop jarak jauh favorit Anda pada tamu Anda setelah reboot untuk menikmati tampilan jarak jauh yang dipercepat GPU!

Memacu Mesin (Mencoba Proxmox vGPU)

Sekarang setelah kita memiliki beberapa server virtual dengan GPU virtual, mari kita coba! Masing-masing VM kami telah dikonfigurasi dengan 8 vCPU Intel Xeon Platinum 8580 yang disematkan (4 core hyperthreaded), 32 gigabyte RAM ECC terdaftar DDR5 4800 MT/s, dan profil vGPU NVIDIA L40S-12Q (workstation virtual) dengan 12 gigabyte VRAM. Anda dapat melihat konfigurasi perangkat keras lengkap mesin virtual di bawah ini:

Cinebench 2024

Berdasarkan perangkat lunak pemodelan dan animasi Cinema 4D dari Maxon, Cinebench 2024 menawarkan pandangan yang menarik dan objektif tentang kinerja rendering pada vGPU. Mari kita bandingkan kekuatan penuh L40S dalam profil “48Q” (semua 48 gigabyte VRAM) dengan satu mesin virtual versus empat VM yang menjalankan profil “12Q”.

Meskipun tidak masuk akal untuk memiliki satu mesin virtual yang menguasai seluruh L40S, kita dapat melihat bahwa kinerjanya mengesankan pada 21.147 poin dalam benchmark GPU satu kali jalan. Namun, membagi GPU empat arah menunjukkan dampak pendekatan time-slicing NVIDIA untuk berbagi inti CUDA GPU, dengan skor individu berkisar dari 2.514 hingga 2.567 ketika benchmark dijalankan secara bersamaan di semua VM.

Menjalankan kembali pengujian pada satu mesin virtual dengan profil “12Q”, dan tiga VM lainnya menganggur, meningkatkan skor kembali menjadi 15.133. Ini tidak persis kembali ke skor GPU penuh, tetapi masih terhormat untuk vGPU yang dipartisi.

Benchmark Blender

Mari kita lanjutkan dengan beberapa benchmark rendering lagi dengan Blender. Mengikuti tren serupa dengan Cinebench 2024, membagi GPU empat arah menghasilkan kinerja total yang jauh lebih rendah dibandingkan dengan satu mesin virtual yang menjalankan beban kerja yang sama dalam profil yang sama.

Seperti yang ditunjukkan dalam benchmark Monster, hanya empat VM yang berbagi daya komputasi GPU berarti kinerja render individu bisa sekecil 8% dari satu VM dengan profil yang sama. Namun, kami mengamati satu mesin virtual mendapatkan keunggulan yang cukup besar atas yang lain — hingga 2,4 kali skor terburuk.

Benchmark Junkshop dan Classroom menceritakan kisah serupa, dengan penurunan kinerja yang besar untuk tiga dari empat VM dan satu tamu mendapatkan skor yang jauh lebih tinggi daripada yang lain.

Beijing Qianxing Jietong Technology Co., Ltd.

Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Fokus Bisnis:

Distribusi Produk ICT/Integrasi Sistem & Layanan/Solusi Infrastruktur
Dengan pengalaman distribusi TI 20+ tahun, kami bermitra dengan merek global terkemuka untuk memberikan produk yang andal dan layanan profesional.
“Menggunakan Teknologi untuk Membangun Dunia yang Cerdas”Penyedia Layanan Produk ICT Tepercaya Anda!