Tentu saja dengan harga L4 di suatu tempat di dekat $ 2500, A2 datang di sekitar setengah harga, dan tua (tetapi masih cukup mampu) T4 tersedia untuk di bawah $ 1000 digunakan,Pertanyaan yang jelas adalah apa perbedaan antara ketiga GPU inferensi ini.

Satu hal yang harus dipahami ketika melihat tiga kartu ini adalah bahwa mereka tidak persis generasi satu-ke-satu pengganti, yang menjelaskan mengapa T4 masih tetap, bertahun-tahun kemudian,pilihan populer untuk beberapa kasus penggunaan. A2 keluar sebagai pengganti untuk T4 sebagai pilihan bertenaga rendah dan lebih kompatibel (x8 vs x16 mekanik).dengan A2 mengelilingi di antara yang mungkin atau mungkin tidak mendapatkan diperbarui di beberapa titik di masa depan.

MLPerf Inference 3.1 Kinerja

MLPerf adalah konsorsium pemimpin AI dari akademisi, penelitian, dan industri yang didirikan untuk menyediakan benchmark perangkat keras dan perangkat lunak AI yang adil dan relevan.Patokan ini dirancang untuk mengukur kinerja perangkat keras pembelajaran mesin, perangkat lunak, dan layanan pada berbagai tugas dan skenario.

Tes kami berfokus pada dua patokan MLPerf khusus: Resnet50 dan BERT.

• Resnet50: Ini adalah jaringan saraf konvolutional yang digunakan terutama untuk klasifikasi gambar.
• BERT (Bidirectional Encoder Representations from Transformers): Patokan ini berfokus pada tugas pemrosesan bahasa alami,menawarkan wawasan tentang bagaimana sistem bekerja dalam memahami dan memproses bahasa manusia.

Kedua tes ini sangat penting untuk mengevaluasi kemampuan perangkat keras AI dalam skenario dunia nyata yang melibatkan pemrosesan gambar dan bahasa.

Mengevaluasi NVIDIA L4 dengan tolok ukur ini sangat penting dalam membantu memahami kemampuan GPU L4 dalam tugas AI tertentu.Hal ini juga menawarkan wawasan tentang bagaimana konfigurasi yang berbeda (singleInformasi ini sangat penting bagi para profesional dan organisasi yang ingin mengoptimalkan infrastruktur AI mereka.

Model berjalan di bawah dua mode utama: Server dan Offline.

• Mode Offline: Mode ini mengukur kinerja sistem ketika semua data tersedia untuk diproses secara bersamaan.di mana sistem memproses satu set data besar dalam satu batchMode offline sangat penting untuk skenario di mana latensi bukan perhatian utama, tetapi throughput dan efisiensi.
• Server Mode: Sebaliknya, mode server mengevaluasi kinerja sistem dalam skenario yang meniru lingkungan server dunia nyata, di mana permintaan datang satu per satu.mengukur seberapa cepat sistem dapat merespons setiap permintaanHal ini penting untuk aplikasi real-time, seperti server web atau aplikasi interaktif, di mana respon segera diperlukan.

1 x NVIDIA L4 Dell PowerEdge XR7620

Sebagai bagian dari review terbaru Dell PowerEdge XR7620, dilengkapi dengan NVIDIA L4 tunggal, kami membawanya ke tepi untuk menjalankan beberapa tugas, termasuk MLPerf.

Konfigurasi sistem pengujian kami mencakup komponen berikut:

• 2 x Xeon Gold 6426Y 16 inti 2.5GHz
• 1 x NVIDIA L4
• 8 x 16GB DDR5
• 480GB BOSS RAID1
• Server Ubuntu 22.04
• Pengemudi NVIDIA 535

Kinerja dalam skenario server dan offline untuk Resnet50 dan BERT K99 hampir identik, menunjukkan bahwa L4 mempertahankan kinerja yang konsisten di berbagai model server.

1, 2 & 4 NVIDIA L4 ¢ ¢ Dell PowerEdge T560

Konfigurasi unit review kami mencakup komponen berikut:

• 2 x Intel Xeon Gold 6448Y (32-core/64-thread masing-masing, TDP 225 watt, 2,1-4,1GHz)
• 8 x 1.6TB Solidigm P5520 SSD dengan kartu PERC 12 RAID
• 1-4x GPU NVIDIA L4
• 8 x 64GB RDIMM
• Server Ubuntu 22.04
• Pengemudi NVIDIA 535

Dalam tes kami dengan dua L4 di Dell T560, kami mengamati skala hampir linier dalam kinerja untuk kedua Resnet50 dan BERT K99 patokan.Skala ini adalah bukti efisiensi GPU L4 dan kemampuan mereka untuk bekerja secara tandem tanpa kerugian yang signifikan karena overhead atau inefisiensi.

Skala linier yang konsisten yang kami saksikan dengan dua GPU NVIDIA L4 meluas secara mengesankan ke konfigurasi yang menampilkan empat unit L4. This scaling is particularly noteworthy as maintaining linear performance gains becomes increasingly challenging with each added GPU due to the complexities of parallel processing and resource management.

Hasil ini hanya untuk tujuan ilustratif, dan bukan hasil MLPerf yang kompetitif atau resmi.

Selain memvalidasi skalabilitas linier GPU NVIDIA L4, tes kami di laboratorium menjelaskan implikasi praktis dari penyebaran unit ini dalam skenario operasional yang berbeda.Misalnya, konsistensi dalam kinerja antara server dan mode offline di semua konfigurasi dengan GPU L4 mengungkapkan keandalan dan fleksibilitas mereka.

Aspek ini sangat relevan untuk perusahaan dan lembaga penelitian di mana konteks operasional sangat bervariasi. our observations on the minimal impact of interconnect bottlenecks and the efficiency of GPU synchronization in multi-GPU setups provide valuable insights for those looking to scale their AI infrastructure. wawasan ini melampaui hanya angka acuan, menawarkan pemahaman yang lebih dalam tentang bagaimana perangkat keras tersebut dapat digunakan secara optimal dalam skenario dunia nyata,membimbing keputusan arsitektur yang lebih baik dan strategi investasi dalam infrastruktur AI dan HPC.

NVIDIA L4 Performance Aplikasi

Kami membandingkan kinerja NVIDIA L4 baru dengan NVIDIA A2 dan NVIDIA T4 yang sebelumnya.kami mengerahkan ketiga model di dalam server di laboratorium kami, dengan Windows Server 2022 dan driver NVIDIA terbaru, memanfaatkan seluruh suite pengujian GPU kami.

Kartu ini diuji pada Dell Poweredge R760 dengan konfigurasi berikut:

• 2 x Intel Xeon Gold 6430 (32 Core, 2.1GHz)
• Windows Server 2022
• Pengemudi NVIDIA 538.15
• ECC dinonaktifkan pada semua kartu untuk pengambilan sampel 1x

Saat kita memulai pengujian kinerja antara kelompok tiga GPU perusahaan ini, penting untuk mencatat perbedaan kinerja unik antara model A2 dan T4 sebelumnya.Ketika A2 dirilis, ia menawarkan beberapa perbaikan yang signifikan seperti konsumsi daya yang lebih rendah dan beroperasi pada slot PCIe Gen4 x8 yang lebih kecil, bukan slot PCIe Gen3 x16 yang lebih besar yang dibutuhkan T4 yang lebih tua.Di luar kelelawar itu memungkinkan untuk slot ke dalam lebih banyak sistem, terutama dengan jejak yang lebih kecil diperlukan.

Blender OptiX 4.0

Blender OptiX adalah aplikasi pemodelan 3D open-source. tes ini dapat dijalankan untuk CPU dan GPU, tapi kami hanya melakukan GPU seperti kebanyakan tes lainnya di sini.Benchmark ini dijalankan menggunakan Blender Benchmark CLI utilitas. Skor adalah sampel per menit, dengan lebih tinggi adalah lebih baik.

Blackmagic RAW Speed Test

Kami menguji CPU dan GPU dengan Blackmagic RAW Speed Test yang menguji kecepatan pemutaran video. ini lebih merupakan tes hibrida yang mencakup kinerja CPU dan GPU untuk dekoding RAW dunia nyata.Ini ditampilkan sebagai hasil yang terpisah tapi kita hanya fokus pada GPU di sini, jadi hasil CPU dihilangkan.

Cinebench 2024 GPU

Maxon's Cinebench 2024 adalah benchmark rendering CPU dan GPU yang memanfaatkan semua core dan thread CPU.Skor Lebih Tinggi Lebih Baik.

GPU PI

GPUPI 3.3.3 adalah versi utilitas benchmarking ringan yang dirancang untuk menghitung π (pi) hingga miliaran desimal menggunakan percepatan perangkat keras melalui GPU dan CPU.Ini memanfaatkan kekuatan komputasi OpenCL dan CUDA yang mencakup kedua unit pemrosesan pusat dan grafisKami menjalankan CUDA hanya pada semua 3 GPU dan angka di sini adalah waktu perhitungan tanpa waktu pengurangan ditambahkan.

Sementara hasil sebelumnya hanya melihat satu iterasi dari setiap kartu, kami juga memiliki kesempatan untuk melihat penyebaran 5x NVIDIA L4 di dalam Dell PowerEdge T560.

Octanebench

OctaneBench adalah utilitas benchmarking untuk OctaneRender, renderer 3D lainnya dengan dukungan RTX mirip dengan V-Ray.

GPU Geekbench 6

Geekbench 6 adalah benchmark cross-platform yang mengukur kinerja sistem secara keseluruhan. Ada pilihan tes untuk benchmarking CPU dan GPU. Skor yang lebih tinggi lebih baik.Kami hanya melihat hasil GPU.

Anda dapat menemukan perbandingan dengan sistem yang Anda inginkan di Geekbench Browser.

Luxmark

LuxMark adalah alat benchmarking lintas platform OpenCL dari mereka yang memelihara mesin rendering 3D sumber terbuka LuxRender.Untuk ulasan ini, kami menggunakan versi terbaru, v4alpha0. di LuxMark, lebih tinggi lebih baik ketika datang ke skor.

GROMACS CUDA

Kami juga mengkompilasi GROMACS, sebuah perangkat lunak dinamika molekuler, khusus untuk CUDA.penting untuk mempercepat simulasi komputasi.

Proses ini melibatkan pemanfaatan nvcc, NVIDIA's CUDA compiler,bersama dengan banyak iterasi dari bendera optimasi yang tepat untuk memastikan bahwa biner yang benar disetel ke arsitektur server. Penggabungan dukungan CUDA dalam kompilasi GROMACS memungkinkan perangkat lunak untuk secara langsung berinteraksi dengan perangkat keras GPU, yang dapat secara drastis meningkatkan waktu komputasi untuk simulasi yang kompleks.

Tes: Interaksi Protein Khusus di Gromacs

Memanfaatkan file input yang disediakan komunitas dari Discord kami yang beragam, yang berisi parameter dan struktur yang disesuaikan untuk studi interaksi protein tertentu,Kami memulai simulasi dinamika molekulerHasilnya luar biasa, sistem mencapai kecepatan simulasi 170.268 nanodetik per hari.

Lebih dari AI

Dalam gelombang inovasi yang tak henti-hentinya dalam lanskap AI saat ini, mengukur dan memahami kemampuan berbagai platform perangkat keras sangat penting.Tidak semua aplikasi AI membutuhkan pertanian pelatihan GPU besar-besaran ̇ ada segmen penting dari inferensi AI yang sering membutuhkan daya GPU yang lebih sedikitDalam ulasan ini, kami memeriksa beberapa GPU NVIDIA L4 di tiga server Dell yang berbeda dan berbagai beban kerja, termasuk MLperf, untuk mengevaluasi kinerja L4.

 

NVIDIA L4

NVIDIA L4 GPU

Pada intinya, L4 memberikan kinerja FP32 yang mengesankan 30,3 teraFLOP, menjadikannya ideal untuk tugas komputasi presisi tinggi.,FP16, dan BFLOAT16 Tensor Cores fitur penting untuk meningkatkan efisiensi pembelajaran mendalam.

 

L4 unggul dalam tugas presisi rendah, membanggakan 242,5 teraFLOP dengan FP8 dan INT8 Tensor Cores, yang secara signifikan meningkatkan kinerja inferensi jaringan saraf.Dilengkapi dengan memori GDDR6 24GB dan bandwidth 300GB/sNamun, yang paling menonjol tentang L4 adalah efisiensi energi: dengan TDP 72W,sangat cocok untuk berbagai lingkungan komputasiKombinasi kinerja tinggi, efisiensi memori, dan konsumsi daya rendah membuat NVIDIA L4 pilihan yang menarik untuk mengatasi tantangan edge computing.

 

Dengan hype sekitar AI mencapai puncak demam, itu mudah untuk memusatkan hanya pada kinerja L4 dengan model AI tapi ia memiliki beberapa trik lain di lengan bajunya,membuka dunia kemungkinan untuk aplikasi video. L4 dapat menampung hingga 1.040 aliran video AV1 bersamaan pada 720p30, kemampuan yang dapat mengubah bagaimana konten ditayangkan langsung ke pengguna tepi, meningkatkan cerita kreatif,dan memungkinkan kasus penggunaan yang menarik untuk pengalaman AR / VR yang mendalam.

 

NVIDIA L4 juga bersinar ketika datang untuk mengoptimalkan kinerja grafis, seperti yang dibuktikan oleh kehebatan dalam rendering real-time dan ray tracing.L4 mampu memberikan kuat, akselerasi komputasi grafis bertenaga tinggi untuk VDI, melayani pengguna akhir yang mengandalkan rendering grafis berkualitas tinggi, real-time untuk pekerjaan mereka.

 

Pikiran Penutup

GPU NVIDIA L4 menyediakan dasar yang kuat untuk edge AI dan komputasi berkinerja tinggi, menawarkan efisiensi dan fleksibilitas yang tak tertandingi di berbagai aplikasi.Kemampuannya untuk menangani beban kerja AI yang intensif, tugas akselerasi, atau pipa video bersama dengan kinerja grafis yang dioptimalkan menjadikannya pilihan yang ideal untuk inferensi tepi atau akselerasi desktop virtual.Kombinasi unik L4 ′s kekuatan komputasi tinggi, kemampuan memori canggih, dan efisiensi energi memposisinya sebagai pemain kunci dalam mendorong percepatan beban kerja tepi, terutama di industri AI dan grafis intensif.

 

 

NVIDIA L4 twist stack

Tidak dapat disangkal bahwa AI adalah pusat badai TI saat ini, dan permintaan untuk GPU H100 / H200 high-end tetap melalui atap.ada juga dorongan besar untuk menyebarkan infrastruktur TI yang lebih kuat di tepi dimana data dihasilkan dan dianalisisDalam skenario ini, GPU berukuran yang lebih tepat diperlukan, dan NVIDIA L4 unggul di sini.apakah digunakan sebagai satuan tunggal atau berskala bersama, seperti yang kami uji di T560.

 

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Direktur Strategi Global
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Situs web: www.qianxingdata.com/www.storagesserver.com

Fokus Bisnis:
Distribusi Produk ICT/Integrasi Sistem & Layanan/Solusi Infrastruktur
Dengan 20+ tahun pengalaman distribusi TI, kami bermitra dengan merek global terkemuka untuk memberikan produk yang dapat diandalkan dan layanan profesional.
¢Menggunakan Teknologi untuk Membangun Dunia yang Cerdas ¢Penyedia Layanan Produk ICT yang Anda Percayai!