Indonesian
AMD telah secara resmi merilis Instinct MI350P, akselerator PCIe baru yang disesuaikan untuk pengguna perusahaan yang mencari inferensi AI di lokasi tanpa perbaikan pada infrastruktur pusat data mereka yang ada.Dengan slot ganda, tinggi penuh dan panjang penuh faktor bentuk, kartu grafis ini sepenuhnya kompatibel dengan server dingin udara konvensional.Ini juga menandai rilis pertama AMD dari chip Instinct generasi saat ini yang dirancang untuk slot server standar dalam hampir empat tahun..
AMD Instinct MI350P
Garis produk Instinct berbasis PCIe AMD tetap stagnan setelah peluncuran MI210 pada awal 2022. Semua generasi berikutnya, termasuk MI300X, MI325X dan format OAM MI350X,Modul OAM dengan soket yang diadopsi yang dipasang pada baseboard universal khususModul-modul ini membutuhkan kandang yang disesuaikan dengan pasokan daya yang kuat dan aliran udara untuk mendukung hingga delapan akselerator kelas 1,000W di satu baki.Arsitektur perangkat keras tersebut cocok untuk penyedia cloud hyperscale yang membeli rak GPU secara massal, namun gagal untuk mengakomodasi perusahaan biasa yang tidak mau atau tidak dapat menyebarkan rak AI khusus untuk tugas kesimpulan di tempat. MI350P dengan tepat mengisi kesenjangan pasar ini.NVIDIA tidak memiliki pesaing PCIe kelas server kelas tinggi di segmen ini, meninggalkan AMD dengan eksklusif pasar sementara.
Perbandingan Hardware: MI350P versus MI350X OAM
MI350P bukanlah varian MI350X yang dipotong; AMD merancang chip yang dirampingkan independen untuk model baru ini.MI350X mengintegrasikan dua I / O mati berpasangan dengan delapan accelerator mati kompleks (XCDs), memberikan 256 unit komputasi secara total. Sebaliknya, MI350P berisi satu I / O die dan empat XCD, setara dengan 128 unit komputasi. Meskipun mengurangi skala silikon, ia mempertahankan 2 yang identik.Frekuensi jam puncak 2 GHz sebagai rekan tingkat yang lebih tinggiKonfigurasi memori mengikuti spesifikasi yang didegradasi yang sama: empat tumpukan HBM3E (menentang delapan), bus memori 4.096-bit (turun dari 8.192-bit),di samping kapasitas memori 144GB dan bandwidth 4 TB/s, dibandingkan dengan MI350Xs 288GB dan 8 TB/s throughput.
Arsitektur AMD Instinct MI350P
Kekuatan komputasi puncak juga berkurang setengahnya. MI350P mencapai 4.600 MXFP4 TFLOPS dibandingkan MI350XS 9.2 PFLOPS, bersama dengan 2.300 FP8 TFLOPS dibandingkan dengan model premium 4.6 PFLOPS.Metrik kinerja untuk BF16, FP16 dan standar presisi lainnya mengikuti penurunan proporsional yang sama. Terutama, AMD telah menerbitkan data kinerja puncak dan dunia nyata yang berkelanjutan untuk transparansi.299 TFLOPS di bawah MXFP4, 1.529 TFLOPS di bawah FP8, dan 713 TFLOPS di bawah BF16.di mana kendala daya dan pembatasan bandwidth memori pasti menurunkan kinerja puncak teoritis.
Tim editorial sebelumnya mengevaluasi platform MI350X melalui program Jumpstart dari Supermicro dan mengakui kemampuan beban kerja inferensi yang kuat.Tim sangat ingin melakukan pengujian MI350P., menganalisis bagaimana akselerator PCIe-form-factor ini berkinerja dalam chassis server komoditas standar.
MI350P tidak memiliki pengurangan daya 50% meskipun skala silikonnya berkurang setengah.Daya puncak ini mencapai batas atas spesifikasi PCIe CEM, menjalankan kartu pada ambang panas maksimum slot. modus operasi 450W berkurang tersedia untuk server dengan pendinginan yang tidak cukup, disertai dengan pemotongan kinerja moderat.Diposisikan di wadah daya yang sama, MI350P secara langsung bersaing dengan NVIDIA's H200 NVL dan RTX Pro 6000 Server untuk pengadaan perusahaan.
Tidak seperti NVIDIA H200 dengan interkoneksi kecepatan tinggi NVL4, MI350P menonaktifkan eksposur Infinity Fabric.
Dilaksanakan dengan pendingin udara delapan GPU
Sebagai kartu PCIe FHFL dual-slot standar, MI350P kompatibel dengan server perusahaan yang ada.termasuk Dell PowerEdge XE7740 dan HPE ProLiant DL380a Gen12Dioptimalkan untuk akselerator 600W, platform ini tidak memerlukan rak khusus, pendingin cairan atau baseboard OAM.
Konfigurasi MI350P delapan kartu memberikan bandwidth agregat 1.152GB HBM3E dan 32 TB/s, cukup untuk menampung model parameter triliun dalam presisi MXFP4 dalam satu sasis yang didinginkan udara.Ini mengorbankan kain yang didedikasikan untuk mengupasSementara MI350X menggunakan Infinity Fabric untuk komunikasi antar modul yang cepat, MI350P hanya mengandalkan PCIe Gen5.Arsitektur ini cocok dengan paralelisme tensor node-lokal dan paralelisme data lintas node untuk inferensi, sedangkan MI350X berbasis OAM tetap unggul untuk tugas pelatihan AI yang menggunakan bandwidth intensif.
Format presisi
MI350P mewarisi semua format presisi dari MI350X tanpa upgrade.memungkinkan pelatihan presisi rendah dengan degradasi kualitas yang tidak signifikan. MXFP4 memberikan lebih dari dua kali kecepatan FP8 dan empat kali throughput dari BF16. Kasus dunia nyata seperti OpenAI gpt-oss dan Kimi K2.6 membuktikan nilai kuantisasi low-bit asli.Karena berat MXFP4 dan INT4 hanya menempati 25% dari ruang memori BF16, model parameter triliun dapat digunakan di dalam server delapan GPU tunggal, menghilangkan cluster multi-node yang rumit untuk perusahaan di lokasi.
Kesimpulan
Sebagian besar perusahaan AI on-premise dibatasi oleh daya, pendinginan, kepadatan dan anggaran daripada kemampuan komputasi mentah.Dengan NVIDIA tidak memiliki GPU server PCIe unggulan di segmen ini, AMD mempertahankan keunggulan kompetitif yang jelas untuk saat ini. Rincian lebih lanjut tersedia di halaman web resmi AMD Instinct.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Direktur Strategi Global
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Situs web: www.qianxingdata.com/www.storagesserver.com
Fokus Bisnis:
Distribusi Produk ICT/Integrasi Sistem & Layanan/Solusi Infrastruktur
Dengan 20+ tahun pengalaman distribusi TI, kami bermitra dengan merek global terkemuka untuk memberikan produk yang dapat diandalkan dan layanan profesional.
¢Menggunakan Teknologi untuk Membangun Dunia yang Cerdas ¢Penyedia Layanan Produk ICT yang Anda Percayai!
Sandy Yang/Direktur Strategi Global
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Situs web: www.qianxingdata.com/www.storagesserver.com
Fokus Bisnis:
Distribusi Produk ICT/Integrasi Sistem & Layanan/Solusi Infrastruktur
Dengan 20+ tahun pengalaman distribusi TI, kami bermitra dengan merek global terkemuka untuk memberikan produk yang dapat diandalkan dan layanan profesional.
¢Menggunakan Teknologi untuk Membangun Dunia yang Cerdas ¢Penyedia Layanan Produk ICT yang Anda Percayai!