Rak Groq 3 LPX yang diumumkan Nvidia di GTC akan digunakan bersama dengan rak NVL72, memberikan kapasitas khusus untuk inferensi AI dan beban kerja AI agentik.rak Groq 3 LPX dapat menampung hingga 256 akselerator LPU, Dilengkapi dengan 128GB SRAM dan 40 petabyte per detik yang mengejutkan dari bandwidth memori SRAM. rak memberikan hingga 640TB per detik dari bandwidth skala-up total,dan Nvidia mencatat itu akhirnya bisa skala untuk rumah lebih dari 1,000 LPU.
Menggabungkan rak Groq 3 LPX dengan sistem Rubin NVL72 memungkinkan pelanggan menghasilkan satu juta token hanya $ 45 pada model GPT 1 triliun parameter dengan jendela konteks token 400k,Menurut NvidiaAngka itu mewakili 35 kali lebih banyak token daripada sistem Rubin NVL72 dapat menghasilkan sendiri.
Groq 3 LPU bukan satu-satunya chip baru Nvidia memanfaatkan untuk meningkatkan kapasitas inferensi AI.Perusahaan juga mengumumkan rack khusus untuk CPU Vera-nya, prosesor berbasis ARM yang dipasangkan dengan dua GPU Rubin untuk membangun superchip di inti sistem NVL72 dan NVL8 Nvidia..
Karena CPU telah muncul sebagai kemacetan utama untuk inferensi AI dan beban kerja AI agentik, perusahaan semakin menuntut sumber daya CPU yang lebih besar.Nvidia telah meluncurkan standalone CPU-only rack, bernama Vera CPU Rack, yang menampilkan 256 Vera CPU yang terhubung ke 400TB memori LPDDR5x yang beroperasi pada 300TBps.
Vera CPU Rack juga dilengkapi dengan Spine Ethernet Spectrum-X dan 64 unit pemrosesan data BlueField-4 (DPU).DPU ini berkoordinasi dengan GPU dalam sistem NVL72 melalui interkoneksi NVLink-C2C Nvidia, memberikan 1,8TBps bandwidth koheren ¢ tujuh kali bandwidth PCIe Gen 6, per perusahaan.
Nvidia menyatakan bahwa rack Vera dapat mendukung 22.500 lingkungan CPU bersamaan, memenuhi permintaan CPU besar yang diperlukan untuk menjalankan inferensi AI dan beban kerja agen secara mulus.Rack menggunakan pendinginan cair dan dibangun di atas arsitektur referensi MGX Nvidia, yang disorot perusahaan didukung oleh 80 mitra ekosistem, dan akan didistribusikan melalui jaringan mitra global Nvidia.
Nvidia juga mengumumkan rak baru yang penuh dengan BlueField-4 DPU, salah satu dari tujuh chip baru yang disebut Nvidia sebagai superkomputer AI baru.BlueField-4 STX adalah implementasi skala rak pertama dari platform CMX (context memory storage) baru Nvidia, yang memperluas memori GPU dari HBM ke penyimpanan NVMe utama.yang disajikan pada penawaran penyimpanan CMX di konferensi beberapa minggu yang lalu, mulai mengadopsi melalui arsitektur referensi Nvidia STX.
STX adalah lapisan berbagi dengan bandwidth tinggi yang dioptimalkan untuk menyimpan dan mengambil data cache nilai kunci besar yang dihasilkan oleh alur kerja agen, kata Buck.Sementara Nvidia tidak akan menyediakan secara langsung, we’re providing [the reference architecture] to all of our storage partners and the entire storage ecosystem so that they can build the next generation of storage for AI factories that has 4x the performance per watt, menggandakan halaman per detik untuk data perusahaan, dan memberikan 5x token per detik memori konteks yang diperlukan untuk pabrik AI yang menjalankan alur kerja agen.
Cloudian, DDN, Dell Technologies, Everpure (sebelumnya Pure Storage), Hitachi Vantara, HPE, IBM, MinIO, NetApp, Nutanixdan WEKA semua membangun penyimpanan baru pada arsitektur referensi BlueField-4 STX, Nvidia mengatakan, sementara perusahaan seperti CoreWeave, Crusoe, IREN, Lambda, Mistral AI, Nebius, Oracle Cloud Infrastructure (OCI), dan Vultr mengadopsi.
Secara keseluruhan, Nvidia akan memamerkan tujuh chip baru di GTC yang masing-masing memiliki peran untuk menggerakkan AI di platform Vera Rubin.BlueField-4 DPU, Groq 3 LPU, dan SpectrumX CPO, switch Ethernet optik co-packaged baru yang memberikan konektivitas 200 Gbps melalui fotonik silikon.dan sekarang sedang diproduksi, CEO Jensen Huang mengatakan dalam keynote-nya.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Direktur Strategi Global
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Situs web: www.qianxingdata.com/www.storagesserver.com
Fokus Bisnis:
Distribusi Produk ICT/Integrasi Sistem & Layanan/Solusi Infrastruktur
Dengan 20+ tahun pengalaman distribusi TI, kami bermitra dengan merek global terkemuka untuk memberikan produk yang dapat diandalkan dan layanan profesional.
¢Menggunakan Teknologi untuk Membangun Dunia yang Cerdas ¢Penyedia Layanan Produk ICT yang Anda Percayai!
Pesan Anda harus antara 20-3.000 karakter!
Indonesian
