berita perusahaan tentang Penyimpanan cache KV OceanStor Huawei untuk pusat data AI berskala besar

Huawei telah mengumumkan OceanStor M900, sebuah cluster penyimpanan flash yang dapat diskalakan, yang menyediakan cache tingkat dasar hingga 64 PB KV untuk Atlas 960 SuperPoD-nya;akselerator AI skala rak yang sebanding dengan SuperPOD Nvidia.

Nvidia telah mendefinisikan desain referensi yang mengintegrasikan GPU, BlueField NIC, switch Spectrum-X, dan perangkat lunak AI dengan sistem penyimpanan, mendukung GPUDirect, RDMA,dan ekstensi KV cache melalui perangkat lunak Dynamo dan skema CMX. Arsitektur multi-tier ini menggunakan memori bandwidth tinggi GPU (HBM) sebagai tingkat atas tercepat, diikuti oleh server X86 terkait DRAM sebagai tingkat 2, server SSD lokal sebagai L3,dan cerdas BlueField-4 NIC-terhubung NVMe SSD dalam flash storage server yang berfungsi sebagai L3.5. Ini dapat mencapai HBM GPU dalam satu hop jaringan dengan latensi kelas mikrodetik.

Huawei sekarang menantang desain SuperPOD Nvidia dengan SuperPoD sendiri yang dibangun untuk pusat data AI hyperscale.Artinya memori kecepatan tinggi akselerator tunggal tidak dapat menyimpan semua token nilai kunci yang diperlukan, yang membutuhkan mekanisme cache.

Perusahaan menyatakan satu Atlas 960E SuperPoD dapat skala hingga 4.096 NPU (Neural Processing Units), memberikan 8 EFLOPS dari kinerja komputasi FP8,hingga 1 petabyte kapasitas HBM dan 256 TB memory unified poolMengerahkan 5.500 unit Hi-ONE yang dilengkapi dengan UnifiedBus (NPO) mengurangi konsumsi daya lebih dari 550 kilowatt dibandingkan dengan 48.000 modul optik 800G yang secara tradisional diperlukan untuk menghubungkan semua NPU.Hal ini juga melipatgandakan waktu operasi bebas kesalahan sistem dan mencapai 99.8 persen ketersediaan sistem.

Huawei OceanStor M900
SuperPoD mengadopsi kerangka kerja multi-tier KV caching, di mana M900 memasok cache KV skala petabyte untuk lapisan L3.5.Kapasitas cache 5 KV dan 40 TB/detik bandwidth agregat melalui jaringan optik untuk tingkat ini, menyediakan beberapa terabyte kapasitas cache KV per NPU. Huawei mengklaim bahwa di bawah beban kerja inferensi AI khas,Arsitektur ini menggandakan throughput token inference cluster dan memotong waktu ke token pertama (TTFT) setengah.

Perusahaan mencatat bandwidth 40 TB / detik 1,5 kali lebih tinggi daripada solusi yang bersaing, tanpa secara eksplisit menyebutkan vendor.Sistem data MinIO dan VAST yang cluster bandwidthnya berkisar antara 10-25 TB/detik.

M900 memiliki desain terintegrasi yang menggabungkan CPU, pengendali jaringan dan pengendali NAND dalam satu unit, memungkinkan SuperPoD NPU untuk membangun tautan langsung, satu hop ke SSD.Ini mengurangi latensi akses dari milidetik menjadi sekitar 60 mikrodetik.

David Wang, Wakil Ketua Dewan dan Ketua Rotasi Huawei, mengatakan: ′′OceanStor M900 juga menggunakan media hibrida dan algoritma retensi yang dioptimalkan, memperpanjang umur baca / tulis SSD sebanyak 16 kali.Hal ini memastikan tingkat hit cache KV yang lebih tinggi di samping stabilitas jangka panjang dan keandalan dari bawah ke atas.

Secara lebih rinci, Huawei menyatakan bahwa M900 memiliki teknologi penyimpanan adaptif KV-aware yang memprediksi jangka waktu dan nilai yang diharapkan dari setiap segmen data cache KV.itu menjadwalkan dan mendistribusikan data di berbagai tingkat mediaHuawei mengatakan strategi penempatan dan retensi yang dioptimalkan ini memungkinkan SSD untuk mempertahankan hingga 24 penulisan drive per hari (DWPD), angka yang sangat tinggi,dan meningkatkan daya tahan SSD 16 kali, mendukung tiga tahun operasi stabil dengan lebih sedikit penggantian drive.

Masih terlalu dini bagi Huawei untuk merilis lembar data M900 dan briefing teknis, jadi rincian seperti ukuran unit rack node, controller, jumlah drive dan kapasitas,jumlah node cluster dan spesifikasi lainnya belum tersedia.

NPU Catatan kaki
NPU adalah Huawei Ascend Neural Processing Units yang, menurut Huawei, dibangun secara asli untuk AI (tidak seperti GPU yang berasal dari chip grafis).Mereka mengadopsi arsitektur Da Vinci Huawei dengan inti kubus dan inti vektor, dan mendukung format presisi rendah termasuk FP8 dan FP4 untuk mempercepat kesimpulan dan pelatihan untuk model besar.mereka dapat skala ke ribuan atau bahkan ratusan ribu NPU yang beroperasi sebagai satu mesin logisPenawaran terbaru seperti Atlas 350 (menggunakan Ascend 950PR) dan Atlas 960 SuperPoDs yang akan datang diposisikan sebagai alternatif untuk GPU Nvidia di pasar Cina.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Direktur Strategi Global
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Situs web: www.qianxingdata.com/www.storagesserver.com
Fokus Bisnis:
Distribusi Produk ICT/Integrasi Sistem & Layanan/Solusi Infrastruktur
Dengan 20+ tahun pengalaman distribusi TI, kami bermitra dengan merek global terkemuka untuk memberikan produk yang dapat diandalkan dan layanan profesional.
¢Menggunakan Teknologi untuk Membangun Dunia yang Cerdas ¢Penyedia Layanan Produk ICT yang Anda Percayai!