CoreWeave telah menerapkan kluster NVIDIA Vera Rubin NVL72 multi-rak di CoreWeave Cloud, menghubungkan ratusan GPU Rubin ke dalam lingkungan skala terpadu yang dioptimalkan untuk beban kerja AI agentik. Setiap rak yang diproduksi oleh Dell menampung 72 GPU Rubin dan 36 CPU Vera, mengadopsi NVLink 6 sebagai fabric interkoneksi skala-up-nya, dipasangkan dengan dua ConnectX-9 SuperNIC per GPU. Rak-rak dihubungkan melalui NVIDIA Spectrum-X Ethernet dalam fabric non-blocking dua tingkat, yang menurut CoreWeave dapat diskalakan hingga sekitar 128.000 GPU. CoreWeave adalah penyedia cloud pertama yang berhasil memvalidasi dan mengaktifkan sistem Vera Rubin NVL72, dan yang pertama menerbitkan kinerja terukurnya. Hasil benchmark peer-review awalnya dirilis minggu lalu, berdasarkan pengajuan GB300 NVL72. Bersamaan dengan peningkatan komputasi, CoreWeave AI Object Storage menambahkan akselerasi tulis lintas-wilayah dan tingkatan Arsip yang baru.

Arsitektur NVIDIA Vera Rubin NVL72 Multi-Rak

Penerapan multi-rak ini menargetkan alur kerja eksekusi agentik, di mana loop penalaran berurutan dan panggilan alat eksternal memperkuat latensi akses data di seluruh infrastruktur terdistribusi. Dual ConnectX-9 SuperNIC yang dipasang pada setiap GPU Rubin memberikan bandwidth jaringan backend hingga 1,6 Tb/s per GPU melalui tautan multi-rail, multi-plane. Fabric menggunakan desain modular, memungkinkan rak NVL72 baru untuk bergabung dengan topologi non-blocking yang sama seiring dengan perluasan kapasitas. Rak-rak beroperasi dengan pendinginan cair 45°C.

CoreWeave menyatukan rak-rak ini menggunakan rangkaian perangkat lunak Mission Control-nya. Rack LifeCycle Controller menangani penyediaan rak dan manajemen siklus hidup, termasuk deteksi perangkat keras melalui flashing firmware, validasi, pemantauan daya dan termal. Modul manajemen rak Racky mengontrol daya dan infrastruktur, sementara pengontrol pendinginan Valvey yang dapat diprogram memberikan visibilitas dan manajemen yang ditentukan perangkat lunak untuk sirkuit pendinginan cair dan sensor lingkungan.

Rak memasuki produksi hanya setelah pengujian validasi bertahap. Pada tingkat node, ini termasuk diagnostik GPU berulang selama berjam-jam, verifikasi transfer CPU-GPU, uji interkoneksi dan beban termal, ditambah beban kerja pelatihan yang realistis. Pada tingkat rak, pekerjaan yang disinkronkan di semua 72 GPU memvalidasi throughput GPU-ke-GPU NVLink; perangkat keras apa pun yang berada di bawah ambang batas kinerja akan diperbaiki. Untuk verifikasi lintas-rak, CoreWeave menjalankan beban kerja terdistribusi, sengaja menonaktifkan NVLink untuk memaksa lalu lintas melintasi jaringan backend, dan memantau fabric fisik untuk tautan yang tidak stabil, tingkat kesalahan yang meningkat, komponen yang terlalu panas, dan lalu lintas yang tidak seimbang. Beban uji meniru aplikasi agentik, menampilkan lonjakan permintaan mendadak, konkurensi variabel, dan pola komunikasi yang berdenyut.

Pembaruan AI Object Storage: Tulis Lintas-Wilayah dan Tingkatan Arsip

Peningkatan penyimpanan dibangun di atas Local Object Transport Accelerator (LOTA), proxy caching yang diterapkan pada setiap node GPU dan CPU dalam CoreWeave Kubernetes Service, menyimpan data objek pada NVMe lokal node. CoreWeave melaporkan pembacaan cache mencapai hingga 7 GB/s per GPU, dengan latensi baca p99 lebih dari 8x lebih rendah daripada akses bucket langsung. Satu penyedia model terkemuka menjalankan LOTA di lebih dari 15.000 GPU dan cache 20PB, mencapai tingkat hit 99,7%, dengan LOTA ditawarkan tanpa biaya tambahan.

Akselerasi tulis lintas-wilayah memungkinkan aplikasi untuk menulis ke bucket di wilayah jarak jauh dengan latensi lokal, tanpa memodifikasi API atau SDK. Aplikasi mengirimkan tulisan S3 standar ke endpoint LOTA; data objek disimpan secara persisten secara lokal sementara metadata dikomit ke wilayah jarak jauh. Objek menjadi dapat dibaca secara instan, bahkan untuk pekerjaan penulisan, dan data dimigrasikan ke wilayah jarak jauh di latar belakang. Aplikasi melihat namespace bucket tunggal yang mencakup semua wilayah dengan kebijakan IAM, aturan siklus hidup, dan kontrol akses yang konsisten, menghilangkan bucket regional terpisah dan pipeline replikasi yang biasanya diperlukan untuk distribusi checkpoint lintas-situs.

“Dataset kami mencakup banyak wilayah, dan kami tidak mampu membiarkan jadwal pelatihan kami ditentukan oleh penundaan pengambilan lintas-wilayah,” kata Cécile Robert-Michon, direktur infrastruktur internal di Cohere. “CoreWeave AI Object Storage memberi kami jejak dataset terpadu di seluruh wilayah dengan pembacaan yang di-cache secara lokal, sehingga tidak ada yang menunggu di jaringan.”

Tingkatan Arsip adalah kelas penyimpanan keempat bersama dengan Hot, Warm, dan Cold, yang dirancang untuk data tulis-sekali, jarang dibaca seperti checkpoint pelatihan historis dan dataset mentah. Ini menampilkan harga kapasitas dasar yang lebih rendah dan membebaskan biaya pengambilan, cache, per-permintaan, penghapusan dini, tiering, dan egress. CoreWeave merekomendasikan untuk menyimpan checkpoint terbaru pada tingkatan yang lebih cepat untuk restart cepat, dengan tiering otomatis ke Arsip setelah 60 hari tanpa pembacaan. Tulis lintas-wilayah dan tingkatan Arsip sekarang tersedia secara umum.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Situs Web: www.qianxingdata.com/www.storagesserver.com
Fokus Bisnis:
Distribusi Produk ICT/Integrasi Sistem & Layanan/Solusi Infrastruktur
Dengan pengalaman distribusi TI lebih dari 20 tahun, kami bermitra dengan merek global terkemuka untuk memberikan produk yang andal dan layanan profesional.
“Menggunakan Teknologi untuk Membangun Dunia yang Cerdas”Penyedia Layanan Produk ICT Tepercaya Anda!