berita perusahaan tentang Panmnesia dan Meta mengambil chip tunggal, tampilan berbasis CXL dari pusat data AI

Meta dan pemasok teknologi CXL, Panmnesia, mengatakan pusat data AI perlu dilihat sebagai satu sumber daya pemrosesan yang terkoordinasi, bukan sebagai kumpulan server independen yang berlokasi bersama.

Pusat data AI harus menjadi sumber daya yang terhubung erat, dengan satu domain koherensi, seperti chip CPU. Ini berbeda dari pusat data perusahaan yang ada, yang terhubung secara longgar, digerakkan oleh permintaan, dan memiliki banyak domain koherensi. Pusat data AI dapat menjalankan satu pekerjaan di ratusan, bahkan ribuan, GPU, kira-kira mirip dengan beban kerja komputasi berkinerja tinggi yang melibatkan inti prosesor, memori, dan tautan jaringan yang terkoordinasi.

Panmnesia dan Meta bersama-sama mengusulkan arsitektur pusat data AI generasi berikutnya seperti ini, di mana pusat data beroperasi seperti satu chip. Karya ini muncul di NREE, sebuah jurnal Nature Portfolio.

Myoungsoo Jung
Myoungsoo Jung, CEO Panmnesia, mengatakan: “Seiring sistem AI terus berkembang, kemampuan untuk menghubungkan sejumlah besar akselerator dan perangkat memori dengan cepat dan efisien menjadi sama pentingnya dengan kinerja akselerator individu. Penelitian ini menguraikan arah untuk infrastruktur AI generasi berikutnya, di mana CXL memungkinkan seluruh pusat data beroperasi sebagai satu sistem komputasi.”

Komponen pada satu chip pemrosesan, inti, dll., dirancang dan ditempatkan sehingga memiliki jalur tautan yang seragam dalam satu domain koherensi dan melakukan pekerjaan mereka dengan cara yang teratur, terkoordinasi, dan terkontrol. Sebaliknya, pusat data yang ada memiliki prosesor server dan penyimpanan di rak dengan tautan jaringan dan sakelar di dalam dan antar rak. Tidak ada struktur kontrol sehingga pemrosesan server terkoordinasi.

Pusat data seperti chip
Panmnesia mengatakan: “Di pusat data saat ini, akselerator di dalam rak dihubungkan oleh interkoneksi skala-up yang cepat, sementara koneksi yang keluar dari rak — dan koneksi ke perangkat selain akselerator — bergantung pada jaringan skala-out yang lebih lambat. Pengukuran lingkungan semacam itu menunjukkan distribusi latensi yang berat, dengan latensi bolak-balik persentil ke-99 kira-kira lima kali median. Inilah yang menghambat pekerjaan secara keseluruhan, dan semakin banyak perangkat yang berpartisipasi, semakin sering dan semakin parah hal itu terjadi.”

Agar pusat data AI beroperasi secara efisien dan cepat, diperlukan kontrol dan koordinasi baik di dalam rak maupun antar rak GPU, memori, dan penyimpanannya. Dalam infrastruktur AI skala besar, katanya, mengurangi variasi latensi antar perangkat sehingga pusat data secara keseluruhan berperilaku dapat diprediksi sama pentingnya dengan meningkatkan kinerja perangkat individu atau kecepatan tautan.

Panmnesia LAU
Meta dan Panmnesia mengusulkan CXL digunakan, sebagai dasarnya, dengan konsep baru yang memungkinkannya beroperasi pada tingkat rak multi-GPU. CXL yang diperluas menyediakan koherensi cache antar rak akselerator dalam skema mereka, mendukung lebih banyak perangkat daripada GB200 NVL72 dan UALink berbasis NVLink skala rak Nvidia.

Ini mendefinisikan aturan dasar untuk menggabungkan perangkat tetapi bukan perutean data dan latensi. Mereka mengusulkan tiga elemen perangkat keras khusus untuk mengurangi dan membatasi variasi latensi:
Sakelar non-blocking dengan fan-out tinggi: menghubungkan banyak perangkat sekaligus, mengurangi jumlah lompatan dan menjaga panjang jalur tetap serupa terlepas dari sumbernya.
Unit akselerasi tautan (LAU): memindahkan pemrosesan protokol berulang di setiap titik koneksi ke pipeline perangkat keras khusus, membuat perilaku tingkat lompatan lebih teratur dan membatasi variasi latensi.
Pengontrol fabric: menerapkan kebijakan pengurutan yang sama untuk menangani permintaan di seluruh sistem, sehingga transaksi diproses secara konsisten tidak peduli perangkat mana yang dilewatinya.

Sakelar non-blocking fan-out tinggi Panmnesia
Pengontrol fabric (pengontrol CXL/PCIe gabungan) dan LAU telah menyelesaikan validasi silikon, dan sakelar fabric telah dibuat sebagai chip silikon fisik, dengan silikon pra-rilis sekarang dipasok. Ini menunjukkan bahwa arsitektur yang diusulkan berlaku pada tingkat silikon yang dapat diproduksi.

Arsitektur mereka mengelompokkan CPU, akselerator, memori, dan sakelar berdasarkan fungsi ke dalam baki, mengelompokkan baki menjadi pod, dan menghubungkan pod melalui fabric — hierarki baki-pod-fabric yang teratur yang dirancang untuk mempertahankan jalur komunikasi dan waktu komunikasi dengan lompatan tetap, lebih konsisten.

Pengontrol Fabric Panmnesia
Dibandingkan dengan desain Nvidia, di mana satu CPU terhubung ke dua akselerator melalui NVLink-C2C, interior rak dihubungkan oleh NVLink, dan server serta rak dihubungkan oleh jaringan skala-out seperti Ethernet atau InfiniBand, skema mereka:
Menyediakan peningkatan 8x akselerator yang dikoordinasikan langsung oleh satu CPU; dari 2 menjadi 16,
Memungkinkan hingga 960 akselerator beroperasi bersama dalam satu domain koherensi,
Mengurangi latensi akses data dari tingkat mikrodetik menjadi beberapa ratus nanodetik; kira-kira satu urutan besarnya lebih rendah,
Unit penggantian kegagalan menjadi satu perangkat yang rusak alih-alih server. Memisahkan sumber daya berdasarkan jenis memungkinkan sistem untuk mengganti hanya perangkat yang rusak alih-alih seluruh server, menghindari pemborosan sumber daya dan penghentian operasional yang berkepanjangan.

Panmnesia telah mengimplementasikan komponen inti arsitektur dalam silikon, menyelesaikan validasi, dan sekarang mempersiapkannya untuk pasokan komersial. Pengembangan di masa depan melihat interkoneksi optik untuk meningkatkan kecepatan dan skalabilitas.

Catatan kaki
Referensi artikel NREE tersedia.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Direktur Strategi Global
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Situs Web: www.qianxingdata.com/www.storagesserver.com
Fokus Bisnis:
Distribusi Produk ICT/Integrasi & Layanan Sistem/Solusi Infrastruktur
Dengan pengalaman distribusi TI selama 20+ tahun, kami bermitra dengan merek global terkemuka untuk memberikan produk yang andal dan layanan profesional.
“Menggunakan Teknologi untuk Membangun Dunia yang Cerdas”Penyedia Layanan Produk ICT Tepercaya Anda!