Indonesian
MinIO telah merilis MemKV, penyimpanan memori konteks khusus yang dibangun untuk mengatasi hambatan kritis dalam jalur inferensi AI skala besar. Berfungsi sebagai solusi unggulan kedua MinIO bersama AIStor, MemKV memperluas infrastruktur data perusahaan ke tingkat memori. Ini dirancang untuk memberikan data kontekstual bersama yang persisten untuk beban kerja AI agen yang berjalan pada cluster GPU terdistribusi.
MinIO AIStor
Seiring dengan kemajuan sistem AI dari respons satu kali ke penalaran multi-turn dan eksekusi tugas otomatis, mempertahankan konteks berkelanjutan di seluruh siklus inferensi menjadi semakin penting. Dalam arsitektur yang ada, data konteks sering kali dibuang karena terbatasnya kapasitas tingkat memori yang berdekatan dengan GPU termasuk HBM dan DRAM. Hal ini memaksa GPU untuk menghitung ulang konteks yang ada berulang kali, sehingga meningkatkan latensi, penggunaan komputasi, dan penggunaan daya. MinIO mendefinisikan beban kerja berlebihan ini sebagai "pajak penghitungan ulang", sebuah inefisiensi yang memburuk secara eksponensial di lingkungan cloud skala besar.
MemKV dirancang untuk meringankan masalah ini melalui lapisan memori persisten bersama yang mampu menyimpan skala petabyte dengan latensi akses tingkat mikrodetik. Dengan mempertahankan data kontekstual di seluruh alur kerja inferensi, platform ini mengurangi komputasi yang berlebihan dan meningkatkan efisiensi infrastruktur secara keseluruhan. Data benchmark internal dari MinIO memverifikasi peningkatan latensi waktu hingga token pertama dalam konkurensi tingkat produksi. Dalam penerapan tipikal yang dilengkapi dengan 128 GPU dan jendela konteks 128 ribu token, pemanfaatan GPU melonjak dari sekitar 50% menjadi lebih dari 90%, yang berarti pengurangan biaya komputasi tahunan yang besar.
Para eksekutif MinIO menyatakan bahwa penghitungan ulang overhead tetap tidak terlihat dalam penerapan skala kecil namun berubah menjadi kelemahan struktural mendasar pada skala perusahaan. Seiring dengan berkembangnya klaster GPU, regenerasi konteks yang berulang menyebabkan konsumsi daya dan biaya infrastruktur yang lebih tinggi, sehingga sistem memori khusus sangat diperlukan untuk pengoperasian AI yang berkelanjutan.
Mengatasi Pengorbanan Skala Memori
Infrastruktur AI yang lama memaksa pengembang untuk berkompromi antara kecepatan akses dan kapasitas penyimpanan. Tingkat memori berkinerja tinggi seperti HBM dan DRAM memberikan latensi mikrodetik tetapi memiliki batasan kapasitas yang ketat dan biaya yang tinggi. Sebaliknya, sistem penyimpanan konvensional menawarkan skalabilitas yang sangat besar namun memiliki latensi tingkat milidetik, sehingga tidak kompatibel dengan inferensi waktu nyata dan tugas penalaran konteks panjang.
Mikron HBM4
MemKV menjembatani kesenjangan industri ini dengan memperkenalkan tingkat memori bersama menengah yang menyeimbangkan latensi sangat rendah dan skalabilitas penyimpanan yang besar. Kompatibel secara asli dengan NVIDIA BlueField-4 STX dan terintegrasi dengan NVIDIA Dynamo bersama dengan alat NIXL, solusi ini memungkinkan seluruh cluster GPU mengakses kumpulan data kontekstual terpadu dengan kecepatan transmisi yang selaras dengan inferensi. Desain ini menghilangkan migrasi data konteks yang sering terjadi antara memori terisolasi dan lapisan penyimpanan, menurunkan latensi dan meningkatkan throughput sistem.
NVIDIA BlueField-4
Arsitektur Dioptimalkan untuk Beban Kerja Inferensi
Dirancang khusus untuk saluran data inferensi, MemKV cocok dengan lapisan G3.5 kerangka hierarki memori GPU MinIO. Dibangun pada infrastruktur penyimpanan NVMe, kapasitasnya mencapai tingkat petabyte dengan tetap mempertahankan latensi akses mikrodetik, sehingga berhasil memisahkan skalabilitas memori dari sumber daya komputasi GPU.
Sistem ini meninggalkan abstraksi penyimpanan tradisional yang rumit, mentransfer data langsung dari drive NVMe ke jalur data AI melalui transmisi RDMA end-to-end. Hal ini mengurangi overhead kinerja yang disebabkan oleh protokol HTTP, konversi sistem file, dan server penyimpanan perantara—hambatan umum dalam arsitektur penyimpanan berbasis objek dan file.
Sumber: Google
Pengoptimalan arsitektur utama mencakup eksekusi biner ARM64 asli pada NVIDIA BlueField-4 STX, yang tertanam langsung di dalam lapisan penyimpanan untuk mengurangi ketergantungan pada node penyimpanan x86 eksternal. Semua transfer data antara memori GPU dan penyimpanan NVMe mengadopsi transmisi RDMA, melewati tumpukan penyimpanan konvensional yang berlebihan. Selain itu, MemKV menggunakan ukuran blok yang diperbesar mulai dari 2 MB hingga 16 MB, yang dioptimalkan untuk karakteristik throughput GPU dibandingkan blok penyimpanan lama sebesar 4 KB. Produk ini mendukung jaringan interkoneksi berkecepatan tinggi yang mutakhir seperti NVIDIA Spectrum-X Ethernet dan PCIe Gen6, yang memfasilitasi transmisi data berkecepatan mendekati kabel di seluruh cluster.
Tersedianya
MinIO MemKV sekarang tersedia secara komersial untuk penerapan di perusahaan.
Beijing Qianxing Jietong Technology Co, Ltd.
Sandy Yang/Direktur Strategi Global
WhatsApp / WeChat: +86 13426366826
Surel: yangyd@qianxingdata.com
Situs web: www.qianxingdata.com/www.storagesserver.com
Fokus Bisnis:
Distribusi Produk TIK/Integrasi Sistem & Layanan/Solusi Infrastruktur
Dengan pengalaman distribusi TI selama lebih dari 20 tahun, kami bermitra dengan merek global terkemuka untuk menghadirkan produk yang andal dan layanan profesional.
“Menggunakan Teknologi untuk Membangun Dunia Cerdas”Penyedia Layanan Produk TIK Tepercaya Anda!
Sandy Yang/Direktur Strategi Global
WhatsApp / WeChat: +86 13426366826
Surel: yangyd@qianxingdata.com
Situs web: www.qianxingdata.com/www.storagesserver.com
Fokus Bisnis:
Distribusi Produk TIK/Integrasi Sistem & Layanan/Solusi Infrastruktur
Dengan pengalaman distribusi TI selama lebih dari 20 tahun, kami bermitra dengan merek global terkemuka untuk menghadirkan produk yang andal dan layanan profesional.
“Menggunakan Teknologi untuk Membangun Dunia Cerdas”Penyedia Layanan Produk TIK Tepercaya Anda!