berita perusahaan tentang Inferra adalah penghancur dinding memori inferensi Lightbits

Saya telah memampatkan teks penuh dengan8% jumlah kata, mempertahankan semua fakta inti, patokan, kutipan dan logika teknis, dan menghapus semua tautan:

Perangkat lunak Lightbits Inferra mempercepat operasi cache KV, memecahkan dinding memori inferensi AI dan secara drastis meningkatkan pemanfaatan GPU.Perusahaan penyimpanan blok berkinerja tinggi membangun Inferra untuk memvirtualisasi memori GPU dengan bandwidth tinggi (HBM)Sebuah cache KV menyimpan kunci dan nilai perhatian yang dihitung sebelumnya selama inferensi LLM, menghindari perhitungan ulang data urutan yang berlebihan dan meningkatkan kinerja AI generatif.

Standar KV caching membatasi data yang di-cache ke GPU HBM. Setelah HBM jenuh, pasangan KV yang ada diusir untuk data baru, yang membutuhkan waktu yang lama untuk dihitung kembali saat digunakan kembali.Caching KV bertingkat modern memperluas penyimpanan ke DRAM serverSementara tingkat yang lebih tinggi mengalami latensi akses yang lebih lama, penundaan ini seringkali lebih pendek daripada menghitung kembali vektor token yang luas.

Inferra mengatasi kemacetan memori kritis yang berasal dari memperluas jejak cache KV konteks panjang.inferensi AI yang lebih dapat diskalakan tanpa peningkatan perangkat keras GPU dan HBM yang mahal untuk memperluas kapasitas cache.

Pendiri dan Ketua Lightbits Labs Avigdor Willenz mencatat bahwa pasar inferensi AI senilai $ 117 miliar tahun 2026 memaksa vendor yang berfokus pada pelatihan warisan untuk merenovasi.Dia menekankan bahwa sistem penyimpanan dan pelatihan lama tidak dapat diperbaiki untuk kemacetan cache KV., karena mereka dirancang untuk paradigma beban kerja usang. Tujuan dibangun untuk efisiensi inferensi GPU, Inferra telah divalidasi nilai dalam program beta pelanggan,memperluas vendor's NVMe atas inovasi TCP untuk memecahkan titik nyeri inferensi modern.

Didukung oleh algoritma prefetching yang dioptimalkan oleh KV-cache, Inferra secara proaktif memuat data cache KV yang akan datang sebelum permintaan GPU.hingga 16 kali lebih banyak sesi inferensi bersamaan pada perangkat keras GPU yang ada dengan kepatuhan SLA yang ketat (tidak diperlukan peningkatan perangkat keras); peningkatan latensi hingga 100 kali dan dukungan untuk jendela konteks 10 juta token, memotong TTFT dan TPOT melalui prefetching keadaan perhatian prediktif alih-alih perhitungan ulang;dan pengasingan penyewa yang aman dengan manajemen cache KV terpadu cerdas untuk kelompok kesimpulan bersama.

Inferra mendefinisikan kembali ekonomi kesimpulan dengan memvirtualisasi memori GPU di seluruh memori dan penyimpanan multi-tier, mengubah KV yang terfragmentasi menjadi lapisan data yang cerdas dan persisten.Digunakan pada server ¢ subsistem x86, ini memantau aktivitas blok cache KV dan memanfaatkan mesin Sub-Linear Sparse Attention Prefetch (SLSAP).mengurutkan dan memprioritaskan blok KV yang sering digunakan kembali, termasuk token terbaru, konten semantik yang mirip dan pola struktural dalam obrolan multi-turn dan alur kerja RAG.Sistem mengambil blok yang ditargetkan dari DRAM server atau SSD eksternal dan pra-muat mereka ke GPU HBM melalui RDMA.

Chief Product & Technology Officer OVH Yaniv Fdida memverifikasi Inferra memberikan keuntungan penggunaan GPU yang substansial, memungkinkan agen AI dan infrastruktur beban kerja RAG yang dapat diskalakan dan hemat biaya.

Hasil benchmark publik mengkonfirmasi peningkatan kinerja drastis: Qwen 2.5-7B (410K konteks) mempercepat 102 × (72.6s → 711ms); DeepSeek-R1-70B (141K konteks) meningkatkan 152 × (70.8s → 465ms);Llama-4-Scout (konteks 10M) mencapai 380 kali lompatan (1.5 jam → 13 s).

Hardware-agnostik dan kompatibel dengan semua arus utama kerangka inferensi open source, Inferra mendukung plugin Dynamo, vLLM dan LMCache.memberikan skala TTFT sub-linear relatif terhadap panjang konteks, sementara pesaing termasuk DDN, VAST Data dan WEKA hanya menawarkan skala linier atau streaming reaktif.sebuah patokan yang tidak dapat disamakan oleh vendor saingan.

SVP Produk dan Bisnis AI Lightbits Labs Ramesh Chettuvetty menyatakan Inferra memberikan penghematan TCO langsung,Menghilangkan keterlambatan inferensi konteks panjang dan memberdayakan perusahaan untuk menjalankan model yang lebih besar dan beban kerja dialog yang lebih panjang dengan biaya infrastruktur yang lebih rendahPengguna dapat menilai manfaat optimasi biaya inferensi Inferra melalui platform evaluasi efisiensi publik vendor.Inferra mencapai akselerasi cache 100× hingga 280× KV pada beban kerja SSD penyimpanan komputasi.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Direktur Strategi Global
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Situs web: www.qianxingdata.com/www.storagesserver.com
Fokus Bisnis:
Distribusi Produk ICT/Integrasi Sistem & Layanan/Solusi Infrastruktur
Dengan 20+ tahun pengalaman distribusi TI, kami bermitra dengan merek global terkemuka untuk memberikan produk yang dapat diandalkan dan layanan profesional.
¢Menggunakan Teknologi untuk Membangun Dunia yang Cerdas ¢Penyedia Layanan Produk ICT yang Anda Percayai!