NetApp akan mengakuisisi DataPelago, pencipta Nucleus Universal Data Processing Engine (UDPE) yang mempercepat komputasi heterogen untuk analisis dan AI generatif.
Dibangun pada open-source Gluten, Velox dan Substrait, Nucleus secara drastis mempercepat Spark dan Trino untuk memberikan kinerja biaya yang luar biasa.TabelDidirikan pada tahun 2021 oleh CEO Rajan Goyal dan CPO Anand Iyer, DataPelago keluar dari siluman pada Oktober 2024 dan mengumpulkan total lebih dari $ 75 juta,termasuk $ 47 juta 2024 putaran pembiayaan.
CEO NetApp George Kurian menyatakan bahwa kemajuan perangkat keras AI menuntut infrastruktur data yang sama-sama mampu untuk membuka nilai data perusahaan,dan akuisisi ini memperkuat kemampuan NetApp untuk memberikan pemrosesan data yang lincah untuk diferensiasi kompetitif.
Sebuah blog DataPelago mencatat Nucleus akan tertanam secara asli dalam platform data NetApp, memungkinkan adopsi perusahaan yang jauh lebih luas daripada yang bisa dicapai startup secara independen.DataPelago menempati peringkat keempat dalam Ilmu Data pada daftar Perusahaan Paling Inovatif Dunia 2026 Fast Company.
Tidak seperti arsitektur tradisional yang memindahkan dataset ke cluster CPU / GPU eksternal, Nucleus menjalankan perhitungan dipercepat langsung di tingkat penyimpanan.Proyeksi 5x lebih cepatDiposisikan di antara mesin kueri (Spark, Trino, Flink) dan kerangka kerja Python (Ray, Dask), tumpukan ini memiliki tiga lapisan modular:
1.DataApp: Modul integrasi pluggable untuk menyuntikkan akselerasi ke Spark, Trino dan mesin lainnya.
2.DataOS: Lapisan orkestrasi secara dinamis memetakan tugas data ke akselerator campuran untuk penyesuaian kinerja yang terukur.
3.DataVM: Mesin virtual khusus dengan ISA khusus domain, menawarkan abstraksi eksekusi terpadu untuk CPU, GPU, FPGA dan silikon khusus.
Aliran Eksekusi Data Inti
1. Akses data melalui konektor kerangka: Dilisensikan sebagai plugin Spark JAR yang kompatibel dengan konektor data standar, mendukung Parquet, ORC, Iceberg, Delta Lake, JSON dan target penyimpanan termasuk S3, GCS,ADLS, HDFS dan array on-prem. Akselerasi meluas ke integrasi penyimpanan sambil mempertahankan semantik query asli melalui lapisan I/O mesin standar.
2Perencanaan dan pengoptimalan kueri: Mesin host menghasilkan rencana fisik; DataApp mengubahnya menjadi representasi perantara melalui Gluten / Substrait.Optimizer cerdas membangun grafik aliran data yang optimal dan mengalokasikan sumber daya CPU / GPU untuk eksekusi DataOS / DataVM.
3Optimasi transfer data lintas perangkat keras: Operator / kernel fusi dan streaming eksekusi menghilangkan materialisasi menengah penuh untuk memotong I / O overhead.Memori bersama dengan salinan nol mengurangi duplikasi data CPU-GPU, sementara DataVM's ISA memanfaatkan LLVM, CUDA dan ROCm untuk mengarahkan tugas ke perangkat keras optimal melalui pemrosesan vektor kolom.Perbaikan ini meningkatkan pemanfaatan GPU menjadi 80~90% dengan meminimalkan pencampuran data lintas domain.
Nucleus beroperasi di lokasi dan di seluruh awan publik utama. akselerator Spark-nya memberikan keuntungan throughput 3×4x dibandingkan dengan Databricks Photon;juga terintegrasi dengan Snowflake dengan mempercepat pemrosesan format open table dan pipa upstream / downstream Spark / Trino yang memberi makan gudangDataPelago menyatakan Nucleus mengurangi biaya infrastruktur hingga 80% dan memberikan kinerja 10x lebih cepat daripada pipa lama. Dengan menghilangkan duplikasi data wajib antara sistem operasional dan AI,ini menghilangkan hambatan utama yang memperlambat peluncuran AI perusahaan, dengan penyebaran langsung di perusahaan global besar di seluruh vertikal.
CEO DataPelago Rajan Goyal mengatakan misi inti perusahaan adalah menyelesaikan kemacetan pemrosesan data yang menghambat inovasi AI.Merger dengan NetApp memasangkan teknologi akselerasi terobosan dengan portofolio infrastruktur data NetApp yang luas; perusahaan telah berinvestasi besar-besaran dalam GPU dan model namun menderita silo data terfragmentasi yang meninggalkan perangkat keras yang kurang dimanfaatkan, dan tumpukan gabungan merampingkan penyebaran AI skala besar.
NetApp membingkai akuisisi ini sebagai peningkatan portofolio penting, membawa pemrosesan dipercepat GPU langsung ke alur kerja penyimpanan untuk memberikan aktivasi data perusahaan nol salinan sejati untuk AI.Transaksi keuangan tetap tidak diungkapkan; mengingat daya tarik perusahaan Nucleus, sinergi yang erat dengan NetApp AIDE dan meningkatnya permintaan agen AI, valuasi pembelian kemungkinan mendarat di 4 ¢ 5 kali lipat dari total dana DataPelago ¢ $ 75M.DataPelago akan beroperasi sebagai anak perusahaan NetApp yang sepenuhnya dimiliki.
Perbedaan utama: Nucleus vs KV Cache vs NetApp AIDE
1.Nucleus dan diferensiasi KV Cache: Nucleus mengoptimalkan pengambilan data pra-inferensi, transformasi dan kueri sebelum data mencapai server GPU.Nvidia's KV Cache adalah optimasi memori dalam GPU yang aktif hanya setelah data tiba di perangkat keras GPU untuk meningkatkan efisiensi generasi token. Nucleus mempercepat pengiriman data ke komputer; KV Cache mengoptimalkan waktu pelaksanaan model setelah data mendarat di akselerator.
2.NetApp AIDE vs Nucleus UDPE: AIDE adalah preprocessing AI terkunci ONTAP/AFX untuk LLM dan agen, berfungsi sebagai ETL eksklusif dengan database vektor bawaan, katalog metadata,Pelayanan RAG dan integrasi Nvidia AI Enterprise (termasuk microservices vektorisasi NIM). Nucleus tidak membutuhkan penyimpanan dan mempercepat beban kerja Spark / Trino umum. Mengintegrasikan Nucleus dengan AIDE akan memperkuat transformasi, pelatihan, fine tuning dan pipa kesimpulan,memungkinkan beban kerja lakehouse yang dipercepat langsung pada penyimpanan NetApp AFX; solusi paket AIDE+Nucleus dari ujung ke ujung dapat diprediksi.
NetApp CPO Syam Nair berkomentar Nucleus memberikan akselerasi yang didefinisikan oleh perangkat lunak pada penyimpanan, memungkinkan persiapan data salinan nol, tata kelola dan aktivasi AI di seluruh CPU dan GPU.NetApp mengelola lebih banyak data multi-lingkungan perusahaan daripada pesaing lainnya, dan gelombang selanjutnya dari daya saing AI bergantung pada pengolahan data di sumbernya DATAPelago's tim rekayasa mempercepat peta jalan strategis ini.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Direktur Strategi Global
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Situs web: www.qianxingdata.com/www.storagesserver.com
Fokus Bisnis:
Distribusi Produk ICT/Integrasi Sistem & Layanan/Solusi Infrastruktur
Dengan 20+ tahun pengalaman distribusi TI, kami bermitra dengan merek global terkemuka untuk memberikan produk yang dapat diandalkan dan layanan profesional.
¢Menggunakan Teknologi untuk Membangun Dunia yang Cerdas ¢Penyedia Layanan Produk ICT yang Anda Percayai!
Pesan Anda harus antara 20-3.000 karakter!
Indonesian
