Zilliz meluncurkan Milvus v3.0, database vektor sumber terbukanya, menambahkan akses data asli danau dan mesin pengambilan yang ditingkatkan untuk pengembang AI produksi.
Arsitektur Lake-native menyimpan data mentah dalam format terbuka di penyimpanan objek cloud alih-alih menduplikasinya ke database mandiri. Zilliz meluncurkan konsep Vector Lakebase pada pratinjau publik bulan Juni; CEO Charles Xie menggambarkannya sebagai landasan data terpadu yang memungkinkan kueri real-time, eksplorasi data, dan jalur pelatihan AI multi-petabyte tanpa salinan data, migrasi, atau tumpukan penyimpanan paralel. Lapisan penyimpanan objek terpadu mendukung pencarian vektor online berlatensi rendah dan analisis skala besar pada file sumber yang identik.
Co-founder & CTO Zilliz James Luan berkomentar: "Milvus 3.0 menjalankan pengambilan produksi langsung di atas penyimpanan data yang ada dan memberikan mesin yang lebih kuat untuk beban kerja AI modern. Inti yang sama ini mendukung Zilliz Vector Lakebase, ditingkatkan dengan penskalaan elastis, operasi yang disederhanakan, dan peralatan tingkat perusahaan untuk manajemen data AI skala besar."
Basis data vektor menyimpan penyematan vektor numerik untuk teks, gambar, dan konten lainnya untuk mendukung pencarian kesamaan. Zilliz menyatakan Milvus adalah database vektor sumber terbuka yang paling banyak digunakan di dunia, diadopsi oleh lebih dari 10.000 perusahaan untuk RAG, mesin rekomendasi, dan agen AI, dengan lebih dari 100 juta penarikan Docker tercatat.
Pipeline AI tradisional menyimpan salinan data terpisah untuk pengambilan real-time dan analisis offline, sehingga menimbulkan biaya penyimpanan ekstra, ekspor data yang panjang, pipeline sinkronisasi, dan overhead operasional yang besar.
Kemampuan Inti Milvus 3.0
1. Koleksi Eksternal: Buat koleksi Milvus melalui file danau di Lance, Iceberg, Parket, atau Vortex. Sistem ini membangun indeks vektor, teks lengkap, JSON, dan skalar pada data sumber tanpa duplikasi, memaparkannya melalui API asli standar. Sinkronisasi tambahan secara otomatis memperbarui indeks seiring perubahan data danau.
2. Mesin Penyimpanan Loon: Mesin berbasis manifes baru yang memotong amplifikasi baca untuk pencarian penyimpanan objek latensi rendah, menggunakan Vortex terbuka yang kompatibel dengan Arrow sebagai format kolom default.
3. Cuplikan Tepat Waktu: Snapshot koleksi read-only yang ringan memungkinkan pekerjaan deduplikasi, evaluasi, dan validasi offline berjalan pada kumpulan data yang stabil tanpa mengganggu penulisan produksi.
4. Konektor Percikan & Operator Batch: Konektor Spark DataSource V2 mengintegrasikan Milvus dengan alur kerja batch Spark, Databricks, dan EMR, bersama dengan fungsi batch vektor asli untuk deduplikasi dan pengelompokan.
Pencarian vektor Top-K standar hanya mengambil vektor yang paling mirip berdasarkan penghitungan jarak, mengalami penskalaan yang buruk dengan jumlah dan dimensi vektor yang tinggi. Milvus 3.0 memperluas pengambilan jauh melampaui pencarian dasar tetangga terdekat:
1. Penyortiran sisi server, agregasi, dan pencarian segi menggabungkan kesamaan semantik dengan filter metadata (stempel waktu, harga, kategori, penyewa, dll.), menghilangkan pemrosesan pasca sisi klien.
2. Pengambilan multi-vektor StructList mendukung entitas dengan banyak penyematan (potongan dokumen, patch gambar, data produk multimodal) dan bekerja dengan model interaksi akhir seperti ColBERT dan ColPali.
3. Indeks renggang yang dioptimalkan mengurangi jejak penyimpanan sebesar ~70% sekaligus mencocokkan kinerja penarikan asli, dipasangkan dengan vektor renggang yang dipelajari SINDI, MinHash bawaan, bidang vektor yang dapat dibatalkan, kamus teks lengkap khusus, dan kompatibilitas indeks Faiss yang lebih luas.
Luan menambahkan bahwa beban kerja AI produksi memerlukan pemeringkatan, pengelompokan, dan pencarian multi-vektor secara asli dalam database, dan penyimpanan yang dikerjakan ulang v3.0 untuk memberikan akses penyimpanan objek yang cepat serta pemrosesan dalam mesin yang lebih kaya.
Inti terpadu ini mendukung Milvus sumber terbuka yang dihosting sendiri dan Zilliz Cloud yang dikelola sepenuhnya. Zilliz Cloud memperluas mesin dasar menjadi Vector Lakebase lengkap dengan komputasi elastis, alat penemuan, analisis batch, pengindeksan terpadu, tata kelola perusahaan, dan otomatisasi pada satu sumber data AI.
Konteks Kompetitif Industri
Pembaruan ini meningkatkan tekanan pada pesaingnya, Pinecone, Qdrant, dan Weaviate, yang semuanya berlomba untuk mengurangi latensi pencarian: Qdrant meluncurkan pengindeksan yang lebih cepat, cluster ketersediaan tinggi, dan log audit kepatuhan pada bulan April; Pinecone meluncurkan kumpulan vektor yang telah dihitung sebelumnya dan pengambilan yang dapat dikomposisi pada bulan Mei untuk mempercepat alur kerja agen.
Vendor database vektor murni bersaing dengan platform multi-model termasuk Regatta, SingleStore, dan SurrealDB. Meskipun mereka berintegrasi dengan lakehouse seperti Databricks dan Snowflake, kemitraan lintas database yang lebih dalam menghadapi hambatan arsitektur dan mesin penyimpanan. Pasar mungkin melihat pemain vektor menambahkan dukungan terstruktur, grafik, dokumen, atau deret waktu asli dari waktu ke waktu.
Tersedianya
Milvus 3.0 tetap merupakan proyek kelulusan LF AI & Data di bawah lisensi Apache 2.0, dapat diterapkan melalui Docker atau Kubernetes termasuk lingkungan dengan celah udara, dengan kompatibilitas untuk penyimpanan objek S3, GCS, dan Azure Blob. Cakupan SDK awal mencakup Python, Go dan Node.js, dengan dukungan Java yang akan datang. Kode sumber, catatan rilis, dan panduan memulai cepat dihosting di GitHub, bersamaan dengan jam kerja komunitas untuk dukungan pengembang.
Zilliz Cloud yang Dikelola menyematkan Milvus 3.0 sebagai lapisan pengindeksan intinya, menambahkan elastisitas, keamanan, dan operasi terpadu perusahaan di seluruh salinan data bersama.
Catatan kaki
Koleksi Eksternal menerapkan pengindeksan zero-copy lake tanpa migrasi data; Loon mengatasi hambatan amplifikasi baca yang sebelumnya membatasi penyimpanan objek untuk kueri vektor latensi rendah.
Beijing Qianxing Jietong Technology Co, Ltd.
Sandy Yang/Direktur Strategi Global
WhatsApp / WeChat: +86 13426366826
Surel: yangyd@qianxingdata.com
Situs web: www.qianxingdata.com/www.storagesserver.com
Fokus Bisnis:
Distribusi Produk TIK/Integrasi Sistem & Layanan/Solusi Infrastruktur
Dengan pengalaman distribusi TI selama lebih dari 20 tahun, kami bermitra dengan merek global terkemuka untuk menghadirkan produk yang andal dan layanan profesional.
“Menggunakan Teknologi untuk Membangun Dunia Cerdas”Penyedia Layanan Produk TIK Tepercaya Anda!
Pesan Anda harus antara 20-3.000 karakter!
Indonesian
