Perusahaan manajemen data tidak terstruktur, Komprise, telah mengembangkan teknologi yang dipatenkan yang mampu memisahkan kumpulan data besar yang tidak terstruktur secara dinamis. Solusi ini mendistribusikan beban kerja ke beberapa mesin komputasi selama transmisi data ke GPU pemrosesan AI, sehingga secara signifikan mempercepat kecepatan pemrosesan secara keseluruhan.
Tercatat resmi sebagai paten US-12566637-B2, teknologi Komprise Elastic Shares (KES) diserahkan oleh CTO Komprise Michael Peercy dan tim risetnya. Judul formalnya adalah “Sistem dan metode untuk membagi pohon yang tidak diketahui untuk pelaksanaan operasi oleh beberapa mesin komputasi.”
Peercy menyatakan: "Elastic Shares memungkinkan klien kami memanfaatkan sepenuhnya sumber daya komputasi, memori, dan jaringan yang berharga. Teknologi ini memberikan peningkatan kinerja yang hampir linier, membantu perusahaan mendapatkan keunggulan kompetitif yang menonjol."
Untuk kumpulan data berskala petabyte yang dikirimkan ke server AI untuk analitik, inferensi LLM, atau komputasi agen AI, mesin komputasi tunggal memerlukan waktu berjam-jam untuk melintasi pohon direktori atau prefiks penyimpanan objek. Mesin komputasi dapat didefinisikan sebagai server independen, thread individual, grup thread, proses atau kluster proses, dengan prinsip operasional yang konsisten di semua skenario. Meskipun pengguna dapat menggunakan beberapa mesin untuk komputasi paralel terlebih dahulu, alokasi statis sering kali menyebabkan inefisiensi. Ukuran cabang yang tidak merata mengakibatkan node komputasi tertentu menyelesaikan lebih awal dan tetap menganggur sambil menunggu node yang lebih lambat menyelesaikan tugas yang diberikan.
Paten Komprise US-12566637-B2.
Tim Peercy menemukan penjadwal pekerjaan cerdas yang tertanam dalam salah satu mesin komputasi untuk memantau status node secara real time. Saat tugas pemrosesan data dimulai, beban kerja pada awalnya dialokasikan ke seluruh mesin komputasi yang tersedia. Setelah node mana pun menyelesaikan partisi yang ditugaskan, node tersebut kembali ke kumpulan sumber daya untuk menerima tugas yang tertunda. Mekanisme ini menghilangkan waktu menganggur, terus menugaskan beban kerja baru ke node komputasi bebas, dan memperpendek durasi pemrosesan secara keseluruhan.
Menurut postingan blog resmi Komprise, KES secara dinamis mendistribusikan ulang beban kerja data tidak terstruktur di seluruh cluster server secara streaming. Teknologi ini mencapai percepatan hampir linier untuk pemrosesan data berskala besar tanpa memerlukan informasi yang diperoleh sebelumnya mengenai kapasitas kumpulan data, struktur internal, atau latensi pemrosesan.
Sederhananya: setiap node komputasi secara otomatis menerima tugas baru segera setelah menyelesaikan tugas saat ini, mempertahankan pemanfaatan sumber daya secara penuh hingga seluruh tugas data selesai.
Michael Peercy.
Dokumentasi paten menunjukkan bahwa tugas migrasi data skala besar antara server file atau volume penyimpanan sering kali menghadapi kendala waktu yang ketat. Node komputasi tunggal, baik thread, proses, atau server mandiri, tidak memiliki throughput yang cukup untuk menyelesaikan beban kerja berat dengan cepat, sehingga pemrosesan paralel multi-mesin menjadi solusi penting.
Dokumen tersebut lebih lanjut menjelaskan bahwa struktur pohon direktori hanya dapat diidentifikasi selama traversal rekursif dari node akar ke node daun. Dalam beberapa kasus, data harus diproses dalam urutan yang tetap, seperti memprioritaskan direktori induk sebelum subfolder dan file. Hal ini memerlukan segmentasi beban kerja dinamis secara real-time, bukan partisi statis kaku, yang harus beradaptasi dengan arsitektur data yang beragam dan tidak diketahui.
Teknologi yang dipatenkan ini berlaku untuk file, folder, objek penyimpanan, dan awalan objek. Meskipun awalnya dirancang untuk server fisik independen, namun kompatibel dengan semua bentuk mesin komputasi, termasuk thread, proses, dan cluster layanan backend.
Komprise menyoroti tiga keunggulan inti yang dibawa oleh teknologi KES:
-
Partisi tugas dinamis: Sumber daya komputasi bernilai tinggi secara instan ditugaskan kembali dengan tugas-tugas baru setelah tidak digunakan lagi.
-
Pemrosesan data buta: Sistem ini mendukung komputasi kumpulan data tanpa terlebih dahulu mengetahui ukuran data, struktur internal, dan latensi pemrosesan variabel, sehingga sangat sesuai dengan skenario transmisi data streaming AI.
-
Penyeimbangan kembali sumber daya yang cerdas: Secara otomatis mengoptimalkan strategi alokasi untuk beradaptasi dengan hierarki data tidak terstruktur dengan kepadatan cabang yang tidak dapat diprediksi.
Teknologi inovatif yang dipatenkan ini memberikan optimalisasi yang praktis dan efisien untuk komputasi data tidak terstruktur berskala besar.
Beijing Qianxing Jietong Technology Co, Ltd.
Sandy Yang/Direktur Strategi Global
WhatsApp / WeChat: +86 13426366826
Surel: yangyd@qianxingdata.com
Situs web: www.qianxingdata.com/www.storagesserver.com
Fokus Bisnis:
Distribusi Produk TIK/Integrasi Sistem & Layanan/Solusi Infrastruktur
Dengan pengalaman distribusi TI selama lebih dari 20 tahun, kami bermitra dengan merek global terkemuka untuk menghadirkan produk yang andal dan layanan profesional.
“Menggunakan Teknologi untuk Membangun Dunia Cerdas”Penyedia Layanan Produk TIK Tepercaya Anda!
Pesan Anda harus antara 20-3.000 karakter!
Indonesian
