Spesifikasi DapuStor J5060

Kinerja DapuStor J5060

Checkpointing

Untuk mengevaluasi kinerja dunia nyata SSD DapuStor J5060 di lingkungan pelatihan AI, kami menggunakan alat benchmark Data and Learning Input/Output (DLIO). Dikembangkan oleh Argonne National Laboratory, DLIO dirancang khusus untuk menguji pola I/O dalam beban kerja deep learning. Ini memberikan wawasan tentang bagaimana sistem penyimpanan menangani tantangan seperti checkpointing, penyerapan data, dan pelatihan model. Bagan di bawah ini menggambarkan bagaimana kedua drive menangani proses di 99 checkpoint. Saat melatih model machine learning, checkpoint sangat penting untuk menyimpan status model secara berkala, mencegah hilangnya kemajuan selama interupsi atau kegagalan daya. Permintaan penyimpanan ini membutuhkan kinerja yang kuat, terutama di bawah beban kerja yang berkelanjutan atau intensif.

Platform yang dipilih untuk pekerjaan ini adalah Dell PowerEdge R760 kami yang menjalankan Ubuntu 22.04.02 LTS. Kami menggunakan benchmark DLIO versi 2.0 dari rilis 13 Agustus 2024. Konfigurasi sistem kami diuraikan di bawah ini:

• 2 x Intel Xeon Gold 6430 (32-Core, 2.1GHz)
• 16 x 64GB DDR5-4400
• 480GB Dell BOSS SSD
• Kabel Serial Gen5 JBOF
  • 61,44TB Dapustor J5060
  • 61,44TB Solidigm D5-P5336

Untuk memastikan benchmarking kami mencerminkan skenario dunia nyata, kami mendasarkan pengujian kami pada arsitektur model LLAMA 3.1 405B. Kami mengimplementasikan checkpointing menggunakan torch.save() untuk menangkap parameter model, status optimizer, dan status layer. Pengaturan kami mensimulasikan sistem 8-GPU, mengimplementasikan strategi paralelisme hibrida dengan pemrosesan paralel tensor 4-arah dan paralel pipeline 2-arah yang didistribusikan di delapan GPU. Konfigurasi ini menghasilkan ukuran checkpoint 1.636GB, yang mewakili persyaratan pelatihan model bahasa besar modern.

Secara keseluruhan, Dapustor J5060 menunjukkan konsistensi yang solid selama fase awal pengujian, dengan waktu berkisar sekitar 575,66 detik untuk 33 checkpoint pertama. 5060J mampu mempertahankan kinerja yang lebih tinggi sebelum drive terisi untuk pertama kalinya. Di sisi lain, Solidigm P5336, meskipun awalnya lebih lambat dari J5060, menunjukkan kinerja yang konsisten seiring berlanjutnya pengujian.

Saat mempertimbangkan rata-rata keseluruhan, Dapustor J5060 mencatat waktu 769,44 detik, sementara Solidigm P5336 selesai dalam 640,17 detik. Ini menempatkan Solidigm P5336 di depan dalam hal menyimpan checkpoint lebih cepat.

Secara keseluruhan, Dapustor J5060 menangani operasi yang lebih pendek dengan baik tetapi kesulitan dengan tulis berkelanjutan di atas 30 menit. Sementara itu, Solidigm P5336 adalah drive yang lebih baik untuk kinerja yang konsisten sepanjang tugas yang diperpanjang. Kinerja tulis yang lebih lemah dari Dapustor J5060 ini terlihat ketika kecepatan checkpointing-nya menurun seiring berlanjutnya pengujian.

GPU Direct Storage

GPU Direct Storage adalah teknologi yang memungkinkan transfer data langsung antara perangkat penyimpanan dan GPU, melewati CPU dan memori sistem. Dalam transfer data tradisional, data dibaca dari penyimpanan ke memori CPU dan kemudian disalin ke memori GPU. Proses ini melibatkan beberapa penyalinan data, yang menyebabkan peningkatan latensi dan penurunan kinerja. CPU bertindak sebagai hambatan, karena perlu menangani transfer data antara penyimpanan dan GPU. GDS menghilangkan hambatan ini dengan secara langsung memungkinkan perangkat penyimpanan untuk mentransfer data ke dan dari memori GPU.

Kami secara sistematis menguji setiap kombinasi parameter berikut dalam beban kerja baca dan tulis:

• Ukuran Blok: 1M, 128K, 16K
• Kedalaman I/O: 128, 64, 32, 16, 8, 4, 1

Saat kami meninjau hasil GDSIO kami, kami memeriksa kinerja baca dan tulis Dapustor J5060 61,44TB dan Solidigm P5336.

Kinerja Baca Sekuensial GDSIO

Dapustor J5060 mencapai throughput baca puncak 4,2 GiB/s pada ukuran blok 1M dengan kedalaman I/O 64 dan 128. Pada ukuran blok terkecil (16K), kinerja berkisar dari 0,1 GiB/s hingga 0,8 GiB/s seiring peningkatan kedalaman I/O. Ini menunjukkan preferensi yang jelas untuk ukuran blok yang lebih besar dengan kedalaman I/O tinggi untuk throughput optimal. Kinerja puncak dicapai pada ukuran blok besar, menunjukkan efisiensi drive dalam menangani transfer data massal.

Secara komparatif, Solidigm P5336 mencapai throughput maksimum yang serupa sebesar 4,3 GiB/s pada ukuran blok yang sama (1M) tetapi mencapai kinerja itu lebih awal pada kedalaman I/O 32 dan mempertahankannya secara konsisten pada kedalaman I/O yang lebih tinggi. Ini menunjukkan efisiensi yang sedikit lebih baik dalam menangani ukuran blok besar pada rentang kedalaman I/O yang lebih luas untuk Solidigm P5336.

Untuk memberikan pandangan perbandingan yang lebih baik, kami memiliki bagan diferensial yang membandingkan kedua drive. Blok warna hijau yang lebih terang menunjukkan keunggulan SSD Dapustor, sementara blok yang bergerak ke sisi merah spektrum menunjukkan kelemahan. Di sini, J5060 mengungguli P5336 dalam ukuran blok 128K kecuali untuk kedalaman I/O 4 hingga 8. Namun, penurunan throughput dicatat pada kedalaman I/O yang lebih tinggi dengan ukuran blok 16K dan 1M, menunjukkan efisiensi yang lebih rendah dalam skenario tersebut.

Dalam perbandingan latensi baca sekuensial, Solidigm P5336 secara konsisten mempertahankan latensi yang lebih rendah daripada Dapustor J5060 di hampir semua ukuran blok dan kedalaman I/O. Pada ukuran blok 16K, kesenjangan menjadi lebih jelas seiring peningkatan kedalaman antrian: J5060 mencapai puncak pada 2.329 μs pada kedalaman 128, sementara P5336 tetap lebih rendah pada 1.365 μs. Pada 128K, Solidigm kembali memimpin di sebagian besar kedalaman, dengan pengecualian pada beban tinggi (4.080 μs pada J5060 versus 5539 μs pada P5336) pada kedalaman 128. Pada ukuran blok 1M, kedua drive mengalami peningkatan latensi seperti yang diharapkan, tetapi P5336 tetap sedikit lebih terkontrol, dengan 29.138 μs versus 29.512 μs pada kedalaman antrian tertinggi.

Kinerja Tulis Sekuensial GDSIO

Dapustor J5060 menunjukkan throughput tulis yang konsisten dari 2,7 hingga 2,8 GiB/s untuk ukuran blok 128K dan 1M di semua kedalaman I/O (kecuali 128K, ukuran kedalaman I/O 1, yang mencatat 2,2 GiB/s. Untuk ukuran blok 16K, kinerja berkisar dari 0,5 GiB/s hingga 1,4 GiB/s, tergantung pada kedalaman I/O, mencapai puncak pada 1,4 GiB/s pada kedalaman I/O yang lebih tinggi.

Sebagai perbandingan, Solidigm P5336 berkinerja lebih baik selama ukuran blok 128K dan 1M, mencapai puncak pada 3,2 GiB/s. Untuk ukuran blok yang lebih kecil (16K), Solidigm P5336 juga menunjukkan kinerja yang lebih tinggi, mencapai puncak 1,4 GiB/s pada kedalaman I/O 16 hingga 64. Ini menunjukkan bahwa Solidigm P5336 sedikit lebih efisien dengan ukuran blok yang lebih kecil selama operasi tulis.

Beralih ke tampilan diferensial, kita melihat kesenjangan yang lebih besar antara Dapustor J5060 dan kinerja tulis Solidigm P5336. Perbandingan throughput kami menunjukkan bahwa J5060 tertinggal dari P5336 di sebagian besar area, terutama dengan ukuran blok besar (1M) di semua kedalaman I/O. Penurunan throughput mencapai -0,5 GiB/s pada kedalaman I/O 4. Meskipun ada peningkatan kinerja pada kedalaman I/O yang lebih tinggi dengan ukuran blok 128K, mereka tidak cukup signifikan untuk mengimbangi kinerja yang lebih rendah secara luas.

Saat membandingkan latensi tulis sekuensial antara Dapustor J5060 dan Solidigm P5336, kedua drive menunjukkan perilaku yang serupa pada ukuran blok yang lebih kecil seperti 16K, dengan Solidigm memiliki keunggulan tipis pada kedalaman I/O yang lebih rendah, sementara Dapustor menutup kesenjangan pada kedalaman yang lebih tinggi (64 dan 128). Pada ukuran blok 128K, Solidigm kembali memimpin pada kedalaman antrian yang dangkal, tetapi Dapustor secara konsisten memberikan latensi yang lebih rendah seiring peningkatan kedalaman I/O, menunjukkan penskalaan yang lebih baik di bawah beban. Namun, dengan ukuran blok 1M, Solidigm mempertahankan keunggulan latensi yang jelas di semua kedalaman I/O, menunjukkan waktu respons yang secara signifikan lebih cepat di bawah beban kerja tulis sekuensial yang berat. Secara keseluruhan, Solidigm berkinerja lebih konsisten, sementara kekuatan Dapustor lebih terlihat pada blok berukuran sedang dan antrian yang lebih dalam.

Ringkasan Beban Kerja FIO

Flexible I/O Tester (FIO) adalah alat benchmark standar industri yang digunakan untuk mengukur kinerja perangkat penyimpanan di bawah berbagai skenario beban kerja. Dipercaya karena fleksibilitas dan keandalannya, FIO mensimulasikan kondisi dunia nyata, memberikan wawasan tentang kemampuan dan batas kinerja SSD. StorageReview memanfaatkan FIO untuk menawarkan analisis komprehensif, mengukur throughput, latensi, dan IOPS di seluruh pola beban kerja, ukuran blok, dan kedalaman antrian.

Beban kerja yang diterapkan:

• Baca dan Tulis Sekuensial 128K
• Baca dan Tulis Acak 64K
• Baca dan Tulis Acak 16K
• Baca dan Tulis Acak 4K

Beban kerja ini mewakili spektrum luas kasus penggunaan enterprise, termasuk transfer sekuensial besar, I/O acak intensif yang khas dari database, dan akses acak blok kecil yang umum terlihat di lingkungan virtualisasi.

Bagian kinerja ini merangkum kinerja Dapustor J5060 di seluruh beban kerja sintetis utama, termasuk operasi baca/tulis sekuensial dan acak pada berbagai ukuran blok dan kedalaman antrian. Metrik diekstraksi langsung dari output fio yang diurai dan mencakup bandwidth (MB/s), IOPS, dan persentil latensi hingga 99,9999%, menawarkan wawasan tentang throughput dan perilaku ekor di bawah beban.

Kinerja Baca dan Tulis Sekuensial 128K

Dapustor J5060 memberikan kinerja baca sekuensial yang mengesankan pada 128K, mencapai 7,48 GB/s dengan kontrol latensi yang ketat, bahkan pada persentil yang lebih tinggi. Dibandingkan dengan Solidigm P5336, throughput J5060 pada dasarnya sama (7,48 GB/s vs. 7,47 GB/s). Namun, Solidigm memiliki keunggulan tipis dalam konsistensi latensi, menunjukkan latensi ekor yang sedikit lebih rendah.

Pada tulis sekuensial 128K (QD16), J5060 mencapai kinerja solid 3.023MB/s dengan latensi yang sangat rendah. Namun, Solidigm P5336 melampaui ini dengan margin sedang, mencapai 3.364MB/s, meskipun dengan latensi yang lebih tinggi, terutama pada persentil ke-99,99% (4,42ms vs. 0,70ms Dapustor yang sangat rendah). Ini menunjukkan bahwa J5060 adalah kandidat yang lebih kuat untuk skenario tulis sekuensial yang sensitif terhadap latensi.

Kinerja Baca dan Tulis Acak 64K

Dalam baca acak 64K (QD256), Dapustor J5060 unggul dengan throughput mendekati 7,4 GB/s dan latensi yang terkontrol dengan baik. Hasil Solidigm sangat cocok (7,47 GB/s), dengan latensi persentil maksimum yang sedikit lebih baik. Kedua drive berkinerja luar biasa di sini, dengan perbedaan praktis minimal.

Kinerja tulis pada acak 64K adalah di mana J5060 jelas kesulitan, dengan throughput turun tajam menjadi 534MB/s dan latensi meningkat secara signifikan (742,39ms pada 99,99%). Sebagai perbandingan, Solidigm P5336 secara signifikan mengungguli J5060, memberikan 857MB/s dan latensi yang jauh lebih rendah (221,24ms pada persentil yang sama), membuatnya jauh lebih cocok untuk aplikasi yang sensitif terhadap latensi dan throughput tulis berkelanjutan.

Kinerja Baca dan Tulis Acak 16K

Pada beban kerja baca acak 16K (QD256), Dapustor mencapai hasil yang sangat baik dengan 453K IOPS dan latensi yang terkontrol. Solidigm P5336 pada dasarnya mencerminkan kinerja ini, sedikit mengungguli Dapustor dalam latensi (5,47ms vs. 8,16ms pada 99,99%), menunjukkan konsistensi latensi yang sedikit lebih baik untuk Solidigm dalam skenario baca acak yang berat.

Kinerja tulis acak 16K SSD Dapustor turun secara signifikan menjadi 32K IOPS, dan latensi meningkat menjadi 181,4ms (99,99%). Di sini lagi, Solidigm secara signifikan mengungguli drive Dapustor, memberikan 51,7K IOPS dan profil latensi yang jauh lebih baik (71,8ms pada 99,99%), menggarisbawahi keunggulan Solidigm untuk beban kerja tulis acak yang sensitif terhadap latensi.

Kinerja Baca dan Tulis Acak 4K