Opsi Backplane NVMe Dell PowerEdge

Dell menawarkan berbagai backplane penyimpanan di server PowerEdge 16G mereka. Saat mengonfigurasi R760, ada hampir 50 opsi sasis drive. Meskipun beberapa di antaranya adalah dukungan lama (misalnya, PERC 11), intinya adalah keputusan sasis adalah keputusan besar. Ini bahkan belum memperhitungkan dukungan SSD NVMe E3.S yang akan datang, yang merupakan satu-satunya cara untuk mendapatkan SSD Gen5 di server PowerEdge. Kami melihat E3.S di Dell PowerEdge R660 jika Anda ingin mempelajari lebih lanjut tentang manfaat faktor bentuk Gen5 dan EDSFF.

Kembali ke tugas yang ada. Untuk ulasan ini, kami ingin memahami implikasi dari memilih opsi Direct Drives Dell dibandingkan dengan opsi kartu HWRAID PERC 12. Seperti yang disebutkan, fokus eksplisit di sini hanya dalam pertimbangan SSD NVMe Gen4 U.2/U.3. Untuk saat ini, kami mengabaikan opsi sasis untuk SATA/SAS dan HDD 3,5 inci. Konfigurasi tersebut jauh lebih mudah.

Di R760, Dell menawarkan beberapa opsi sasis untuk mendapatkan drive NVMe Gen4 onboard. Opsi Direct Drives dapat dikonfigurasi untuk dukungan 8 atau 16 drive. Untuk konfigurasi HWRAID, Dell menawarkan kartu PERC 12 HWRAID dengan cara yang sama, dengan satu kartu RAID untuk setiap batch 8 SSD. Keputusan ini penting karena merupakan dasar untuk memungkinkan R760 yang terisi penuh dengan 16 SSD NVMe mendapatkan kinerja terbaik.

Gambaran Umum Dell PERC 12

Dell PowerEdge RAID Controller (PERC) 12 didasarkan pada silikon Broadcom SAS4116W. Meskipun ada SAS dalam nama produk, pengontrol ini adalah perangkat tri-mode RAID-on-Chip (ROC). Pengontrol RAID yang sama digunakan dalam lini Broadcom MegaRAID. Kami baru-baru ini meninjau MegaRAID 9670W menyoroti kemampuan utama. Namun, dengan Dell PERC 12, perbedaan desain penting berlaku tergantung pada keluarga server dan penyimpanan Dell mana yang Anda minati.

Mengenai PowerEdge, sebagian besar konfigurasi akan memanfaatkan kartu PERC 12 “H965i Front”. Dalam ulasan kami tentang sistem R760 dengan HWRAID, kami memiliki dua kartu H965i Front ini di sistem, satu untuk setiap set 8x Solidigm P5520 SSD. Perlu disebutkan bahwa kartu-kartu ini secara signifikan lebih kecil daripada kartu add-in. Desain PCB dan manajemen termal benar-benar mengesankan. Kartu-kartu ini dipasang langsung ke backplane NVMe 8-drive dan terhubung ke motherboard dengan dua kabel PCIe x8. Ini membebaskan slot PCIe di sisi belakang server untuk perangkat lain.

Berbicara tentang kartu add-in, PERC 12 H965i standar adalah kartu half-height, half-length yang menyertakan kipas onboard. Versi PERC 12 ini akan muncul di beberapa konfigurasi PowerEdge dan juga dapat ditemukan di beberapa Dell PowerVault MD JBODs baru. Terakhir, ada H965i MX, yang merupakan PCB panjang dan sempit yang dirancang untuk sasis modular seperti MX7000.

Dell PERC 11 vs PERC 12

Kartu Dell PERC 11 memang mendukung SSD NVMe, tetapi sayangnya, manfaat RAID perangkat keras datang dengan biaya kinerja yang besar. Pukulan itulah yang membuat industri sangat antusias dengan silikon Broadcom baru dan versi Dell dari kartu tersebut, PERC. Dell telah menerbitkan beberapa angka tentang perbedaan antara PERC 11 dan PERC 12, yang luar biasa.

Manfaat latensi PERC 12 jelas terlihat; tetapi lihat kinerja dalam kondisi terburuk, kinerja selama rebuild. PERC 12 mendapatkan peningkatan beberapa ribu persen, dan bahkan waktu rebuild RAID melihat manfaat yang signifikan.

Melihat angka bandwidth dan IOPS yang dikutip Dell, kita dapat kembali melihat langkah besar yang diambil PERC 12 dibandingkan dengan PERC 11. Di semua lini, semua beban kerja ini melihat peningkatan minimal 2X pada kartu PERC 12. Tentu saja, kami telah melakukan pengujian kami untuk memeriksa kinerja PERC 12, dan kami akan sampai ke sana.

Perbandingan Kinerja Dell Direct Drives vs. Dell PERC 12

Untuk membandingkan kinerja penyimpanan di Direct Drives vs. PERC 12, kami mengonfigurasi server R760 kami “sepupu” dengan Solidigm P5520 SSD 7.68TB. Dell R760 dengan Direct Drives memiliki 8x bay NVMe. R760 dengan PERC 12 memiliki 16x bay NVMe dengan kartu RAID H965i Front ganda.

Sekilas, mungkin tidak jelas ada batasan kinerja tertentu di kedua sisi. Dimulai dengan pendekatan Direct Drives, setiap SSD memiliki koneksi PCIe x4 sendiri, yang berarti delapan SSD memiliki 32 jalur PCIe yang didedikasikan untuk mereka.

Ini memungkinkan bandwidth yang luar biasa, umumnya lebih dari 52GB/s jika setiap drive Gen4 dapat menjenuhkan koneksi 6,5GB/s-nya. Dibandingkan dengan pengaturan PERC 12 H965i, setiap kelompok delapan SSD berinteraksi langsung dengan kartu RAID, yang terhubung kembali ke motherboard dengan koneksi PCIe x16. Ini memotong setengah bandwidth yang didukung konfigurasi Direct Drives. Jadi jelas, koneksi NVMe asli menang? Tidak juga.

Saat berurusan dengan beberapa perangkat NVMe dalam sistem multi-CPU, pemetaan NUMA antara drive dan CPU, serta interupsi sistem, berperan. Ini dapat dioptimalkan tetapi membutuhkan penyetelan yang signifikan. Tidak semua aplikasi memperhitungkan hal ini.

Virtualisasi adalah salah satu area di mana sulit untuk mengelola pemetaan NUMA karena sumber daya bersama diseimbangkan secara real-time, terkadang ke CPU yang mungkin tidak memiliki akses langsung ke sumber daya PCIe yang ditugaskan tersebut. Kartu RAID perangkat keras mengurangi banyak masalah ini dan mengoptimalkan interupsi sistem dan peralihan konteks, yang membebaskan sumber daya CPU. Pemetaan NUMA juga menjadi kurang kompleks, karena alih-alih memiliki 16 SSD individual yang terbagi di dua CPU, Anda hanya memiliki satu kartu penyimpanan per CPU untuk dikelola.

Rencana pengujian kami berfokus pada dua area. Yang pertama adalah beban kerja Vdbench yang mengukur kinerja JBOD dengan delapan SSD diteruskan ke salah satu R760. Pada R760 Direct Drives ada delapan SSD asli, sementara pada R760 HWRAID, PERC 12 meneruskan delapan perangkat penyimpanan mentah. Keduanya diuji apa adanya tanpa optimasi. Tahap pengujian ke-2 menunjukkan kinerja yang diskalakan dari solusi PERC 12 dari satu kartu hingga pengaturan dua kartu yang dioptimalkan.

Unit ulasan Direct Drives PowerEdge R760 kami memiliki konfigurasi berikut:

• Dual Intel Xeon Gold 6430 (32 core/64 thread, basis 1,9GHz)
• RAM DDR5 1TB
• 8 Solidigm P5520 SSD Gen4 7.68TB
• RHEL 9

Unit ulasan HWRAID NVMe PowerEdge R760 memiliki konfigurasi berikut:

• Dual Intel Xeon Gold 6430 (32 core/64 thread, basis 1,9GHz)
• RAM DDR5 1TB
• 16 Solidigm P5520 SSD Gen4 7.68TB
• Dual PERC 12 H965i
• RHEL 9

Analisis Beban Kerja Vdbench

Saat melakukan benchmark perangkat penyimpanan, pengujian aplikasi adalah yang terbaik, diikuti oleh pengujian sintetis. Meskipun bukan representasi sempurna dari beban kerja aktual, pengujian sintetis membantu mendasarkan perangkat penyimpanan dengan faktor pengulangan yang memudahkan perbandingan apel-ke-apel antara solusi yang bersaing. Beban kerja ini menawarkan berbagai profil pengujian mulai dari tes “empat sudut” dan tes ukuran transfer database umum hingga tangkapan jejak dari lingkungan VDI yang berbeda.

Pengujian ini memanfaatkan generator beban kerja Vdbench umum dengan mesin skrip untuk mengotomatiskan dan menangkap hasil di seluruh kluster pengujian komputasi besar. Ini memungkinkan kami untuk mengulang beban kerja yang sama di berbagai perangkat penyimpanan, termasuk array flash dan perangkat penyimpanan individual. Proses pengujian kami untuk benchmark ini mengisi seluruh permukaan drive dengan data dan kemudian mempartisi bagian drive yang setara dengan 25 persen dari kapasitas drive untuk mensimulasikan bagaimana drive mungkin merespons beban kerja aplikasi. Ini berbeda dari tes entropi lengkap, yang menggunakan 100 persen drive dan membawanya ke keadaan stabil. Akibatnya, angka-angka ini akan mencerminkan kecepatan tulis berkelanjutan yang lebih tinggi.

Profil:

• Baca dan Tulis Acak 4K: 100 persen Baca atau Tulis, 128 thread, 0-120 persen iorate
• Baca Sekuensial 64K: 100 persen Baca, 32 thread, 0-120 persen iorate
• Tulis Sekuensial 64K: 100 persen Tulis, 16 thread, 0-120 persen iorate
• Campuran Acak 4K 70R/30W dan 90R/10W, 64 thread, 0-120 persen iorate

Melihat tes pertama kami yang berfokus pada bandwidth transfer baca, kita dapat melihat keuntungan saluran PCIe yang dimiliki pendekatan Direct Drives dengan 32 jalur PCIe dibandingkan dengan PERC 12 tunggal dengan 16 jalur. Ini menghasilkan 41,6GB/s dari Direct Drives versus 28GB/s dari PERC 12 dalam mode JBOD.

Beralih dari bandwidth baca ke tulis, keuntungan dari jalur PCIe tambahan menyusut karena kecepatan tulis Solidigm P5520 lebih rendah dari kecepatan bacanya. Di sini konfigurasi Direct Drives mengukur 18,3GB/s dibandingkan dengan 20,3GB/s dari PERC 12.

Dalam beban kerja baca acak 4K kami, 8 SSD Solidigm P5520 di Direct Drive PowerEdge R760 mengukur puncak 5,55 juta IOPS, dibandingkan dengan 4,34 juta IOPS pada pengaturan PERC 12.

Dalam tulis acak 4K, perbedaan itu menyempit lagi, dengan Direct Drives mengukur 3,96 juta IOPS versus 4,15 juta IOPS pada PERC 12.

Dalam beban kerja campuran pertama dari dua beban kerja kami, kami melihat transfer acak 4K dengan sebaran 70/30 Baca/Tulis. Di sini konfigurasi Direct Drives PowerEdge R760 mengukur puncak 4,47 juta IOPS, dibandingkan dengan PERC 12 dengan 3,66 juta IOPS.

Meningkatkan persentase baca menjadi 90 persen dalam tes transfer 4K yang sama, kami mengukur 5,04 juta IOPS dari server Direct Drives versus 3,62 juta IOPS dari sistem PERC 12.

Analisis Beban Kerja FIO

Untuk mengukur kinerja drive dari penawaran Direct Drive dan PERC 12 HWRAID Dell, benchmark dibagi menjadi konfigurasi berikut. Yang pertama mencakup konfigurasi JBOD yang mengukur setiap drive di luar RAID, RAID10, dan kemudian konfigurasi RAID5.

Untuk pendekatan Direct Drives, SSD muncul ke OS seperti biasa; untuk PERC 12, mereka diteruskan melalui HBA sebagai perangkat penyimpanan mentah. Konfigurasi ini dilalui proses skrip untuk mempersiapkan flash, menjalankan tes yang telah dipersiapkan, dan beralih ke campuran persiapan/beban kerja berikutnya.

• Persiapan sekuensial
• Tes sekuensial pada JBOD, 8DR10, 8DR5 (PERC Tunggal dan Ganda)
• Persiapan acak
• Tes optimal acak pada JBOD, 8DR10, 8DR5 (PERC Tunggal dan Ganda)
• Tes rebuild acak pada 8DR10, 8DR5 (PERC Tunggal dan Ganda)
• Latensi tulis acak untuk optimal dan rebuild untuk 8DR5 (PERC Tunggal)

Dengan PERC 12 H965i memiliki slot PCIe Gen4 x16, kinerja puncaknya akan sekitar 28GB/s dalam satu arah, dan di situlah slot Gen4 mencapai batasnya. Dell mengambil pendekatan unik terhadap batas bandwidth ini dengan menawarkan konfigurasi PERC 12 ganda di PowerEdge R760 mereka. Alih-alih 16 bay SSD semuanya terhubung ke satu kartu, beban dibagi, dengan setiap PERC 12 mengontrol set 8 SSD-nya sendiri. Pendekatan ini melewati batas bandwidth sambil secara dramatis meningkatkan throughput puncak yang tersedia di bawah beban kerja yang menuntut.

Melihat kinerja transfer sekuensial terlebih dahulu, kita dapat melihat keuntungan bandwidth yang dimiliki konfigurasi Direct Drives, dengan kecepatan baca mengukur 54,4GB/s dibandingkan dengan PERC 12 tunggal yang mengukur 28,1GB/s. Kecepatan tulis asli juga memiliki keuntungan, dengan mengukur 33,4GB/s dibandingkan dengan 28,3GB/s dari PERC 12 tunggal dengan delapan drive di belakangnya. Kecepatan tulis, secara umum, tidak akan melihat perbedaan besar di sini karena, secara umum, kelas SSD ini memiliki kecepatan baca jauh melebihi kecepatan tulis.

Mengalihkan fokus kami ke kinerja transfer acak, kami mulai melihat pergeseran di mana keuntungan kartu RAID dapat masuk terkait penyeimbangan NUMA. Dengan kinerja baca, SSD Solidigm P5520 7.68TB mengukur 7,96 juta IOPS dalam tes baca 4K kami, dengan konfigurasi JBOD PERC 12 mengukur 7 juta IOPS. Kecepatan tulis melalui konfigurasi Direct Drives turun menjadi 3,4 juta IOPS sementara PERC 12 mempertahankan 5,97 juta IOPS. Dengan beban kerja OLTP 4K, ini menjadi lebih jelas dengan Direct Drives mengukur 3,6 juta IOPS versus 10,2 juta IOPS dari PERC 12.

Meskipun pemikiran tradisionalnya adalah bahwa RAID perangkat keras tidak memiliki nilai dengan SSD modern, kita dapat melihat bahwa itu tidak lagi terjadi. Ya, pengaturan NVMe Direct Drives dapat disetel, tetapi itu adalah target yang bergerak di berbagai SSD yang diseimbangkan di dua CPU.

Ini berlawanan langsung dengan kartu HWRAID PERC 12, yang mengelola semua kompleksitas itu dan terhubung hanya ke satu CPU. Untuk penskalaan, kartu PERC ke-2 di Dell PowerEdge R760 terhubung ke CPU lain, menawarkan penyeimbangan untuk beban kerja yang lebih besar yang terbagi di dua grup disk tersebut. Perlu dicatat bahwa sekitar 10 juta IOPS, sistem mulai menjenuhkan CPU, itulah sebabnya kami tidak melihat penskalaan linier di beberapa area dengan kartu PERC 12 tambahan.

Meskipun kami tidak melihat opsi RAID perangkat lunak dengan konfigurasi Direct Drives PowerEdge R760, kami berkesempatan melihat seberapa baik kinerja konfigurasi RAID pada PERC 12 dalam keadaan terdegradasi. Meskipun kinerja mengalami penurunan signifikan dibandingkan dengan kinerja optimalnya, baik RAID10 maupun RAID5 menawarkan kinerja yang kuat saat membangun kembali grup RAID mereka.

Meskipun kinerja RAID optimal adalah aspek penting dalam memilih solusi penyimpanan, melihat bagaimana kinerjanya dalam kondisi suboptimal bisa sama pentingnya. Untuk itu, kami mengukur latensi tulis 4K di RAID5 dalam kondisi optimal, dan kinerja rebuild dengan drive yang gagal. Jika kinerja atau latensi mengalami penurunan besar, responsivitas aplikasi bisa menjadi masalah. Meskipun kinerja rebuild menurun dibandingkan dengan optimal, latensi kinerja tidak meningkat di atas baseline.

Pikiran Akhir

Kartu RAID NVMe PERC12 baru Dell mengubah permainan untuk opsi penyimpanan NVMe di server PowerEdge. Di masa lalu, beberapa pelanggan ragu-ragu untuk beralih dari SSD SAS atau memilih drive NVMe yang terhubung ke berbagai SDS atau hypervisor. Namun, pengenalan kartu PERC 12 telah mengubah persamaan untuk PowerEdge, menjadikannya opsi yang lebih layak.

Alasan PERC 12 berkinerja baik juga dapat dikaitkan dengan tata letak server PowerEdge. R760 kami memiliki dua kartu PERC 12 (H965i Front), masing-masing dengan jalur x16. Ini memungkinkan kami untuk memanfaatkan 8 SSD Solidigm dengan setiap kartu, memberikan bandwidth maksimum hingga 28GB/s per kartu. Menghubungkan semua 16 SSD ke satu kartu RAID akan mengakibatkan hilangnya setengah dari potensi kinerja.

Anda mungkin bertanya, “Mengapa tidak 24 SSD dengan HWRAID?” Ingatlah bahwa setiap sistem memiliki hambatan di suatu tempat. Dalam kasus ini, kita dapat dengan mudah menjenuhkan CPU, sehingga x86 di dalam server menjadi faktor pembatas. Jika kita berbicara tentang solusi terkluster, maka kita juga akan mencapai jaringan. Sejumlah kecil SSD dapat dengan mudah mengisi 200GbE atau bahkan 400GbE. Dengan kapasitas SSD sekarang mencapai 30,72TB, ada lebih sedikit kebutuhan untuk memiliki server yang penuh dengan drive untuk masalah kapasitas sistem juga.

Jika Anda membaca ulasan kartu RAID Broadcom Seri 9600 kami, kami memulai dengan cukup skeptis bahwa silikon baru akan benar-benar memberikan semua manfaat ketahanan data dan rebuild dari HWRAID tanpa mengorbankan profil kinerja SSD NVMe. Kami sangat terkejut dengan hasil dalam ulasan itu dan bahkan lebih lagi di sini, dengan PERC 12 mampu menggandakan di R760 untuk mendapatkan dua kali lipat kinerja teratas. Meskipun Dell Direct Drives mungkin masih lebih disukai dalam banyak kasus penggunaan, seperti penyimpanan yang ditentukan perangkat lunak, opsi PERC 12 harus sangat populer untuk sebagian besar kasus penggunaan perusahaan.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Situs Web: www.qianxingdata.com/www.storagesserver.com

Fokus Bisnis:
Distribusi Produk ICT/Integrasi Sistem & Layanan/Solusi Infrastruktur
Dengan pengalaman distribusi TI 20+ tahun, kami bermitra dengan merek global terkemuka untuk memberikan produk yang andal dan layanan profesional.
“Menggunakan Teknologi untuk Membangun Dunia Cerdas”Penyedia Layanan Produk ICT Tepercaya Anda!