Spesifikasi lengkap:

Dell PowerEdge XE9680 Bangun dan Desain

PowerEdge XE9680 adalah perangkat keras yang mengesankan, berukuran 10,36 inci (263,20 mm) tinggi, 18,97 inci (482,00 mm) lebar, dan 39,71 inci (1008,77 mm) kedalaman dengan bezelnya yang terpasang.Saat penuh dimuat, beratnya 251,44 lbs (114,05 kg). Pemilihan GPU akan memiliki kata terakhir pada berat, dengan model NVIDIA H100 / H200 datang di 238 lbs, sementara unit AMD MI300X ujung timbangan di 251 lbs.

Ini adalah server pertama yang membutuhkan pemikiran yang cermat untuk memuat dengan benar ke dalam lingkungan pengujian kami.ada beberapa ruang gerak untuk pergi di luar batas, tapi pada titik tertentu, satu atau dua orang tidak mengangkatnya sendiri. Dell cukup baik untuk memberi Anda "lift table" untuk membantu Anda memahami bagaimana platform ini cocok.Kevin memuat XE9680 ke rak sendiri.

Meskipun kompleksitasnya dan rekomendasi Dell untuk teknisi layanan khusus, XE9680 memiliki elemen layanan yang sangat ramah pengguna.Panel server termasuk instruksi layanan rinci dan grafis yang jelas, membuat prosedur pemeliharaan sangat mudah diakses oleh staf TI yang berpengalaman. panduan visual ini terbukti sangat berharga selama waktu praktis kami dengan sistem,memungkinkan kita untuk melayani berbagai komponen dengan percaya diri.

Setelah membuka penutup pada PowerEdge XE9680, setelah Anda melewati banyak kabel listrik dari substasiun daya kecil di atas, itu terlihat sangat seperti PowerEdge R760.Unit kami didukung oleh dua prosesor Intel Xeon Platinum 8468Setiap prosesor menawarkan 80 jalur PCIe, yang mengalir melalui beberapa switch PCIe di unit ini untuk mendukung GPU, NIC, dan perangkat keras lainnya yang dimuat ke dalam XE9680.

Salah satu fitur teknik yang paling mengesankan adalah desain PCIe Switch Board (PSB).kartu PCIe setengah panjang (dua di antaranya dapat melebihi konsumsi daya 75W) dan terintegrasi langsung dengan papan dasar GPUIntegrasi langsung ini memungkinkan teknologi langsung GPU, memungkinkan SSD dan kartu jaringan untuk berkomunikasi langsung dengan GPU, melewati CPU dan mengurangi latensi untuk beban kerja AI intensif I / O.

Setiap slot ekspansi mendukung antarmuka PCIe Gen5 x16 penuh, termasuk dua slot bawah di kiri dan kanan tata letak.dua slot bawah terhubung langsung ke PCIe Base Board (PBB). Kedua slot ini juga mendukung kartu tarik daya tinggi. Selain itu, harus dicatat bahwa tata letak PCIe sedikit bervariasi tergantung pada jenis GPU yang dipilih untuk PowerEdge XE9680.Model AMD tidak mendukung SmartNIC/DPU, dan model Intel Gaudi3 memiliki dua slot diblokir karena masalah aliran udara.

Pendingin adalah bidang lain di mana keahlian rekayasa Dell bersinar. Sistem ini mempekerjakan hingga 16 kipas kelas emas berkinerja tinggi, enam di tengah bak dan sepuluh di belakang.PowerEdge XE9680 mendukung berbagai skenario instalasi, dengan suhu lingkungan berkisar dari 10 sampai 35C (30C dengan GPU Intel Gaudi3). pada miring penuh, server bergerak mengesankan 1.200CFM ke lorong panas.

Solusi pendinginan yang kuat ini menangani bahkan beban termal yang paling menuntut, termasuk GPU AMD MI300X, Intel Gaudi3, atau NVIDIA H100, sambil mempertahankan suhu operasi yang optimal.PowerEdge XE9680 cukup sedikit bernyanyi di bawah beban dalam hal output suara. Dell menawarkan lembar spesifikasi akustik lengkap untuk XE9680 dalam situasi yang berbeda, tapi cukup mudah untuk mengatakan itu akan menjadi platform keras di bawah beban.

Manajemen

Kemampuan manajemen XE9680 dibangun di sekitar iDRAC9 perusahaan Dell yang terbukti, yang menyediakan manajemen dan pemantauan siklus hidup server yang komprehensif.Iterasi iDRAC ini membawa beberapa fitur AI-dioptimalkan, termasuk telemetri GPU terperinci, analisis konsumsi daya, dan pemantauan termal yang luas yang dirancang untuk beban kerja AI kepadatan tinggi.

Stack manajemen platform ini sangat penting untuk penyebaran infrastruktur AI. Melalui API RESTful iDRAC9 dengan dukungan Redfish,organisasi dapat secara programatis memantau dan mengelola penggunaan GPU, bandwidth memori, dan kondisi termal metrik penting untuk mempertahankan pelatihan AI dan kinerja inferensi yang optimal.Integrasi sistem dengan OpenManage Enterprise memungkinkan manajemen seluruh armada dari beberapa XE9680 melalui konsol terpadu, yang penting untuk kelompok AI berskala besar.

Keamanan dan kepatuhan adalah elemen dasar dari arsitektur manajemen.memastikan integritas perangkat keras dari boot-up hingga operasiFitur-fitur ini sangat berharga saat menjalankan beban kerja AI yang sensitif atau menangani bobot model eksklusif.

Kemampuan analisis kegagalan prediktif, didukung oleh integrasi CloudIQ, menggunakan pembelajaran mesin untuk memprediksi masalah perangkat keras potensial sebelum berdampak pada beban kerja.Pendekatan proaktif ini sangat penting untuk pekerjaan pelatihan AI jangka panjang, di mana downtime yang tidak terduga dapat mengakibatkan hari-hari kehilangan perhitungan. Ketika dikombinasikan dengan layanan ProSupport Plus Dell, kemampuan prediktif ini memicu pembuatan kasus otomatis dan pengiriman bagian,sering mengakibatkan pemeliharaan pencegahan sebelum degradasi sistem terjadi.

Untuk organisasi yang membutuhkan integrasi dengan alat manajemen yang ada, XE9680 mendukung berbagai kerangka manajemen melalui integrasi OpenManage, termasuk ServiceNow dan BMC TrueSight,memungkinkan integrasi yang mulus ke dalam alur kerja manajemen layanan TI yang mapan.

Antarmuka iDRAC9 menyediakan pemantauan real-time rinci dari komponen kritis melalui dasbor intuitif.konsumsi daya, dan tingkat pemanfaatan di semua delapan akselerator, penting untuk mengoptimalkan distribusi beban kerja AI.

Antarmuka pemantauan penyimpanan menawarkan visibilitas instan ke kesehatan drive, suhu, dan metrik kinerja di seluruh array NVMe,yang sangat berharga saat mengelola cache inferensi dengan throughput tinggi dan kumpulan data pelatihan.

Memori, Penyimpanan, dan Skala

Delapan AMD MI300X GPU di dalam Dell PowerEdge XE9680 mewakili lompatan yang signifikan dalam kapasitas memori GPU, menawarkan 192GB memori HBM3 per kartu dibandingkan dengan NVIDIA H200s 141GB.Peningkatan kapasitas memori sebesar 36% ini bukan hanya angka pada lembar spesifikasi, tetapi sangat penting untuk penyebaran model bahasa besar..

Ini kolam besar memori, ditambah dengan MI300X ¢ s 5.3 TB / s memori bandwidth,memungkinkan organisasi untuk menjalankan beberapa contoh model yang lebih kecil atau pembagian model yang lebih besar di seluruh GPU sambil mempertahankan throughput tinggi dan latensi rendah.

Untuk menempatkan ini dalam perspektif, Meta's Llama 3.1 405B model, yang membutuhkan utara 1TB VRAM di BF16,dapat didistribusikan dengan nyaman di seluruh XE9680 tunggal dengan MI300X GPU tanpa kuantisasi dan panjang konteks penuh 128kHal ini menghilangkan potensi kehilangan kualitas yang terkait dengan teknik kuantisasi dan memungkinkan lebih banyak Token/detik dibandingkan dengan memiliki model yang didistribusikan ke dua server.

Untuk memaksimalkan jejak penyimpanan kami, kami menggunakan drive Solidigm 61.44TB untuk berfungsi sebagai ekstensi yang canggih untuk memori, menjembatani kesenjangan antara memori GPU berkecepatan tinggi dan penyimpanan tradisional.SSD unggul dalam menyimpan key-value cache pair selama inference, secara efektif memperluas kapasitas memori GPU untuk generasi konteks panjang. kapasitas besar dan kinerja NVMe membuat mereka ideal untuk akses berat model cepat,memungkinkan perubahan model yang efisien dan awal yang hangat.

Dalam aplikasi seperti penyebaran Metrum AI yang kami detailkan di bawah ini, SSD menarik tugas ganda sebagai backend penyimpanan untuk basis data vektor,memberikan kinerja yang diperlukan untuk pencarian kesamaan secara real time sambil mempertahankan kapasitas penyimpanan embedded yang luas.

Nilai drive berkapasitas tinggi ini melampaui kesimpulan untuk alur kerja pelatihan.mengurangi overhead jaringan dengan menjaga data lebih dekat ke sumber daya komputasiSelama pelatihan, drive ini unggul dalam menyimpan titik pemeriksaan model secara lokal, yang sangat penting untuk menjaga kemajuan pelatihan dan memungkinkan pemulihan cepat.Strategi penyimpanan lokal ini juga membantu mengoptimalkan pemanfaatan jaringan dengan mengurangi lalu lintas jaringan segera setelah setiap lapisan yang diproses dan batch.

Sementara kapasitas 61,44TB di delapan teluk di XE9680 terdengar menjanjikan, ada lebih banyak kapasitas datang.kepadatan penyimpanan di XE dapat berlipat ganda menjadi hampir petabyte untuk optimasi pelatihan lebih lanjut dan lebih lama hidup inference cache.

Metrum AI Asisten Perawatan Kesehatan

Sektor perawatan kesehatan secara konsisten menghadapi tantangan dalam mengelola dokumentasi pasien yang memakan waktu dan manajemen catatan, yang sering mengurangi perawatan pasien langsung.Asisten Perawatan Kesehatan Metrum AI, yang digunakan pada server Dell PowerEdge XE9680 dengan akselerator AMD, menunjukkan bagaimana infrastruktur AI canggih dapat mengubah alur kerja perawatan kesehatan, meningkatkan efisiensi dan meningkatkan hasil pasien.

Sistem ini menggunakan Llama 3.1 70B Instruct sebagai model bahasa utamanya, yang terkenal karena pemahaman konteks medis.Model bahasa ini dipasangkan dengan gte-v1.5 model embedding dan Milvus Vector DB, menyediakan dasar yang kuat untuk pemrosesan bahasa alami dan pemahaman kontekstual penting untuk penanganan data medis.

Metrum AI's Healthcare Assistant juga mencakup pendekatan multimodal yang menggabungkan HistoGPT untuk analisis gambar histopatologi dan Whisper OpenAI's untuk transkripsi catatan dokter secara real-time.Bersama, model ini merampingkan alur kerja klinis, memungkinkan dokter untuk berbicara secara alami sementara sistem menyalin, mengkategorikan, dan mengintegrasikan informasi ke dalam catatan pasien secara real-time.

Metrum AI mengakui bahwa meskipun data pasien individu mungkin relatif kecil, permintaan penyimpanan gabungan rumah sakit dengan lalu lintas tinggi dapat meningkat hingga ratusan terabyte.Dell PowerEdge XE9680 dapat mengatasi ini dengan penyimpanan NVMe internal lokalnya. Konfigurasi kami menawarkan delapan 2.5 "U.2 NVMe storage bay yang beroperasi pada kecepatan PCIe Gen4. Sementara kami menguji XE9680 dengan 61.44TB Soldigim D5-P5336 QLC SSD, kapasitas ini dapat skala lebih jauh.Soldigim baru-baru ini meluncurkan D5-P5336 122 baru mereka.88TB QLC model, yang menggandakan kapasitas SSD mereka yang sudah besar sambil mempertahankan kinerja yang sama.

Metrum memberikan perkiraan bagaimana data pasien diterjemahkan dari waktu ke waktu dalam skenario yang berbeda.Anda dapat melihat berapa banyak pasien tambahan unit dapat mendukung menggunakan SSD kapasitas tertinggiMengambil data diperkirakan jejak per pasien dan pergi terhadap kapasitas yang dapat digunakan untuk setiap SSD (57TB untuk SSD 61TB dan 114TB untuk SSD 122TB),kita dapat melihat bahwa memiliki SSD padat sangat meningkatkan apa yang dapat Anda simpan di server dengan cara yang berarti per tahun.

Meskipun perkiraan awal 1 tahun tampaknya cukup tinggi, penting untuk dicatat bahwa data pasien tidak statis. Anda akan memiliki data baru yang ditangkap dan kunjungan baru yang dijadwalkan, meningkatkan permintaan penyimpanan.Di sinilah penyimpanan memainkan peran penting dalam ruang pencitraan medisKapasitas penyimpanan tambahan secara langsung mempengaruhi berapa banyak pasien solusi dapat secara efektif mendukung.

Dell PowerEdge XE9680, dilengkapi dengan akselerator AMD MI300X dan terintegrasi dengan Metrum AI's Healthcare Assistant, menyediakan solusi yang dapat diskalakan dan efisien untuk penyedia layanan kesehatan.Dengan mengotomatiskan tugas yang memakan waktu dan memungkinkan akses cepat ke wawasan penting, pengaturan ini memungkinkan dokter untuk lebih fokus pada perawatan pasien sambil mengelola permintaan yang semakin meningkat.Asisten Perawatan Kesehatan merupakan kemajuan signifikan dalam solusi perawatan kesehatan berbasis AI, mengurangi beban administrasi dan meningkatkan hasil pasien secara keseluruhan.

Kesimpulan