Dell PowerEdge Direct Drives im Vergleich zu PERC 12 im Test (2024)

Mit der Veröffentlichung unserer Rezension zum Dell PowerEdge R760 Server haben wir uns bei den Speicherzahlen bewusst zurückgehalten und festgestellt, dass der R760 über viele Speicherkonfigurationsoptionen verfügt, die die erste Überprüfung zu lang gemacht hätten. In diesem Test befassen wir uns mit den Speicheroptionen, die Dell PowerEdge für Gen4-NVMe-SSDs unterstützt, und mit dem Leistungsprofil dessen, was Dell Direct Drives im Vergleich zu PERC 12-Hardware-RAID-Karten nennt.

Optionen für die Dell PowerEdge NVMe-Rückwandplatine

Dell bietet in seinen 16G PowerEdge-Servern verschiedene Speicher-Backplanes an. Bei der Konfiguration des R760 stehen fast 50 Antriebsgehäuseoptionen zur Verfügung. Während einiges davon auf Legacy-Unterstützung zurückzuführen ist (z. B. PERC 11), liegt der Punkt darin, dass die Gehäuseentscheidung eine große Rolle spielt. Dies berücksichtigt noch nicht einmal die bevorstehende E3.S NVMe SSD-Unterstützung, die die einzige Möglichkeit darstellt, Gen5-SSDs in PowerEdge-Servern zu erhalten. Wir schauten auf E3.S im Dell PowerEdge R660 wenn Sie mehr über die Vorteile der Formfaktoren Gen5 und EDSFF erfahren möchten.

Zurück zur eigentlichen Aufgabe. Für diesen Test möchten wir die Auswirkungen der Auswahl der Direct Drives-Option von Dell im Vergleich zur PERC 12 HWRAID-Kartenoption verstehen. Wie bereits erwähnt, liegt der explizite Fokus hier nur auf der Berücksichtigung von Gen4 U.2/U.3 NVMe SSDs. Vorerst ignorieren wir Gehäuseoptionen für SATA/SAS und 3.5-Zoll-Festplatten. Diese Konfigurationen sind viel einfacher.

Beim R760 bietet Dell mehrere Gehäuseoptionen an, um Gen4-NVMe-Laufwerke an Bord zu bekommen. Die Direct Drives-Option kann für die Unterstützung von 8 oder 16 Laufwerken konfiguriert werden. Für die HWRAID-Konfigurationen bietet Dell die PERC 12 HWRAID-Karte auf die gleiche Weise an, mit einer RAID-Karte für jeden Stapel von 8 SSDs. Diese Entscheidung ist wichtig, da sie von grundlegender Bedeutung dafür ist, dass ein vollbestückter R760 mit 16 NVMe-SSDs die bestmögliche Leistung erzielen kann.

Dell PERC 12 Übersicht

Der Dell PowerEdge RAID Controller (PERC) 12 basiert auf Broadcom SAS4116W Silizium. Trotz SAS im Produktnamen handelt es sich bei dem Controller um ein Tri-Mode-RAID-on-Chip (ROC)-Gerät. Der gleiche RAID-Controller wird in der Broadcom MegaRAID-Reihe verwendet. Wir haben das kürzlich überprüft MegaRAID 9670W Hervorhebung wichtiger Fähigkeiten. Beim Dell PERC 12 kommen jedoch wesentliche Designunterschiede ins Spiel, je nachdem, für welche Dell-Server- und Speicherfamilie Sie sich interessieren.

Was PowerEdge betrifft, nutzen die meisten Konfigurationen die PERC 965-Karte „H12i Front“. In unserem Test des R760-Systems mit HWRAID haben wir zwei dieser H965i-Frontkarten im System, eine für jeden Satz von 8x Solidigm P5520 SSDs. Erwähnenswert ist, dass diese Karten deutlich kleiner sind als die Zusatzkarte. Das PCB-Design und das Wärmemanagement sind wirklich beeindruckend. Diese Karten werden direkt auf der NVMe-Rückwandplatine mit 8 Laufwerken montiert und mit zwei x8-PCIe-Kabeln mit dem Motherboard verbunden. Dadurch werden PCIe-Steckplätze auf der Leseseite des Servers für andere Geräte frei.

Apropos Zusatzkarten: Der standardmäßige PERC 12 H965i ist eine Karte mit halber Höhe und halber Länge, die über einen integrierten Lüfter verfügt. Diese Version von PERC 12 wird in einigen PowerEdge-Konfigurationen erscheinen und ist auch in einigen der neuen zu finden Dell PowerVault MD JBODs. Schließlich gibt es noch einen H965i MX, eine lange, schmale Platine, die für etwas wie das modulare Chassis des MX7000 entwickelt wurde.

Dell PERC 11 vs. PERC 12

Die Dell PERC 11-Karte unterstützte zwar NVMe-SSDs, aber leider gingen die Vorteile von Hardware-RAID mit erheblichen Leistungseinbußen einher. Dieser Erfolg ist genau der Grund, warum die Branche so begeistert vom neuen Broadcom-Chip und der Dell-Version dieser Karte, der PERC, ist. Dell hat einige Zahlen veröffentlicht über den Unterschied zwischen PERC 11 und PERC 12, die erstaunlich sind.

Die Latenzvorteile von PERC 12 liegen klar auf der Hand; Aber schauen Sie sich die Leistung unter Worst-Case-Bedingungen an, die Leistung während eines Umbaus. PERC 12 verzeichnet eine Verbesserung um einige tausend Prozent, und selbst die RAID-Wiederaufbauzeit weist erhebliche Vorteile auf.

Leistung von Dell Direct Drives vs. Dell PERC 12

Um die Speicherleistung in Direct Drives mit PERC 12 zu vergleichen, haben wir unsere R760-Server-„Cousins“ mit konfiguriert Solidigm P5520 7.68 TB SSDs. Der Dell R760 mit Direktlaufwerken verfügt über 8x NVMe-Schächte. Der R760 mit PERC 12 verfügt über 16 NVMe-Schächte mit zwei H965i-Front-RAID-Karten.

Auf den ersten Blick ist es vielleicht nicht offensichtlich, dass es auf beiden Seiten gewisse Leistungseinschränkungen gibt. Beginnend mit dem Direct-Drives-Ansatz verfügt jede SSD über eine eigene x4-PCIe-Verbindung, was bedeutet, dass acht SSDs über 32 PCIe-Lanes verfügen.

Dies ermöglicht eine unglaubliche Bandbreite, im Allgemeinen über 52 GB/s, wenn jedes Gen4-Laufwerk seine 6.5 GB/s-Verbindung auslasten kann. Im Vergleich zum PERC 12 H965i-Setup ist jede Gruppe von acht SSDs direkt mit der RAID-Karte verbunden, die über eine x16-PCIe-Verbindung wieder mit dem Motherboard verbunden ist. Dadurch wird die von der Direct Drives-Konfiguration unterstützte Bandbreite halbiert. Offensichtlich gewinnen also die nativen NVMe-Verbindungen? Nicht genau.

Beim Umgang mit mehreren NVMe-Geräten in einem Multi-CPU-System kommen die NUMA-Zuordnung zwischen Laufwerk und CPU sowie Systeminterrupts ins Spiel. Dies kann optimiert werden, erfordert jedoch erhebliche Anpassungen. Nicht alle Anwendungen berücksichtigen dies.

Bei der Virtualisierung ist die Verwaltung der NUMA-Zuordnung eine Herausforderung, da gemeinsam genutzte Ressourcen in Echtzeit ausgeglichen werden, manchmal auf eine CPU, die möglicherweise keinen direkten Zugriff auf die zugewiesenen PCIe-Ressourcen hat. Hardware-RAID-Karten mildern viele dieser Probleme und optimieren Systemunterbrechungen und Kontextwechsel, wodurch CPU-Ressourcen frei werden. Auch die NUMA-Zuordnung wird weniger komplex, da Sie statt 16 einzelner SSDs, die auf zwei CPUs aufgeteilt sind, nur eine Speicherkarte pro CPU verwalten müssen.

Unser Testplan konzentriert sich auf zwei Bereiche. Das erste sind Vdbench-Workloads, die die JBOD-Leistung mit acht SSDs messen, die an einen der R760 weitergeleitet werden. Auf den Direct Drives R760 befinden sich acht native SSDs, während auf dem HWRAID R760 der PERC 12 acht Rohspeichergeräte durchläuft. Beide werden unverändert ohne Optimierungen getestet. Die 2. Testphase zeigt die skalierte Leistung der PERC 12-Lösung von einem Einzelkarten-Setup bis hin zu einem optimierten Dual-Karten-Setup.

Unser Testgerät Direct Drives PowerEdge R760 hat die folgende Konfiguration:

Dual Intel Xeon Gold 6430 (32 Kerne/64 Threads, 1.9 GHz Basis)
1 TB DDR5-RAM
8 Solidigm P5520 7.68 TB Gen4 SSDs
RHEL 9

Das Testgerät HWRAID NVMe PowerEdge R760 hat die folgende Konfiguration:

Dual Intel Xeon Gold 6430 (32 Kerne/64 Threads, 1.9 GHz Basis)
1 TB DDR5-RAM
16 Solidigm P5520 7.68 TB Gen4 SSDs
Dual PERC 12 H965i
RHEL 9

Vdbench-Workload-Analyse

Beim Benchmarking von Speichergeräten sind Anwendungstests am besten, gefolgt von synthetischen Tests. Obwohl sie keine perfekte Darstellung der tatsächlichen Arbeitslasten sind, helfen synthetische Tests dabei, Speichergeräte mit einem Wiederholbarkeitsfaktor zu vergleichen, der es einfach macht, konkurrierende Lösungen direkt miteinander zu vergleichen. Diese Workloads bieten eine Reihe von Testprofilen, die von „Vier-Ecken“-Tests und allgemeinen Datenbankübertragungsgrößentests bis hin zu Trace-Erfassungen aus verschiedenen VDI-Umgebungen reichen.

Diese Tests nutzen den typischen Vdbench-Workload-Generator mit einer Skript-Engine, um Ergebnisse über einen großen Compute-Test-Cluster zu automatisieren und zu erfassen. Dadurch können wir dieselben Arbeitslasten auf verschiedenen Speichergeräten wiederholen, einschließlich Flash-Arrays und einzelnen Speichergeräten. Unser Testprozess für diese Benchmarks füllt die gesamte Laufwerksoberfläche mit Daten und partitioniert dann einen Laufwerksabschnitt, der 25 Prozent der Laufwerkskapazität entspricht, um zu simulieren, wie das Laufwerk auf Anwendungsauslastungen reagieren könnte. Dies unterscheidet sich von vollständigen Entropietests, bei denen 100 Prozent des Antriebs genutzt und in einen stationären Zustand gebracht werden. Infolgedessen spiegeln diese Zahlen höhere Dauerschreibgeschwindigkeiten wider.

Profile:

4K Random Read and Write: 100 Prozent Lesen oder Schreiben, 128 Threads, 0–120 Prozent Iorate
64K sequentielles Lesen: 100 Prozent Lesen, 32 Threads, 0–120 Prozent Leserate
64K sequentielles Schreiben: 100 Prozent Schreiben, 16 Threads, 0-120 Prozent Iorate
4K 70R/30W und 90R/10W Random Mix, 64 Threads, 0-120 Prozent Iorate

Wenn wir unseren ersten Test betrachten, der sich auf die Leseübertragungsbandbreite konzentriert, können wir den PCIe-Kanalvorteil erkennen, den der Direct Drives-Ansatz mit 32 PCIe-Lanes gegenüber dem einzelnen PERC 12 mit 16 Lanes hat. Dies entspricht 41.6 GB/s bei Direktlaufwerken im Vergleich zu 28 GB/s beim PERC 12 im JBOD-Modus.

Beim Wechsel von Lese- auf Schreibbandbreite schrumpft der Vorteil der zusätzlichen PCIe-Lanes, da die Schreibgeschwindigkeit des Solidigm P5520 geringer ist als seine Lesegeschwindigkeit. Hier wurden bei der Direct Drives-Konfiguration 18.3 GB/s gemessen, verglichen mit 20.3 GB/s beim PERC 12.

Bei unserem zufälligen 4K-Lese-Workload haben die 8 Solidigm P5520 SSDs im Direct Drive PowerEdge R760 eine Spitzenleistung von 5.55 Mio. IOPS gemessen, verglichen mit 4.34 Mio. IOPS beim PERC 12-Setup.

Bei 4K-Zufallsschreibvorgängen verringert sich dieser Unterschied erneut: Direktlaufwerke messen 3.96 Mio. IOPS gegenüber 4.15 Mio. IOPS auf PERC 12.

In unserem ersten von zwei gemischten Workloads betrachten wir eine 4K-Zufallsübertragung mit einer Lese-/Schreibverteilung von 70/30. Hier wurden bei der Direct Drives PowerEdge R760-Konfiguration Spitzenwerte von 4.47 Mio. IOPS gemessen, während der PERC 12 3.66 Mio. IOPS erreichte.

Als wir den Leseprozentsatz im selben 90K-Übertragungstest auf 4 Prozent erhöhten, haben wir 5.04 Mio. IOPS vom Direct Drives-Server im Vergleich zu 3.62 Mio. IOPS vom PERC 12-System gemessen.

FIO-Workload-Analyse

Um die Leistung der Laufwerke der Direct Drive- und PERC 12 HWRAID-Angebote von Dell zu messen, wurden die Benchmarks in die folgenden Konfigurationen aufgeteilt. Die erste umfasste eine JBOD-Konfiguration, bei der jedes Laufwerk außerhalb der RAID-, RAID10- und dann RAID5-Konfigurationen gemessen wurde.

Beim Direct Drives-Ansatz werden die SSDs dem Betriebssystem wie gewohnt angezeigt. Beim PERC 12 werden sie als Rohspeichergeräte durch den HBA geleitet. Diese Konfigurationen wurden einem Skriptprozess unterzogen, um den Flash vorzukonditionieren, die Tests auszuführen, für die sie konditioniert wurden, und mit der nächsten Vorkonditionierungs-/Workload-Mischung fortzufahren.

Sequentielle Vorkonditionierung
Sequentielle Tests auf JBOD, 8DR10, 8DR5 (Single und Dual PERC)
Zufällige Vorkonditionierung
Zufällige optimale Tests für JBOD, 8DR10, 8DR5 (Single und Dual PERC)
Zufällige Wiederherstellungstests auf 8DR10, 8DR5 (Single und Dual PERC)
Zufällige Schreiblatenz für optimale und erneute Erstellung für 8DR5 (Single PERC)

Da der PERC 12 H965i über einen x16-PCIe-Gen4-Steckplatz verfügt, liegt seine Spitzenleistung in einer Richtung bei etwa 28 GB/s, und hier ist der Gen4-Steckplatz am besten. Dell verfolgte einen einzigartigen Ansatz zur Lösung dieser Bandbreitenbeschränkung, indem es in seinem PowerEdge R12 eine Dual-PERC-760-Konfiguration anbot. Anstelle von 16 SSD-Schächten, die alle mit einer einzigen Karte verbunden sind, wird die Last aufgeteilt, wobei jeder PERC 12 seinen eigenen Satz von 8 SSDs steuert. Dieser Ansatz umgeht die Bandbreitenbeschränkung und erhöht gleichzeitig den verfügbaren Spitzendurchsatz bei anspruchsvollen Arbeitslasten erheblich.

Wenn wir uns zunächst die sequentielle Übertragungsleistung ansehen, erkennen wir den Bandbreitenvorteil der Direct Drives-Konfiguration mit einer Lesegeschwindigkeit von 54.4 GB/s gegenüber 12 GB/s beim einzelnen PERC 28.1. Auch die native Schreibgeschwindigkeit hat einen Vorteil: Sie beträgt 33.4 GB/s gegenüber 28.3 GB/s beim einzelnen PERC 12 mit acht Laufwerken dahinter. Bei den Schreibgeschwindigkeiten wird es hier im Allgemeinen keinen großen Unterschied geben, da diese Klasse von SSDs im Allgemeinen eine Lesegeschwindigkeit aufweist, die weit über der Schreibgeschwindigkeit liegt.

Arbeitsbelastung	JBOD-Direktlaufwerke (MB/s)	JBOD 1 x PERC 12 (MB/s)	JBOD 2 x PERC 12 (MB/s)	RAID 10 1 x PERC 12 – Optimal (MB/s)	RAID 10 2 x PERC 12 – Optimal (MB/s)	RAID 5 1 x PERC 12 – Optimal (MB/s)	RAID 5 2 x PERC 12 – Optimal (MB/s)
Maximale sequentielle Lesevorgänge	54,396	28,076	56,114	27,450	55,482	24,049	56,107
Maximale sequentielle Schreibvorgänge	33,367	28,284	56,541	11,037	22,120	12,269	24,351
Maximal 50:50 seq. Lesevorgänge: Schreibvorgänge	33,569	28,286	56,541	11,011	21,875	12,269	24,360

Wenn wir unseren Fokus auf die zufällige Übertragungsleistung verlagern, sehen wir eine Verschiebung dahingehend, wo die Vorteile der RAID-Karte in Bezug auf den NUMA-Balancing zum Tragen kommen können. Bei der Leseleistung haben die Solidigm 7.68 TB P5520 SSDs in unserem 7.96K-Lesetest 4 Millionen IOPS gemessen, wobei die PERC 12 JBOD-Konfiguration 7 Millionen IOPS misst. Die Schreibgeschwindigkeit durch die Direct Drives-Konfiguration sank auf 3.4 Mio. IOPS, während der PERC 12 5.97 Mio. IOPS beibehielt. Bei der 4K-OLTP-Arbeitslast wird dies noch deutlicher, da die Direktlaufwerke 3.6 Mio. IOPS im Vergleich zu 10.2 Mio. IOPS beim PERC 12 messen.

Während die traditionelle Meinung war, dass Hardware-RAID bei modernen SSDs keinen Wert hat, sehen wir, dass dies nicht mehr der Fall ist. Ja, das Direct Drives NVMe-Setup kann optimiert werden, aber es ist ein bewegliches Ziel für mehrere SSDs, die auf zwei CPUs verteilt sind.

Dies steht im direkten Gegensatz zur PERC 12 HWRAID-Karte, die diese ganze Komplexität bewältigt und nur eine Verbindung zu einer CPU herstellt. Zur Skalierung wird die zweite PERC-Karte im Dell PowerEdge R2 mit der anderen CPU verbunden und bietet so einen Ausgleich für größere Arbeitslasten, die auf diese beiden Festplattengruppen aufgeteilt werden. Es ist zu beachten, dass das System bei etwa 760 Mio. IOPS begann, die CPUs zu sättigen, weshalb wir mit der zusätzlichen PERC 10-Karte in einigen Bereichen keine lineare Skalierung feststellen konnten.

Arbeitsbelastung	JBOD-Direktlaufwerke (MB/s)	JBOD 1 x PERC 12 (MB/s)	JBOD 2 x PERC 12 (MB/s)	RAID 10 1 x PERC 12 – Optimal (MB/s)	RAID 10 2 x PERC 12 – Optimal (MB/s)	RAID 5 1 x PERC 12 – Optimal (MB/s)	RAID 5 2 x PERC 12 – Optimal (MB/s)
4 KB zufällige Lesevorgänge (IOPs)	7,958,204	7,003,556	12,447,020	6,757,498	13,067,852	6,974,826	13,205,656
4 KB zufällige Schreibvorgänge (IOPs)	3,473,446	5,974,265	11,323,633	2,204,738	4,684,333	862,769	1,725,198
4 KB OLTP (IOPs)	3,553,974	10,195,618	11,967,984	6,441,868	12,288,219	2,635,711	5,279,999

Während wir uns bei der Direct Drives PowerEdge R760-Konfiguration keine Software-RAID-Optionen angesehen haben, hatten wir die Möglichkeit zu sehen, wie gut die RAID-Konfiguration auf PERC 12 in einem herabgesetzten Zustand funktioniert. Während die Leistung im Vergleich zur optimalen Leistung erheblich zurückging, boten sowohl RAID10 als auch RAID5 eine starke Leistung beim Neuaufbau ihrer RAID-Gruppen.

Arbeitsbelastung	RAID 10 1 x PERC 12 – Neuaufbau (MB/s)	RAID 10 2 x PERC 12 – Neuaufbau (MB/s)	RAID 5 1 x PERC 12 – Neuaufbau (MB/s)	RAID 5 2 x PERC 12 – Neuaufbau (MB/s)
4 KB zufällige Lesevorgänge (IOPs)	1,345,175	2,692,738	2,350,889	4,676,748
4 KB zufällige Schreibvorgänge (IOPs)	1,666,967	3,174,430	242,802	479,144
4 KB OLTP (IOPs)	1,618,209	3,253,603	243,349	486,251

Während die optimale RAID-Leistung ein wichtiger Aspekt bei der Auswahl einer Speicherlösung ist, kann es ebenso wichtig sein, zu sehen, wie sie unter suboptimalen Bedingungen funktioniert. Zu diesem Zweck haben wir die 4K-Schreiblatenz in RAID5 unter optimalen Bedingungen gemessen und die Wiederherstellungsleistung bei einem Laufwerksausfall gemessen. Sollten Leistung oder Latenz massiv beeinträchtigt werden, könnte die Reaktionsfähigkeit der Anwendung zum Problem werden. Während die Wiederherstellungsleistung im Vergleich zum Optimum abnimmt, steigt die Latenz der Leistung gegenüber dem Ausgangswert nicht an.

Abschließende Überlegungen

Die neue PERC12 NVMe RAID-Karte von Dell verändert die Spielregeln für NVMe-Speicheroptionen in PowerEdge-Servern. In der Vergangenheit zögerten einige Kunden, von SAS-SSDs zu wechseln oder sich für NVMe-Laufwerke zu entscheiden, die an verschiedene SDS oder Hypervisoren angeschlossen waren. Die Einführung der PERC 12-Karte hat jedoch die Gleichung für PowerEdge geändert und es zu einer praktikableren Option gemacht.

Der Grund für die gute Leistung von PERC 12 ist auch auf das Layout des PowerEdge-Servers zurückzuführen. Unser R760 verfügt über zwei PERC 12-Karten (H965i Front) mit jeweils x16 Lanes. Dadurch können wir die 8 Solidigm-SSDs mit jeder Karte nutzen und so eine maximale Bandbreite von bis zu 28 GB/s pro Karte bereitstellen. Der Anschluss aller 16 SSDs an eine einzige RAID-Karte würde zu einem Verlust der Hälfte der potenziellen Leistung führen.

Sie fragen sich vielleicht: „Warum nicht 24 SSDs mit HWRAID?“ Denken Sie daran, dass jedes System irgendwo einen Engpass hat. In diesem Fall können wir die CPU ziemlich leicht auslasten, sodass der x86 im Server zum Gating-Faktor wird. Wenn es sich um eine Clusterlösung handelt, binden wir auch das Netzwerk ein. Eine Handvoll SSDs können problemlos 200 GbE oder sogar 400 GbE füllen. Da die SSD-Kapazitäten mittlerweile über 30.72 TB liegen, ist es auch bei Systemkapazitätsproblemen weniger erforderlich, einen Server voller Laufwerke zu haben.

Wenn Sie unsere lesen Test der RAID-Karte der Broadcom 9600-Serie, Wir waren zunächst ziemlich skeptisch, ob das neue Silizium tatsächlich alle Datenstabilitäts- und Wiederherstellungsvorteile von HWRAID bieten würde, ohne das NVMe-SSD-Leistungsprofil zu beeinträchtigen. Wir waren angenehm überrascht von den Ergebnissen in diesem Test und noch mehr hier, denn PERC 12 konnte im R760 verdoppelt werden, um doppelt so viel Spitzenleistung zu erzielen. Während Dell Direct Drives in vielen Anwendungsfällen immer noch bevorzugt werden, wie z. B. softwaredefinierter Speicher, dürfte die PERC 12-Option für die meisten Unternehmensanwendungsfälle äußerst beliebt sein.

Beteiligen Sie sich an StorageReview