Die NVIDIA DGX Station GB300 ist ein interessantes Angebot für Teams, die auf Cloud-Unabhängigkeit angewiesen sind. Es ist in erster Linie für den Einsatz im Büro gedacht und zeichnet sich als relativ leises Gerät mit einem 1600-W-Netzteil aus.

Einige Teams sind jedoch auch in der Lage, ihre eigenen Server in einem Rechenzentrum zu betreiben. Daher ist es sinnvoll, die NVIDIA DGX Station GB300 mit einem leistungsstarken Server zu vergleichen, der mit mehreren NVIDIA RTX PRO 6000 Blackwell Server Edition-Grafikprozessoren ausgestattet ist.

Zusammenfassung: DGX Station GB300 im Vergleich zu RTX Pro 6000 Server Edition-GPUs

Um Frontier-Modelle einer Arbeitsgruppe zur Verfügung zu stellen, muss die DGX Station GB300 ist die richtige Wahl.

Die DGX Station GB300 übertrifft vier RTX PRO 6000 Blackwell Server Edition in den relevanten Leistungskennzahlen (FP4, FP8, FP16/BF16) und bietet eine höhere Speicherbandbreite zu einem geringfügig höheren Preis.

Ein wesentlicher Vorteil ist der größere Speicherblock einer einzelnen GPU, wodurch der Konfigurationsaufwand und die Kommunikationslatenzen beim Sharding von Modellen reduziert werden.

Zudem weist die DGX Station im Vergleich zu Servern mit 4x und 8x RTX Pro eine deutlich geringere Leistungsaufnahme auf, wodurch sie mit herkömmlichen Büro-Steckdosen kompatibel ist. Die geringere Leistungsaufnahme bedeutet weniger Geräuschentwicklung und niedrigere Stromkosten.

Ein Server mit 8x RTX PRO 6000 Server Edition ist in der Lage, Modelle mit höherer Genauigkeit zu verarbeiten. Darüber hinaus verfügt er über eine x86-Architektur, die mit älterer Software kompatibel ist, sowie über mehr CPU-Arbeitsspeicher. Bei korrekter Nutzung könnte die höhere Gesamtbandbreite des GPU-Speichers einen höheren Durchsatz an Token pro Sekunde ermöglichen. Ein Vergleich mit einer Konfiguration aus zwei NVIDIA DGX Station GB300 ist empfehlenswert.

Wir können Sie dabei unterstützen, die richtige Lösung für Ihre Anwendung zu finden. Nehmen Sie Kontakt mit uns auf:

Detaillierter Vergleich

Die DGX Station sowie die Multi-GPU-Server sind bei mehreren Anbietern erhältlich. Supermicro ist derzeit mit wettbewerbsfähigen Preisen führend, daher werden wir ein Beispiel von Supermicro heranziehen. Supermicro bietet neben HP ebenfalls eine optionale Rack-Montagelösung für die DGX Station an.

	NVIDIA DGX Station GB300	Server mit 4x RTX PRO 6000 Server Edition	Server mit 8x RTX PRO 6000 Server Edition
Basismodell / Fahrgestell	Supermicro Super AI Station ARS-511GD-NB-LCC	Supermicro AS-5126GS-TNRT Barebone	Supermicro AS-5126GS-TNRT Barebone
Formfaktor	Desktop-Tower Optionaler Rack-Montagesatz (5U)	5U-Server für den Rack-Einbau	5U-Server für den Rack-Einbau
CPU	1x NVIDIA Grace Neoverse V2-CPU mit 72 Kernen (ARM-basiert)	2 × AMD Turin 9555 DP/UP 64C/128T 3,2 GHz 256 MB 360 W SP5 HF (EPYC 9005-Serie, Supermicro-Artikelnummer: PSE-TUR9555-1142)	2 × AMD Turin 9555 DP/UP 64C/128T 3,2 GHz 256 MB 360 W SP5 HF (EPYC 9005-Serie, Supermicro-Artikelnummer: PSE-TUR9555-1142)
CPU, RAM	496 GB ECC LPDDR5X	768 GB = 24 × 32 GB DDR5-6400 2Rx8 (16 Gb) ECC RDIMM	768 GB = 24 × 32 GB DDR5-6400 2Rx8 (16 Gb) ECC RDIMM
CPU-Speicherbandbreite	396 GB/s	1,23 TB/s = 2 × 614 GB/s pro CPU	1,23 TB/s = 2 × 614 GB/s pro CPU
Gemeinsamer Speicher für CPU und GPU (kohärenter Speicher)	Ja, über NVLink®-C2C mit einer Verbindungsbandbreite von 900 GB/s	keine	keine
GPU(s)	1x NVIDIA Blackwell Ultra-GPU	4x NVIDIA RTX PRO 6000 Blackwell Server Edition, PCIe 5	8x NVIDIA RTX PRO 6000 Blackwell Server Edition, PCIe 5
GPU-Arbeitsspeicher	252 GB ECC HBM3e	pro GPU: 96 GB GDDR7 Gesamt: 384 GB GDDR7	pro GPU: 96 GB GDDR7 Gesamt: 768 GB GDDR7
GPU-Speicherbandbreite	7,1 TB/s	pro GPU: 1,597 GB/s Gesamt: 6,4 TB/s	pro GPU: 1,597 GB/s Gesamt: 12,8 TB/s
Multi-Instance-GPU (MIG)	Ja, bis zu 7 MIGs	Ja, bis zu 4 MIGs pro GPU	Ja, bis zu 4 MIGs pro GPU
High-Speed-Ethernet-Anschluss	NVIDIA ConnectX-8 SuperNIC, Dual-Port-QSFP112	ConnectX-6 Dx 100-GbE-Ethernet-Adapterkarte, zwei QSFP56-Anschlüsse	ConnectX-6 Dx 100-GbE-Ethernet-Adapterkarte, zwei QSFP56-Anschlüsse
Bandbreite von High-Speed-Ethernet	800 Gbit/s = 2 × 400 Gbit/s	200 Gbit/s = 2 × 100 Gbit/s	200 Gbit/s = 2 × 100 Gbit/s
Lagerung	4 M.2-Steckplätze: 2x 2 TB M.2 PCIe 5.0×4 NVMe-Bootlaufwerke 1x 2 TB M.2-Datenspeicher	2x SSD 2,5″ SATA 480 GB 1 DWPD TLC E, SED/TCG 7 mm	2x SSD 2,5″ SATA 480 GB 1 DWPD TLC E, SED/TCG 7 mm
Stromverbrauch	bis zu 1600 W	Insgesamt etwa 4000 W Bis zu 360 W pro CPU Bis zu 600 W pro GPU	Insgesamt etwa 7.000 W Bis zu 360 W pro CPU Bis zu 600 W pro GPU
Eignung für den Bürobetrieb	gut geeignet: zulässiger Geräuschpegel – Flüssigkeitskühlsystem kann über eine Bürosteckdose mit Strom versorgt werden Desktop-Tower-Formfaktor	nicht geeignet: laut erfordert Steckdosen in Industrieausführung Rack-Formfaktor, erfordert einen Rack-Einbau	nicht geeignet: laut erfordert Steckdosen in Industrieausführung Rack-Formfaktor, erfordert einen Rack-Einbau
Preis (netto, USD)	ca. $105.000	ca. $100.000	ca. $150.000

KI-Leistung: 1x DGX Station GB300 im Vergleich zu 4 bzw. 8x NVIDIA RTX PRO 6000 Blackwell Server Edition

	NVIDIA DGX Station GB300	RTX PRO 6000 Server Edition, pro GPU	4x RTX PRO 6000 Server Edition	8x RTX PRO 6000 Server Edition
CUDA-Parallelverarbeitungskerne	TBD	24.064	96.256	192.512
NVIDIA Tensor-Kerne	TBD	752 (fünfte Generation)	3.008	6.016
NVIDIA-RT-Kerne	K.A.	188 (vierte Generation)	752	1.504
FP4 PFLOPS	20 PFLOPS 15 PFLOPS ohne Sparsity	4 PFLOPS 1.871,2 TFLOPS ohne Sparsity	16 PFLOPS 7,5 PFLOPS ohne Sparsity	32 PFLOPS 15 PFLOPS ohne Sparsity
FP8	10 PFLOPS 5.000 TFLOPS ohne Sparsity	2 PFLOPS 935,6 TFLOPS ohne Sparsity	8 PFLOPS 3.742 TFLOPS ohne Sparsity	16 PFLOPS 7.485 TFLOPS ohne Sparsity
FP6-Tensor-Core	10 PFLOPS	K.A.	K.A.	K.A.
Int8-Tensor-Core	330 TOPS (? NVIDIA) 5.000 TOPS ohne Sparsity (? Google)	935,6 TOPS ohne Sparsity	3.742 TOPS ohne Sparsity	3.742 TOPS ohne Sparsity
FP16/BF16-Tensor-Core	5 PFLOPS 2.500 TFLOPS ohne Sparsity	1 PFLOP 467,8 TFLOPS ohne Sparsity	4 PFLOPS 1.871 TFLOPS ohne Sparsity	8 PFLOPS 3.742 TFLOPS ohne Sparsity
TF32 Tensor-Core	2,5 PFLOPS 1.250 TFLOPS ohne Sparsity	234 TFLOPS ohne Sparsity	936 TFLOPS ohne Sparsity	1.872 TFLOPS ohne Sparsity
FP32	80 TFLOPS	120 TFLOPS	480 TFLOPS	960 TFLOPS
FP64 / FP64-Tensor-Core	1,3 TFLOPS	1,8 TFLOPS	7,2 TFLOPS	14,4 TFLOPS
Leistung des RT-Kerns	K.A.	355 TFLOPS	1.420 TFLOPS	2.840 TFLOPS
GPU-Speicher	252 GB HBM3e-Speicher kann die 496 GB LPPDR5X der CPU über NVLink-C2C nutzen = insgesamt 748 GB RAM	96 GB GDDR7 mit ECC	384 GB	768 GB
Speicherschnittstelle	HBM3e / LPDDR5X	512-Bit-GDDR7	GDDR7	GDDR7
Speicherbandbreite	7,1 TB/s bei 252 GB HBM3e 396 GB/s bei 496 GB LPDDR5X	1,597 GB/s	6,4 TB/s insgesamt	12,8 TB/s insgesamt
Stromverbrauch	System: bis zu 1.600 W	GPU: bis zu 600 W	GPUs: bis zu 2.400 W	GPUs: bis zu 4.800 W

Bei der LLM-Inferenz gibt es zwei unterschiedliche Phasen:

• Die Vorabfüllphase (das Laden der Benutzeraufforderung) ist rechenintensiv
• Die Dekodierungsphase (Erzeugung von Tokens) ist speichergebunden

Wie wir sehen können, verfügt die DGX Station GB300 über mehr Rechenleistung, die der von 4 RTX PRO 6000 Server Edition-GPUs für FP4, FP8, FP16/BF16 entspricht. Die FP4- und FP8-Leistung ist für die LLM-Inferenz von besonderer Bedeutung.

Allerdings übertrifft bereits eine einzige RTX PRO 6000 die DGX Station GB300 Superchip sowohl bei der FP32- als auch bei der FP64-Leistung. Zudem verfügt sie über Raytracing-Fähigkeiten, die der DGX Station GB300 fehlen.

Rein unter dem Gesichtspunkt der Rechenleistung übertreffen 8x RTX PRO 6000 Blackwell Server Edition die DGX Station GB300 bei FP4, FP8, FP16/BF16 und natürlich auch bei FP32 und FP64. Dies setzt jedoch eine Aufgabe voraus, bei der die GPUs gleichmäßig mit Rechenleistung ausgelastet werden können.

Bei wissenschaftlichen Anwendungen spielt die benötigte Rechengenauigkeit eine wichtige Rolle – für wissenschaftliche Anwendungen mit hoher Genauigkeit oder Rendering-Anwendungen sind die RTX PRO 6000 Server Edition-Grafikkarten die bessere Wahl.

In der Dekodierungsphase spielt die Speicherbandbreite eine entscheidende Rolle – auch hier übertrifft die DGX Station GB300 vier RTX PRO 6000-GPUs und geht als klarer Sieger hervor – sie dürfte eine höhere Leistung in Token pro Sekunde erzielen.

Bei 8x RTX PRO 6000-GPUs ist die Situation komplexer. Die Gesamt-Speicherbandbreite ist zwar höher, jedoch kann es aufgrund der erforderlichen Kommunikation zwischen den GPUs über die PCI-Express-Verbindung zu Verzögerungen kommen. Mit den entsprechenden technischen Maßnahmen ließe sich der Durchsatz im Vergleich zur DGX Station GB300 steigern.

Zwei DGX Station GB300 sind ein starker Anwärter für einen Vergleich. Zwei DGX Station GB300 werden über eine noch höhere Gesamt-Speicherbandbreite von 14,2 TB/s, eine höhere Rechenleistung, eine geringere Gesamtstromaufnahme und weniger Modell-Shards verfügen.

pi3g kann Ihnen dabei helfen, die für Sie am besten geeigneten vLLM-Inferenzserver zu finden.

Anmerkung:

Der Int8-Leistungswert für den DGX Station GB300 Die in NVIDIAs offiziellem Datenblatt angegebenen Werte stimmen nicht mit der Entwicklung bei FP8 und FP16 überein. Ich würde erwarten, dass die Leistung der von FP8 ähnelt. 330 TOPS entsprechen dem Leistungsniveau einer Edge-Beschleunigerkarte. Der von Google angegebene Wert von 5.000 TFLOPS (sic) erscheint plausibler, dürfte jedoch wahrscheinlich 5.000 TOPS lauten, da es sich hier um Int8 handelt.

Referenzen:

• https://www.nvidia.com/en-us/products/workstations/dgx-station/
• https://www.nvidia.com/en-eu/data-center/rtx-pro-6000-blackwell-server-edition
• https://docs.cloud.google.com/compute/docs/gpus

Modellanpassung, Skalierbarkeit und Leistung

Die DGX Station GB300 verfügt über einen größeren und schnelleren einheitlichen Speicherblock – 252 GB ECC HBM3e mit einer Speicherbandbreite von 7,1 TB/s – im Vergleich zu einer einzelnen NVIDIA RTX PRO 6000 Blackwell Server Edition-GPU.

Selbst bei einer Kombination aus vier RTX PRO 6000-Grafikprozessoren beträgt deren gesamte Speicherbandbreite immer noch niedriger im Vergleich zur GPU-Speicherbandbreite der DGX Station GB300.

Je nach Ihrer Anwendung und Ihrem Modell können Sie die Optimierung auf unterschiedliche Aspekte ausrichten.

Es ist bekannt, dass die folgenden Modelle auf der DGX Station GB300 funktionieren:

Modellbezeichnung	Größe	Architektur	Genauigkeit	DGX-Station	1x RTX Pro 6000	4x RTX Pro 6000	8x RTX Pro 6000
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16	30B/3B	MoE	NVFP4	Ja	Ja	Ja	Ja
Schritt 3.7 – Blitzen	198B/11B	MoE	BF16	Ja (FP8)	keine	Ja (FP8, EP)	Ja (EP)
DeepSeek-V4-Flash	284B/13B	MoE	FP8	Ja (FP4)	keine	Ja (FP8, EP)	Ja (FP8, EP)
Qwen3.6-27B	27B	Dicht	BF16	Ja	Ja	Ja	Ja
Qwen3.6-35B-A3B	35B/3B	MoE	BF16	Ja	Ja	Ja	Ja
MiniMax-M2.7	230B/10B	MoE	FP8	Ja (FP8)	keine	Ja (FP8, EP)	Ja (FP8, EP)
gemma-4-26B-A4B-it	26 B/4B	MoE	BF16	Ja	Ja	Ja	Ja
NVIDIA-Nemotron-3-Super-120B-A12B-BF16	120B/12B	MoE	BF16	Ja	Ja (FP4)	Ja (EP)	Ja (EP)

Hinweis: Aufgrund des Unified-Memory-Designs kann der Kontext bei der DGX Station in den CPU-Speicher geladen werden. Die Abkürzung „EP“ in der Tabelle steht für „Expert Parallelism“.

Expert Parallelism (EP)

Die heutigen Open-Weight-Modelle nutzen überwiegend eine „Mixture of Experts“-Architektur (MoE). Bei dieser Architektur sendet ein Router Token an eine kleine Anzahl ausgewählter Experten.

Im Falle der DGX Station passen alle Modelle aus der obigen Liste vollständig in den schnellen GPU-Speicher, wobei die angegebene Genauigkeit verwendet wird. Der Router verursacht keine zusätzliche PCIe-Latenz, und die Tokens müssen zur Berechnung nicht an eine andere GPU weitergeleitet werden.

Zudem ist für die Modelle keine spezielle Sharding-Konfiguration erforderlich, was die Verwaltung und Entwicklung vereinfacht.

Bei RTX Pro 6000-GPUs müssen die Experten verteilt werden, wobei in der Regel mehrere Experten auf jede GPU verteilt werden. Besondere Aufmerksamkeit muss der Zuordnung der Experten sowie den zusätzlichen Latenzen gewidmet werden, die durch die Kommunikation zwischen den GPUs während der Inferenz entstehen.

Mit einer Gesamt-GPU-Speicherkapazität von bis zu 768 GB auf 8 RTX PRO 6000-GPUs können Sie Modelle mit höherer Präzision laden. Die DGX Station verfügt insgesamt über 748 GB Speicher, allerdings ist ihr CPU-Speicher viermal langsamer als der Speicher einer einzelnen RTX PRO 6000. Die Bandbreite ist dabei von größerer Bedeutung.

Datenparallelität

Im Falle der Datenparallelität wird dasselbe Modell auf mehreren GPUs ausgeführt, wobei die Daten auf diesen GPUs parallel verarbeitet werden.

Da vier RTX PRO 6000-Karten bei allen relevanten Messgrößen (Rechenleistung für FP4, FP8, FP16/BF16 sowie Speicherbandbreite) schlechter abschneiden als die DGX Station GB300 und zudem ein zusätzlicher PCIe-Overhead anfällt, würden Sie sich selbst ins Bein schießen, wenn Sie versuchen würden, auf diese Weise Datenparallelität zu erreichen.

Die Gesamtleistung und die Speicherbandbreite von 8x RTX PRO 6000 sind höher. Unter den richtigen Bedingungen kann dies zu einem höheren Durchsatz an Token pro Sekunde führen. Allerdings sollte dies sorgfältig mit der Leistung von 2x DGX Station GB300-Systemen verglichen werden, insbesondere im Hinblick auf den geringeren Stromverbrauch.

Tensor-Parallelität

Bei der Tensor-Parallelität verarbeitet jede GPU einen Teil jeder Schicht und berechnet ein Teilergebnis, das anschließend wieder zusammengefügt werden muss. Die erforderliche Synchronisation zwischen den GPUs ist sehr datenintensiv.

In der Regel sind NVLink und eine direkte GPU-zu-GPU-Kommunikation erforderlich, damit dies reibungslos funktioniert.

Da die RTX PRO 6000 nicht über eine NVLink-Option verfügt, raten wir davon ab, auf diesen Karten Tensor-Parallelität zu nutzen.

Pipeline-Parallelität

Die verschiedenen Ebenen werden auf unterschiedlichen GPUs ausgeführt, die wie ein Fließband miteinander verkettet sind.

Dies eignet sich gut für Multi-GPU-Cluster, wie beispielsweise 8x RTX PRO 6000 Blackwell, und könnte dazu führen, dass dieser GPU-Cluster die DGX Station GB300 an Leistung übertrifft.

Redundanz

Die DGX Station GB300 verfügt über ein einziges Netzteil, eine einzige GPU und eine einzige CPU. Dies sind einzelne Ausfallquellen. Ein Serversystem mit 4 oder 8 RTX Pro 6000 Blackwell-GPUs ist ausfallsicherer und weist im Falle eines Ausfalls nur eine allmähliche Leistungsminderung auf, anstatt vollständig auszufallen.

x86 / CPU / CPU-Arbeitsspeicher

Ein letzter Aspekt, den wir bei unserem Vergleich berücksichtigen müssen, ist die CPU-Architektur der Systeme.

Die DGX Station nutzt ARM-Kerne. Da x86 in der Serverwelt als De-facto-Standard gilt, müssten einige ältere Anwendungen neu kompiliert oder portiert werden. Die Kompatibilität könnte ein Problem darstellen.

Der in diesem Server verwendete AMD EPYC verfügt über eine höhere Speicherbandbreite – pro CPU und natürlich auch insgesamt für beide zusammen.

Je nach Aufgabenstellung könnten zusätzliche Verarbeitungsschritte auf die CPU-Kerne verlagert werden, was unter Umständen die insgesamt bessere Lösung darstellt. Wir empfehlen Ihnen daher, Ihre Anwendung ganzheitlich zu betrachten, um die für Sie am besten geeignete Lösung zu ermitteln.