Technische Daten der Nvidia GB300 (einschließlich Speicherbandbreite und LLM-Benchmarks) auf Basis von Systemen aus dem Jahr 2026

Die Markteinführung der auf dem GB300 von Nvidia basierenden DGX-Station bietet Unternehmenskunden die Möglichkeit, direkt innerhalb ihrer eigenen Infrastruktur von bisher unerreichten Leistungsniveaus im Bereich der künstlichen Intelligenz zu profitieren. 

Nvidia-GB300-Systeme wie das ASUS ExpertCenter Pro ET900N G3 (das ich in einem kommenden Artikel testen werde) übertragen Spezifikationen der Rechenzentrums-Klasse in praktikable Desktop-Formate und ermöglichen es Technikern und Teams, bestehende Modelle ohne Abhängigkeiten von externen Cloud-Diensten oder damit verbundene Abonnements und mit minimalem Integrationsaufwand zu testen. 

Über Leistungsvergleiche, die Speicherung sensibler Daten und den Schutz geistigen Eigentums ausschließlich vor Ort hinaus können Unternehmen sichere Bereitstellungsstrategien prüfen, die mit den Zielen ihres Unternehmens hinsichtlich der Datenhoheit im Einklang stehen. 

Was die Bereitstellung betrifft, ist die DGX Station im Vergleich zu anderen Lösungen besonders attraktiv, da sie eine geringere betriebliche Komplexität aufweist und über einen professionellen Enterprise-Stack verfügt, der zahlreiche Rechenzentrumsfunktionen bietet, ohne den Aufwand einer Rechenzentrumsinfrastruktur mit sich zu bringen.

Die Modelle, die derzeit vorbestellt werden können, werden vom “Nvidia GB300 Grace Blackwell Ultra Desktop Superchip” angetrieben. Dieser vereint eine ARM-basierte Grace-CPU mit 72 Kernen und eine Blackwell Ultra-GPU in einem (typischerweise recht großen) Desktop-Tower-Gehäuse. Ein Standard-System kann bis zu ca. 20 FP4-PFLOPS liefern (ohne Berücksichtigung zusätzlicher GPUs und thermischer Einschränkungen).

GB300 – Technische Daten der Hardware

Der Kern des oben genannten Nvidia-GB300-Pakets ist mit einem 748 GB großen kohärenten Speicherpool ausgestattet, der zwischen den GPU- und CPU-Kernen aufgeteilt ist (siehe unten). Derzeit ist dies bei allen Modellen und Anbietern identisch. Originalgerätehersteller (OEMs) unterscheiden ihre Artikelnummern (SKUs) jedoch durch die Integration verschiedener Komponenten. Beispiele hierfür sind: Betriebssystem, Gehäuseakustik/-kühlung, Netzwerkanschlüsse und zusätzliche Grafikkarten.

• Prozessorarchitektur: GB300 Grace Blackwell Ultra Desktop Superchip
• Maximale Modellgröße (Inferenz): Bis zu 1 Billion Parameter (bei Verwendung von FP4 oder quantisierten Formaten)
• Maximale Modellgröße (Feinabstimmung): 200 bis 400 Milliarden Parameter (unter Verwendung von LoRA/QLoRA)
• Gesamtkapazität des kohärenten Speicherpools: 748 GB (integrierter CPU- und GPU-Speicherplatz)
• GPU-Speicher (VRAM): 252 GB HBM3e
• GPU-Speicherbandbreite: 7,1 TB/s
• CPU-Speicher (System-RAM): 496 GB LPDDR5X
• Verbindungstechnik: NVLink-C2C (Chip-zu-Chip)
• Verbindungsbandbreite: 900 GB/s bidirektional
• Formfaktor: Desktop-Workstation

GB300-Leistungsmatrix bei 1600 Watt

Angesichts der Integrationsbeschränkungen dürfte die theoretische Spitzenleistung bei allen OEM-Geräten ähnlich ausfallen.

FP4-Tensor-Core: 20 PFLOPS (spärlich) / 15 PFLOPS (dicht)
INT8-Tensor-Core: 330 Oberteile
FP8 / FP6 Tensor-Core: 10 PFLOPS
FP16-/BF16-Tensor-Core: 5 PFLOPS
TF32-Tensor-Core: 2,5 PFLOPS
FP32: 80 TFLOPS
FP64 / FP64-Tensor-Core: 1,3 TFLOPS

GB300-Benchmarks bei großen LLMs

Modell / Arbeitslast	Tok/Sek.
Kimi 2,5, 1,1 T	40–50 (Gesamtzahl der Bahnhöfe)
Nemotron Ultra, 550B	~35 / einzelne Anfrage. Skalierbar auf 4–5.
GLM-5.2-REAP 504B	~60

Die GB300-Speicherarchitektur im Detail

Das vielleicht charakteristischste Merkmal des GB300 ist die “zweistufige einheitliche Speicherarchitektur”, die zwar riesige Modelle ausführen kann, jedoch je nach Modellgröße (Gewichte + Kontext) zu Leistungseinbußen führen kann. Auf der primären Ebene verfügt das System über HBM3e-GPU-Speicher mit einer Bandbreite von 7,1 TB/s – ein Hochleistungs-Chip für Aufgaben wie Einbettung, Inferenz usw.

Darüber hinaus nutzt es eine kohärente NVLink-C2C-Brücke, um mit einer Geschwindigkeit von 900 GB/s auf standardmäßigen bzw. langsameren LPDDR5X-Speicher zuzugreifen, wodurch ein Überlaufpool für große Arbeitslasten geschaffen wird. Wenn ein quantisiertes Modell – beispielsweise ein 100B-Modell mit FP4- oder FP8-Genauigkeit – vollständig in den GPU-Pool passt, nutzt es die maximale Bandbreite von 7,1 TB/s, um Token in atemberaubendem Tempo zu generieren.

Wenn jedoch die Größe eines Modells diesen Schwellenwert überschreitet (z. B. ein nicht quantisiertes FP32-Modell mit 100B oder Llama 3.1 mit 405B), greift das System über die Kohärenzbrücke auf die Überlaufdaten zu; Dies kann sich negativ auf die Token-Generierung für jene Gewichte auswirken, die der 900-GB/s-Grenze unterliegen, was zu einem Rückgang der (z. B. Inferenz-)Geschwindigkeiten bei Parametern führt, die außerhalb des reinen GPU-RAMs gespeichert sind. Positiv zu vermerken ist jedoch, dass bei richtiger Konfiguration die Optimierung von MoE-Modellen die Ausführung bisher unerreichbarer Workloads mit minimalen Einbußen ermöglichen kann, sofern aktive und inaktive Experten (möglicherweise mit unterschiedlichen Quantisierungen) innerhalb ihrer jeweiligen (HBM3e/LPDDR5X-)RAM-Grenzen liegen.

DGX Station-Produkte nach OEM

Zum Zeitpunkt der Erstellung dieses Artikels sind dies die derzeit verfügbaren Varianten:

• ASUS – ExpertCenter Pro ET900N G3
• Dell – Dell Pro Max mit GB300
• Exxact – Valence-/TensorEX-Stationen
• Gigabyte – W775-V10-L01
• HP – ZGX Fury
• MSI – XpertStation WS300
• Supermicro – Super AI Station

---