DGX Station GB300 Benchmarking: 15 kleine und mittlere Modelle mit bis zu 256 gleichzeitig anfragenden Computern

Die DGX Station GB300 verfügt über 288 GB GPU-Speicher, und jeder der 15 Modelle in diesem Artikel passt problemlos hinein. Für diese Modelle zeigen die Benchmarks, wie viele Anfragen sie gleichzeitig verarbeiten, bevor die Antwort verlangsamt wird, und zu welchem Zeitpunkt eine höhere Belastung nicht mehr zu einer höheren Durchsatzleistung führt.

In diesem Artikel werden 15 Modelle mit einer Kapazität zwischen 11 und 126 GB behandelt, von kleinen Gemma-Modellen über ein 120-Milliarden-Parameter umfassendes Nemotron bis hin zu einem 126 GB großen Qwen-Modell mit Experten-Kompositionen – jeweils mit bis zu sieben Ladevorgängen mit jeweils 1 bis 256 gleichzeitigen Anfragen. Ein weiteres Artikel in dieser Serie behandelt die fünf größten Modelle auf derselben Maschine.

Wie ich diese Benchmarkwerte für die DGX Station ermittelt habe

Ich habe verwendet aiperf_tool, ein kleiner Rahmen, den ich um den Benchmark-Client AIPerf von NVIDIA und den vLLM-Inferenzserver gebaut habe. Jedes Modell läuft in einem eigenen vLLM-Container, und der Benchmark sendet Anfragen mit der gleichen Größe: eine Anforderung mit 1.024 Zeichen (ein wenig mehr, wenn sie in die Chat-Vorlage jedes Modells eingebettet wird) und genau 512 Ausgabetoken. Das Modell darf nicht vorzeitig stoppen, also erledigt jede Anfrage dieselbe Arbeit. Jedes Ladevorgangsspektrum dauert fünf Minuten und wurde zweimal gemessen.

Die Belastung wird als gleichzeitige Anfragen angegeben. Jede gleichzeitige Anfrage ist ein Slot, der seine nächste Anfrage sendet, sobald die vorherige Antwort abgeschlossen ist, ohne die Pausen, die eine Person für das Lesen und Tippen benötigt.

Der Benchmark misst die Geschwindigkeit: die Gesamtzahl der Token pro Sekunde, wie schnell die einzelnen Antwortströme fließen und die Zeit bis zum ersten Token. Er misst nicht die Antwortqualität und wurde ohne spekulativen Dekodierung durchgeführt.

System	NVIDIA DGX Station GB300, 288 GB HBM3e
Modelle	15
Zusammengesetzte Anfragen	1, 4, 16, 32, 64, 128 und 256 für 9 der Modelle
Laufkilometer pro Lastniveau	2
Inferenzserver	vLLM v0.29.0 (RadixArk Flash-Next: nächtliche Version); 40 % der GPU-Speicher für alle Modelle (für RadixArk Flash-Next lautet die Konfigurationsdatei im Repository 80 %; vLLM selbst meldet 40 %, die Einstellung zum Zeitpunkt der Erstellung des Containers); FP8 KV-Cache, außer RadixArk Flash-Next (Standard von vLLM)
Arbeitsaufwand	1.024 Eingabesteuerelemente / 512 Ausgabesteuerelemente, 5 Minuten pro Level
Daten	aiperf_dgx_station_260918

Alle Modelle waren auf 40 % der Speicherkapazität der GPU für die Gewichtswerte und den KV-Cache beschränkt, der den Kontext jeder aktiven Anforderung speichert.

So lesen Sie die Tabellen in diesen Benchmarks

Die in diesem Artikel dargestellten Diagramme sind Pareto-Kurven, die AIPerf für jedes Modell generiert. Hier ist nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4:

Die vertikale Achse ist der Gesamtoutput in Tokens pro Sekunde. Die Station verfügt über eine einzige GPU, daher lautet “per GPU” einfach die Gesamtzahl. Die horizontale Achse gibt an, wie schnell eine Antwortströme anfallen, in Tokens pro Sekunde pro Anfrage (AIPerf bezeichnet dies als “per User”). Jeder Punkt entspricht einer Laststufe, und die Zahl neben ihm ist die Konkurrentenzahl.

Bei einer gleichzeitigen Anforderung im äußersten rechten Bereich streamt dieses Modell eine Antwort mit einer Geschwindigkeit von etwa 384 Token pro Sekunde. Wenn man nach oben und nach links scrollt, steigt die Konzentration der Anforderungen: Bei 256 gleichzeitigen Anfragen fließen jede Antwort mit einer Geschwindigkeit von etwa 44 Token pro Sekunde, während das System insgesamt etwa 9.100 Ergebnisse erzeugt. Die Linie verknüpft die Laststufen, die in beiden Achsen gleichzeitig nicht übertroffen werden können; ein Punkt außerhalb der Linie weist sowohl eine geringere Gesamtlaufzeit als auch langsamerere Antworten auf als andere Laststufen. Die Skalierungsachsen passen sich an jedes Modell an, daher sollten Sie sie überprüfen, bevor Sie zwei Diagramme vergleichen.

Alle 15 Modelle wurden auf der DGX Station getestet.

Modell	Architektur	Präzision	Größe	1 Anfrage: tok/s, TTFT	16 simultane Anfragen: tok/s pro Anfrage, insgesamt	32 simultane: tok/s pro Anfrage, insgesamt	Höchste getestete Ebene: tok/s pro Anfrage, insgesamt	Gesamtsumme (at)
google/gemma-4-E4B-it	dicht, klein	BF16	15 GB	235,8, 0,03 s	235.6, 3,622	223.6, 6,758	256: 6.8*, 2,032	17,544 (128)
google/gemma-4-E4B-it-qat-w4a16-ct	dicht, klein	4-Bit QAT	11 GB	195,1, 0,03 s	185.6, 2,873	164.2, 5,038	256: 7.7*, 1,932	11,825 (128)
google/gemma-4-26B-A4B-it	MoE, Aktivität 4B	BF16	48 GB	242,5, 0,04 s	140.9, 2,203	104.3, 3,253	128: 59.6, 7,217	7,217 (128)
nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4	MoE, 3B aktiv	NVFP4	20 GB	383,8, 0,10 s	221.7, 3,048	157.7, 4,331	256: 44.6, 9,136	9,136 (256)
nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4	MoE, 12B aktiv	NVFP4	75 GB	213,8, 0,15 s	104.2, 1,551	77.9, 2,323	128: 37.3, 4,428	4,428 (128)
ibm-granite/granite-4.2-30b	dicht, 30B	BF16	55 GB	81,6, 0,05 s	83.6, 1,314	74.1, 2,330	128: 58.9, 7,260	7,260 (128)
Qwen/Qwen3.6-35B-A3B	MoE, 3B aktiv	BF16	67 GB	312,4, 0,11 s	165.4, 2,459	129.3, 3,742	128: 75.2, 8,491	8,491 (128)
nvidia/Qwen3.6-35B-A3B-NVFP4	MoE, 3B aktiv	NVFP4	22 GB	276,7, 0,13 s	179.4, 2,549	145.5, 4,021	256: 15.7, 3,738	7,828 (128)
RadixArk/Qwen3.8-Flash-Next-NVFP4	MoE, 10 von 512 Experten	NVFP4	126 GB	198,9, 0,14 s	114.7, 1,694	93.3, 2,694	256: 49.3, 2,605	2,694 (32)
Qwen/Qwen3.6-27B	dicht, 27B	BF16	52 GB	89,9, 0,06 s	77.6, 1,137	70.0, 1,955	128: 41.7, 4,236	4,236 (128)
nvidia/Qwen3.6-27B-NVFP4	dicht, 27B	NVFP4	20 GB	132,4, 0,18 s	107.2, 1,263	84.5, 1,787	256: 12.1, 1,986	2,461 (128)
Qwen/Qwen3.8-27B	dicht, 27B	BF16	52 GB	89,9, 0,07 s	77.5, 1,135	69.7, 1,957	128: 37.3, 4,257	4,257 (128)
Qwen/Qwen3.8-27B-FP8	dicht, 27B	FP8	29 GB	111,5, 0,09 s	80.3, 940	72.5, 1,414	256: 12.4, 2,237	2,237 (256)
Inferact/Qwen3.8-27B-NVFP4	dicht, 27B	NVFP4	25 GB	153,2, 0,12 s	122.5, 1,783	107.0, 3,005	256: 31.6, 7,384	7,384 (256)
unsloth/Qwen3.8-27B-NVFP4	dicht, 27B	NVFP4	22 GB	150,0, 0,10 s	121.4, 1,768	106.0, 2,973	256: 30.3, 7,123	7,123 (256)

Die Tokens pro Sekunde pro Anfrage ist die Geschwindigkeit, mit der eine Antwortströme fließen (gemittelt über alle Anfragen); die Summe ist die Gesamtzahl der Output-Tokens aller Anfragen, geteilt durch die Länge des Messzeitraums. TTFT ist die mittlere Zeit bis zum ersten Token. * Mittelwert statt Durchschnitt: Bei 256 gleichzeitig laufenden Anfragen liegen 5 bis 10 % der Anfragen mit extremen Werten die durchschnittliche Wertung für die beiden Gemma E4B-Varianten bei 76,5 und 42,1, was weit entfernt ist von dem, was die meisten Anfragen tatsächlich waren. Größe ist die Größe des Repositoriums des Modells bei Hugging Face. “Active” ist die Anzahl der Parameter, die ein Expertengemisch (MoE) für jeden generierten Token verwendet, geteilt durch die Gesamtzahl der Parameter.

Bei zehn der 15 Modelle erreichte ich im Test den höchsten Wert. Die anderen fünf erreichten ihren höchsten Gesamtdurchsatz früher; die folgenden Abschnitte zeigen, wo dies der Fall war.

Gemma 4 auf der DGX Station

gemma-4-E4B-Es handelt sich um ein kleines, dichtes Modell, und die QAT-Variante ist das gleiche Modell, das trainiert wurde, um mit 4-Bit-Gewichten zu arbeiten. gemma-4-26B-A4B-Es handelt sich um ein Modell mit Experten-Komponenten, bei dem etwa 4 Milliarden der 26 Milliarden Parameter pro Token aktiv sind.

gemma-4-E4B-es erreichte die höchste Gesamtverarbeitungsrate aller 15 Modelle: 17.544 Tokens pro Sekunde bei 128 gleichzeitigen Anfragen. Bis zu 16 gleichzeitige Anfragen, wobei die Antworten jeweils mit etwa 236 Tokens pro Sekunde gestreamt wurden – dieselbe Geschwindigkeit wie eine einzelne Anfrage – während die Gesamtzahl um etwa sechzehnfache Zunahme stieg. Bei 128 stammelte jede Antwort weiterhin mit etwa 156 Tokens.

google/gemma-4-E4B-it auf der DGX Station. Der Punkt für 256 befindet sich weit außerhalb der Linie.

Bei 256 gleichzeitigen Anfragen verhielten sich beide Varianten von Gemma E4B sehr unterschiedlich. Die Gesamtübertragungsrate sank auf etwa 2.000 Tokens pro Sekunde. Für gemma-4-E4B-it betrug die mittlere Anforderung pro Sekunde etwa 7 Tokens und dauerte von Anfang bis Ende etwa 75 Sekunden, im Vergleich zu 156 Tokens pro Sekunde und 3,7 Sekunden bei 128. Die Zeit bis zum ersten Token variierte ebenfalls stark, wie der Einzellaufdiagramm zeigt:

Jede Punktmarkierung entspricht einer einzelnen Anfrage, in der Reihenfolge, in der sie gesendet wurde.

Die meisten Anfragen erhielten ihr erstes Token innerhalb von etwa 7 Sekunden, aber eine Gruppe von ihnen wartete bis zu etwa 60 Sekunden. Ich habe die Ursache nicht untersucht. Der KV-Cache war nicht voll: Die eigenen Messwerte von vLLM, die AIPerf zusammen mit den Messwerten erfasst hatte, zeigten, dass dieser bei diesem Level höchstens 6 % voll war (5 % für die QAT-Variante), und keine Anfrage wurde vorübergehend ausgeführt.

google/gemma-4-E4B-it-qat-w4a16-ct auf der DGX Station. Der Punkt für 256 liegt weit außerhalb der Linie, wie bei der BF16-Version.

gemma-4-26B-A4B-streamte eine einzige Antwort mit einer Geschwindigkeit von etwa 243 Tokens pro Sekunde und erreichte insgesamt 7.217 Verbindungen bei 128 gleichzeitig gesendeten Anfragen – dem höchsten Testniveau.

google/gemma-4-26B-A4B-it auf der DGX Station.

Nemotron auf der DGX Station

nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4, das Modell im obigen Beispieldiagramm, verwendet etwa 3 Milliarden aktive Parameter und das 4-Bit-NVFP4-Format von NVIDIA. Es erreichte die höchste Single-Request-Geschwindigkeit aller 15 Modelle mit etwa 384 Tokens pro Sekunde und seine Gesamtübertragungsleistung stieg weiterhin mit 256 gleichzeitig gesendeten Anfragen auf 9.136 Tokens pro Sekunde. Eine Anfrage benötigte bei diesem Niveau etwa 14 Sekunden.

nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4 verfügt über 120 Milliarden Parameter; 12 Milliarden davon sind pro Token aktiv. Es streamte eine einzige Antwort in etwa 214 Tokens pro Sekunde und erreichte insgesamt 4.428 bei 128, der höchsten Stufe, die ich dafür getestet habe.

nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4 auf der DGX Station.

Granit auf der DGX-Station

ibm-granite/granite-4.2-30b ist ein dichtes Modell mit 30 Milliarden Parametern in BF16. Es lieferte eine einzige Antwort mit einer Geschwindigkeit von etwa 82 Tokens pro Sekunde und hielt diese Geschwindigkeit bis zu 16 gleichzeitigen Anfragen (etwa 84); darüber hinaus fiel sie auf 59 bei 128. Die Gesamtübertragungsleistung stieg mit der Belastung stetig an, bis sie bei 128 auf 7.260 Tokens pro Sekunde erreichte, ihrem höchsten getesteten Niveau, mit einer durchschnittlichen Reaktionszeit von 0,33 Sekunden.

ibm-granite/granite-4.2-30b auf der DGX Station. Die Punkte für 1 und 4 liegen außerhalb der Linie, da 16 gleichzeitige Anfragen mindestens so schnell pro Anfrage gestreamt wurden, wobei die Gesamtzahl höher war.

Qwen auf der DGX Station

Die Qwen-Gruppe umfasst drei Modelle mit einer Mischung aus Experten und sechs Modelle mit einer hohen Dichte (27B) in unterschiedlichen Genauigkeitsstufen.

Qwen/Qwen3.6-35B-A3B in BF16 verwendet etwa 3 Milliarden seiner 35 Milliarden Parameter pro Token. Es streamte eine einzige Antwort mit einer Geschwindigkeit von etwa 312 Tokens pro Sekunde und erreichte insgesamt 8.491 Token bei 128, dem höchsten getesteten Niveau. Die NVFP4-Version von NVIDIA erreichte 7.828 bei 128; bei 256 sank ihre Gesamtzahl auf 3.738, und eine Anforderung dauerte etwa 35 Sekunden. Die NVFP4-Version wurde mit zwei zusätzlichen vLLM-Einstellungen ausgeführt (– attention-backend flashinfer, –moe-backend marlin).

Qwen/Qwen3.6-35B-A3B auf der DGX Station.

nvidia/Qwen3.6-35B-A3B-NVFP4 auf der DGX Station. Der Punkt für 256 liegt weit außerhalb der Linie.

RadixArk/Qwen3.8-Flash-Next-NVFP4 ist ein größeres Modell mit einer Mischung aus Experten, mit 126 GB Speicherplatz und 512 Experten, von denen 10 pro Token verwendet werden. Es wurde auf der vLLL-Nachtebauversion ausgeführt, wobei die gleiche 40 % GPU-Speicherkapazität wie bei den anderen Modellen vorhanden war. Mit 32 parallelen Anfragen erreichte sie ihre maximale Gesamtzahl von 2.694 Tokens pro Sekunde. Darüber hinaus lag die Gesamtzahl zwischen etwa 2.600 und 2.700. Die eigenen Messwerte von vLLM zeigen, was mit ihr zusammenhängt: Ab 64 parallelen Anfragen war der KV-Cache voll und maximal 56 Anfragen konnten gleichzeitig ausgeführt werden, und vLLM unterbrach die Ausführung von Anfragen (pauseierte diese und startete sie später neu) etwa 700 bis 850 Mal pro fünfminütigen Lauf. Die anderen Anfragen warteten: Die durchschnittliche Wartezeit bis zum ersten Token nahm von 0,6 Sekunden bei 32 auf etwa 14 Sekunden bei 128 und 36 Sekunden bei 256 zu.

RadixArk/Qwen3.8-Flash-Next-NVFP4 auf der DGX Station. Die Punkte für 64, 128 und 256 entsprechen etwa dem gleichen Gesamtdurchsatz wie bei 32.

Die dichten Modelle 27B, Qwen3.6-27B und Qwen3.8-27B wurden in den Versionen BF16 und FP8 sowie NVFP4 von verschiedenen Herausgebern ausgeführt. In BF16 lieferten beide jeweils eine einzige Antwort mit einer Geschwindigkeit von etwa 90 Tokens pro Sekunde und erreichten insgesamt bei 128 eine Gesamtzahl von etwa 4.250. Die quantisierten Versionen unterscheiden sich unter Last erheblich voneinander: Bei ihren Höchstwerten lagen die Werte zwischen 2.237 und 7.384 Tokens pro Sekunde. Ein weiteres Artikel in dieser Reihe beleuchtet diese Varianten in detaillem Detail.

Qwen/Qwen3.6-27B auf der DGX Station.

Qwen/Qwen3.8-27B auf der DGX Station.

nvidia/Qwen3.6-27B-NVFP4 auf der DGX Station.

Qwen/Qwen3.8-27B-FP8 auf der DGX Station.

Inferact/Qwen3.8-27B-NVFP4 auf der DGX Station.

unsloth/Qwen3.8-27B-NVFP4 auf der DGX Station.

Bei allen 15 Modellen

Die Geschwindigkeit für eine einzelne Anforderung variierte zwischen etwa 82 und 384 Token pro Sekunde und die maximale Gesamtübertragungsleistung lag zwischen 2.237 und 17.544 Token pro Sekunde. Die niedrigsten Einzelanforderungsraten, 82 bis 90 Token pro Sekunde, wurden von den drei dicht besetzten Modellen mit 27 bis 30 Milliarden aktiven Parametern in BF16 erreicht; die höchsten Werte wurden von Modellen mit 3 bis 4 Milliarden aktiven Parametern erzielt.

Fünf Modelle erreichten ihren Höchstwert vor dem höchsten Lastpegel: sowohl die Gemma E4B-Varianten als auch die NVFP4-Versionen von Qwen3.6-27B und Qwen3.6-35B-A3B von NVIDIA bei 128, sowie RadixArk Flash-Next bei 32. Für diese bedeutete ein Überschreiten des Höchstwertes eine geringere Gesamtübertragungsgeschwindigkeit oder viel längere Wartezeiten.

Grenzen dieses Tests

Jede Lastebene wurde zweimal ausgeführt. Alle Modelle waren auf 40 % der GPU-Speicherkapazität beschränkt; zwei davon füllten ihren KV-Cache, Nemotron-3-Super mit 128 parallelen Anfragen und RadixArk Flash-Next mit 64. RadixArk Flash-Next wurde mit einem anderen KV-Cache-Format und einer vLLM-Version ausgeführt als die anderen. Sechs Modelle wurden bis zu 128 statt 256 parallelen Anfragen getestet. Die Belastung ist synthetisch und die tatsächlichen Anfragen und Antworten variieren in der Länge.

Daten

Alle Rohdaten, Konfigurationsdateien und Diagramme sind vorhanden. aiperf_dgx_station_260918. Jedes Modell hat seinen eigenen Ordner unter Artefakte/:

Modell	Ordner
google/gemma-4-E4B-it	20260916_171715_google_gemma-4-E4B-it_c1,4,16,32,64,128,256
google/gemma-4-E4B-it-qat-w4a16-ct	20260916_183753_google_gemma-4-E4B-it-qat-w4a16-ct_c1,4,16,32,64,128,256
google/gemma-4-26B-A4B-it	20260916_160706_google_gemma-4-26B-A4B-it_c1,4,16,32,64,128
nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4	20260916_234041_nvidia_NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4_c1,4,16,32,64,128,256
nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4	20260916_223047_nvidia_NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4_c1,4,16,32,64,128
ibm-granite/granite-4.2-30b	20260916_195805_ibm-granite_granite-4.2-30b_c1,4,16,32,64,128
Qwen/Qwen3.6-35B-A3B	20260917_050205_Qwen_Qwen3.6-35B-A3B_c1,4,16,32,64,128
nvidia/Qwen3.6-35B-A3B-NVFP4	20260917_023947_nvidia_Qwen3.6-35B-A3B-NVFP4_c1,4,16,32,64,128,256
RadixArk/Qwen3.8-Flash-Next-NVFP4	20260917_083130_RadixArk_Qwen3.8-Flash-Next-NVFP4_c1,4,16,32,64,128,256
Qwen/Qwen3.6-27B	20260917_035547_Qwen_Qwen3.6-27B_c1,4,16,32,64,128
nvidia/Qwen3.6-27B-NVFP4	20260917_012119_nvidia_Qwen3.6-27B-NVFP4_c1,4,16,32,64,128,256
Qwen/Qwen3.8-27B	20260917_060722_Qwen_Qwen3.8-27B_c1,4,16,32,64,128
Qwen/Qwen3.8-27B-FP8	20260917_071251_Qwen_Qwen3.8-27B-FP8_c1,4,16,32,64,128,256
Inferact/Qwen3.8-27B-NVFP4	20260916_210841_Inferact_Qwen3.8-27B-NVFP4_c1,4,16,32,64,128,256
unsloth/Qwen3.8-27B-NVFP4	20260917_094856_unsloth_Qwen3.8-27B-NVFP4_c1,4,16,32,64,128,256

Die genauen vLLM-Einstellungen für jedes Modell sind in conf/model_compose_overrides/.

Wenn Sie die DGX Station für ein bestimmtes Modell oder eine bestimmte Anwendung evaluieren möchten, würden wir uns freuen, Ihre Anforderungen zu hören. Wir können Ihr Modell anhand Ihrer eigenen Anweisungen und Längen der Antworten vergleichen und Ihnen helfen, zu bewerten, was die Ergebnisse für Ihren Anwendungsfall bedeuten.