{"id":32431,"date":"2026-11-09T21:14:58","date_gmt":"2026-11-09T20:14:58","guid":{"rendered":"https:\/\/pi3g.com\/?p=32431"},"modified":"2026-11-09T21:18:47","modified_gmt":"2026-11-09T20:18:47","slug":"dgx-station-gb300-benchmarking-15-small-and-mid-size-models-up-to-256-concurrent-requests","status":"publish","type":"post","link":"https:\/\/pi3g.com\/de\/dgx-station-gb300-benchmarking-15-small-and-mid-size-models-up-to-256-concurrent-requests\/","title":{"rendered":"DGX Station GB300 Benchmarking: 15 kleine und mittlere Modelle mit bis zu 256 gleichzeitig anfragenden Computern"},"content":{"rendered":"

Die DGX Station GB300 verf\u00fcgt \u00fcber 288 GB GPU-Speicher, und jeder der 15 Modelle in diesem Artikel passt problemlos hinein. F\u00fcr diese Modelle zeigen die Benchmarks, wie viele Anfragen sie gleichzeitig verarbeiten, bevor die Antwort verlangsamt wird, und zu welchem Zeitpunkt eine h\u00f6here Belastung nicht mehr zu einer h\u00f6heren Durchsatzleistung f\u00fchrt.<\/p>\n\n\n\n

In diesem Artikel werden 15 Modelle mit einer Kapazit\u00e4t zwischen 11 und 126 GB behandelt, von kleinen Gemma-Modellen \u00fcber ein 120-Milliarden-Parameter umfassendes Nemotron bis hin zu einem 126 GB gro\u00dfen Qwen-Modell mit Experten-Kompositionen \u2013 jeweils mit bis zu sieben Ladevorg\u00e4ngen mit jeweils 1 bis 256 gleichzeitigen Anfragen. Ein weiteres Artikel in dieser Serie behandelt die f\u00fcnf gr\u00f6\u00dften Modelle auf derselben Maschine.<\/p>\n\n\n\n

\n
Kontaktieren Sie pi3g, um LLM-Inferenzserver wie den Nvidia Spark und die Station zu kaufen.<\/a><\/div>\n<\/div>\n\n\n\n

Wie ich diese Benchmarkwerte f\u00fcr die DGX Station ermittelt habe<\/h2>\n\n\n\n

Ich habe verwendet aiperf_tool<\/a>, ein kleiner Rahmen, den ich um den Benchmark-Client AIPerf von NVIDIA und den vLLM-Inferenzserver gebaut habe. Jedes Modell l\u00e4uft in einem eigenen vLLM-Container, und der Benchmark sendet Anfragen mit der gleichen Gr\u00f6\u00dfe: eine Anforderung mit 1.024 Zeichen (ein wenig mehr, wenn sie in die Chat-Vorlage jedes Modells eingebettet wird) und genau 512 Ausgabetoken. Das Modell darf nicht vorzeitig stoppen, also erledigt jede Anfrage dieselbe Arbeit. Jedes Ladevorgangsspektrum dauert f\u00fcnf Minuten und wurde zweimal gemessen.<\/p>\n\n\n\n

Die Belastung wird als gleichzeitige Anfragen angegeben. Jede gleichzeitige Anfrage ist ein Slot, der seine n\u00e4chste Anfrage sendet, sobald die vorherige Antwort abgeschlossen ist, ohne die Pausen, die eine Person f\u00fcr das Lesen und Tippen ben\u00f6tigt.<\/p>\n\n\n\n

Der Benchmark misst die Geschwindigkeit: die Gesamtzahl der Token pro Sekunde, wie schnell die einzelnen Antwortstr\u00f6me flie\u00dfen und die Zeit bis zum ersten Token. Er misst nicht die Antwortqualit\u00e4t und wurde ohne spekulativen Dekodierung durchgef\u00fchrt.<\/p>\n\n\n\n

<\/th><\/th><\/tr><\/thead>
System<\/td>NVIDIA DGX Station GB300, 288 GB HBM3e<\/td><\/tr>
Modelle<\/td>15<\/td><\/tr>
Zusammengesetzte Anfragen<\/td>1, 4, 16, 32, 64, 128 und 256 f\u00fcr 9 der Modelle<\/td><\/tr>
Laufkilometer pro Lastniveau<\/td>2<\/td><\/tr>
Inferenzserver<\/td>vLLM v0.29.0 (RadixArk Flash-Next: n\u00e4chtliche Version); 40 % der GPU-Speicher f\u00fcr alle Modelle (f\u00fcr RadixArk Flash-Next lautet die Konfigurationsdatei im Repository 80 %; vLLM selbst meldet 40 %, die Einstellung zum Zeitpunkt der Erstellung des Containers); FP8 KV-Cache, au\u00dfer RadixArk Flash-Next (Standard von vLLM)<\/td><\/tr>
Arbeitsaufwand<\/td>1.024 Eingabesteuerelemente \/ 512 Ausgabesteuerelemente, 5 Minuten pro Level<\/td><\/tr>
Daten<\/td>aiperf_dgx_station_260918<\/a><\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Alle Modelle waren auf 40 % der Speicherkapazit\u00e4t der GPU f\u00fcr die Gewichtswerte und den KV-Cache beschr\u00e4nkt, der den Kontext jeder aktiven Anforderung speichert.<\/p>\n\n\n\n

So lesen Sie die Tabellen in diesen Benchmarks<\/h2>\n\n\n\n

Die in diesem Artikel dargestellten Diagramme sind Pareto-Kurven, die AIPerf f\u00fcr jedes Modell generiert. Hier ist nvidia\/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4:<\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

Die vertikale Achse ist der Gesamtoutput in Tokens pro Sekunde. Die Station verf\u00fcgt \u00fcber eine einzige GPU, daher lautet \u201cper GPU\u201d einfach die Gesamtzahl. Die horizontale Achse gibt an, wie schnell eine Antwortstr\u00f6me anfallen, in Tokens pro Sekunde pro Anfrage (AIPerf bezeichnet dies als \u201cper User\u201d). Jeder Punkt entspricht einer Laststufe, und die Zahl neben ihm ist die Konkurrentenzahl.<\/p>\n\n\n\n

Bei einer gleichzeitigen Anforderung im \u00e4u\u00dfersten rechten Bereich streamt dieses Modell eine Antwort mit einer Geschwindigkeit von etwa 384 Token pro Sekunde. Wenn man nach oben und nach links scrollt, steigt die Konzentration der Anforderungen: Bei 256 gleichzeitigen Anfragen flie\u00dfen jede Antwort mit einer Geschwindigkeit von etwa 44 Token pro Sekunde, w\u00e4hrend das System insgesamt etwa 9.100 Ergebnisse erzeugt. Die Linie verkn\u00fcpft die Laststufen, die in beiden Achsen gleichzeitig nicht \u00fcbertroffen werden k\u00f6nnen; ein Punkt au\u00dferhalb der Linie weist sowohl eine geringere Gesamtlaufzeit als auch langsamerere Antworten auf als andere Laststufen. Die Skalierungsachsen passen sich an jedes Modell an, daher sollten Sie sie \u00fcberpr\u00fcfen, bevor Sie zwei Diagramme vergleichen.<\/p>\n\n\n\n

Alle 15 Modelle wurden auf der DGX Station getestet.<\/h2>\n\n\n\n
Modell<\/th>Architektur<\/th>Pr\u00e4zision<\/th>Gr\u00f6\u00dfe<\/th>1 Anfrage: tok\/s, TTFT<\/th>16 simultane Anfragen: tok\/s pro Anfrage, insgesamt<\/th>32 simultane: tok\/s pro Anfrage, insgesamt<\/th>H\u00f6chste getestete Ebene: tok\/s pro Anfrage, insgesamt<\/th>Gesamtsumme (at)<\/th><\/tr><\/thead>
google\/gemma-4-E4B-it<\/td>dicht, klein<\/td>BF16<\/td>15 GB<\/td>235,8, 0,03 s<\/td>235.6, 3,622<\/td>223.6, 6,758<\/td>256: 6.8*, 2,032<\/td>17,544 (128)<\/td><\/tr>
google\/gemma-4-E4B-it-qat-w4a16-ct<\/td>dicht, klein<\/td>4-Bit QAT<\/td>11 GB<\/td>195,1, 0,03 s<\/td>185.6, 2,873<\/td>164.2, 5,038<\/td>256: 7.7*, 1,932<\/td>11,825 (128)<\/td><\/tr>
google\/gemma-4-26B-A4B-it<\/td>MoE, Aktivit\u00e4t 4B<\/td>BF16<\/td>48 GB<\/td>242,5, 0,04 s<\/td>140.9, 2,203<\/td>104.3, 3,253<\/td>128: 59.6, 7,217<\/td>7,217 (128)<\/td><\/tr>
nvidia\/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4<\/td>MoE, 3B aktiv<\/td>NVFP4<\/td>20 GB<\/td>383,8, 0,10 s<\/td>221.7, 3,048<\/td>157.7, 4,331<\/td>256: 44.6, 9,136<\/td>9,136 (256)<\/td><\/tr>
nvidia\/NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4<\/td>MoE, 12B aktiv<\/td>NVFP4<\/td>75 GB<\/td>213,8, 0,15 s<\/td>104.2, 1,551<\/td>77.9, 2,323<\/td>128: 37.3, 4,428<\/td>4,428 (128)<\/td><\/tr>
ibm-granite\/granite-4.2-30b<\/td>dicht, 30B<\/td>BF16<\/td>55 GB<\/td>81,6, 0,05 s<\/td>83.6, 1,314<\/td>74.1, 2,330<\/td>128: 58.9, 7,260<\/td>7,260 (128)<\/td><\/tr>
Qwen\/Qwen3.6-35B-A3B<\/td>MoE, 3B aktiv<\/td>BF16<\/td>67 GB<\/td>312,4, 0,11 s<\/td>165.4, 2,459<\/td>129.3, 3,742<\/td>128: 75.2, 8,491<\/td>8,491 (128)<\/td><\/tr>
nvidia\/Qwen3.6-35B-A3B-NVFP4<\/td>MoE, 3B aktiv<\/td>NVFP4<\/td>22 GB<\/td>276,7, 0,13 s<\/td>179.4, 2,549<\/td>145.5, 4,021<\/td>256: 15.7, 3,738<\/td>7,828 (128)<\/td><\/tr>
RadixArk\/Qwen3.8-Flash-Next-NVFP4<\/td>MoE, 10 von 512 Experten<\/td>NVFP4<\/td>126 GB<\/td>198,9, 0,14 s<\/td>114.7, 1,694<\/td>93.3, 2,694<\/td>256: 49.3, 2,605<\/td>2,694 (32)<\/td><\/tr>
Qwen\/Qwen3.6-27B<\/td>dicht, 27B<\/td>BF16<\/td>52 GB<\/td>89,9, 0,06 s<\/td>77.6, 1,137<\/td>70.0, 1,955<\/td>128: 41.7, 4,236<\/td>4,236 (128)<\/td><\/tr>
nvidia\/Qwen3.6-27B-NVFP4<\/td>dicht, 27B<\/td>NVFP4<\/td>20 GB<\/td>132,4, 0,18 s<\/td>107.2, 1,263<\/td>84.5, 1,787<\/td>256: 12.1, 1,986<\/td>2,461 (128)<\/td><\/tr>
Qwen\/Qwen3.8-27B<\/td>dicht, 27B<\/td>BF16<\/td>52 GB<\/td>89,9, 0,07 s<\/td>77.5, 1,135<\/td>69.7, 1,957<\/td>128: 37.3, 4,257<\/td>4,257 (128)<\/td><\/tr>
Qwen\/Qwen3.8-27B-FP8<\/td>dicht, 27B<\/td>FP8<\/td>29 GB<\/td>111,5, 0,09 s<\/td>80.3, 940<\/td>72.5, 1,414<\/td>256: 12.4, 2,237<\/td>2,237 (256)<\/td><\/tr>
Inferact\/Qwen3.8-27B-NVFP4<\/td>dicht, 27B<\/td>NVFP4<\/td>25 GB<\/td>153,2, 0,12 s<\/td>122.5, 1,783<\/td>107.0, 3,005<\/td>256: 31.6, 7,384<\/td>7,384 (256)<\/td><\/tr>
unsloth\/Qwen3.8-27B-NVFP4<\/td>dicht, 27B<\/td>NVFP4<\/td>22 GB<\/td>150,0, 0,10 s<\/td>121.4, 1,768<\/td>106.0, 2,973<\/td>256: 30.3, 7,123<\/td>7,123 (256)<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Die Tokens pro Sekunde pro Anfrage ist die Geschwindigkeit, mit der eine Antwortstr\u00f6me flie\u00dfen (gemittelt \u00fcber alle Anfragen); die Summe ist die Gesamtzahl der Output-Tokens aller Anfragen, geteilt durch die L\u00e4nge des Messzeitraums. TTFT ist die mittlere Zeit bis zum ersten Token. * Mittelwert statt Durchschnitt: Bei 256 gleichzeitig laufenden Anfragen liegen 5 bis 10 % der Anfragen mit extremen Werten die durchschnittliche Wertung f\u00fcr die beiden Gemma E4B-Varianten bei 76,5 und 42,1, was weit entfernt ist von dem, was die meisten Anfragen tats\u00e4chlich waren. Gr\u00f6\u00dfe ist die Gr\u00f6\u00dfe des Repositoriums des Modells bei Hugging Face. \u201cActive\u201d ist die Anzahl der Parameter, die ein Expertengemisch (MoE) f\u00fcr jeden generierten Token verwendet, geteilt durch die Gesamtzahl der Parameter.<\/p>\n\n\n\n

Bei zehn der 15 Modelle erreichte ich im Test den h\u00f6chsten Wert. Die anderen f\u00fcnf erreichten ihren h\u00f6chsten Gesamtdurchsatz fr\u00fcher; die folgenden Abschnitte zeigen, wo dies der Fall war.<\/p>\n\n\n\n

Gemma 4 auf der DGX Station<\/h3>\n\n\n\n

gemma-4-E4B-Es handelt sich um ein kleines, dichtes Modell, und die QAT-Variante ist das gleiche Modell, das trainiert wurde, um mit 4-Bit-Gewichten zu arbeiten. gemma-4-26B-A4B-Es handelt sich um ein Modell mit Experten-Komponenten, bei dem etwa 4 Milliarden der 26 Milliarden Parameter pro Token aktiv sind.<\/p>\n\n\n\n

gemma-4-E4B-es erreichte die h\u00f6chste Gesamtverarbeitungsrate aller 15 Modelle: 17.544 Tokens pro Sekunde bei 128 gleichzeitigen Anfragen. Bis zu 16 gleichzeitige Anfragen, wobei die Antworten jeweils mit etwa 236 Tokens pro Sekunde gestreamt wurden \u2013 dieselbe Geschwindigkeit wie eine einzelne Anfrage \u2013 w\u00e4hrend die Gesamtzahl um etwa sechzehnfache Zunahme stieg. Bei 128 stammelte jede Antwort weiterhin mit etwa 156 Tokens.<\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

google\/gemma-4-E4B-it auf der DGX Station. Der Punkt f\u00fcr 256 befindet sich weit au\u00dferhalb der Linie.<\/em><\/p>\n\n\n\n

Bei 256 gleichzeitigen Anfragen verhielten sich beide Varianten von Gemma E4B sehr unterschiedlich. Die Gesamt\u00fcbertragungsrate sank auf etwa 2.000 Tokens pro Sekunde. F\u00fcr gemma-4-E4B-it betrug die mittlere Anforderung pro Sekunde etwa 7 Tokens und dauerte von Anfang bis Ende etwa 75 Sekunden, im Vergleich zu 156 Tokens pro Sekunde und 3,7 Sekunden bei 128. Die Zeit bis zum ersten Token variierte ebenfalls stark, wie der Einzellaufdiagramm zeigt:<\/p>\n\n\n\n

\"Die<\/figure>\n\n\n\n

Jede Punktmarkierung entspricht einer einzelnen Anfrage, in der Reihenfolge, in der sie gesendet wurde.<\/em><\/p>\n\n\n\n

Die meisten Anfragen erhielten ihr erstes Token innerhalb von etwa 7 Sekunden, aber eine Gruppe von ihnen wartete bis zu etwa 60 Sekunden. Ich habe die Ursache nicht untersucht. Der KV-Cache war nicht voll: Die eigenen Messwerte von vLLM, die AIPerf zusammen mit den Messwerten erfasst hatte, zeigten, dass dieser bei diesem Level h\u00f6chstens 6 % voll war (5 % f\u00fcr die QAT-Variante), und keine Anfrage wurde vor\u00fcbergehend ausgef\u00fchrt.<\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

google\/gemma-4-E4B-it-qat-w4a16-ct auf der DGX Station. Der Punkt f\u00fcr 256 liegt weit au\u00dferhalb der Linie, wie bei der BF16-Version.<\/em><\/p>\n\n\n\n

gemma-4-26B-A4B-streamte eine einzige Antwort mit einer Geschwindigkeit von etwa 243 Tokens pro Sekunde und erreichte insgesamt 7.217 Verbindungen bei 128 gleichzeitig gesendeten Anfragen \u2013 dem h\u00f6chsten Testniveau.<\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

google\/gemma-4-26B-A4B-it auf der DGX Station.<\/em><\/p>\n\n\n\n

Nemotron auf der DGX Station<\/h3>\n\n\n\n

nvidia\/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4, das Modell im obigen Beispieldiagramm, verwendet etwa 3 Milliarden aktive Parameter und das 4-Bit-NVFP4-Format von NVIDIA. Es erreichte die h\u00f6chste Single-Request-Geschwindigkeit aller 15 Modelle mit etwa 384 Tokens pro Sekunde und seine Gesamt\u00fcbertragungsleistung stieg weiterhin mit 256 gleichzeitig gesendeten Anfragen auf 9.136 Tokens pro Sekunde. Eine Anfrage ben\u00f6tigte bei diesem Niveau etwa 14 Sekunden.<\/p>\n\n\n\n

nvidia\/NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4 verf\u00fcgt \u00fcber 120 Milliarden Parameter; 12 Milliarden davon sind pro Token aktiv. Es streamte eine einzige Antwort in etwa 214 Tokens pro Sekunde und erreichte insgesamt 4.428 bei 128, der h\u00f6chsten Stufe, die ich daf\u00fcr getestet habe.<\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

nvidia\/NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4 auf der DGX Station.<\/em><\/p>\n\n\n\n

Granit auf der DGX-Station<\/h3>\n\n\n\n

ibm-granite\/granite-4.2-30b ist ein dichtes Modell mit 30 Milliarden Parametern in BF16. Es lieferte eine einzige Antwort mit einer Geschwindigkeit von etwa 82 Tokens pro Sekunde und hielt diese Geschwindigkeit bis zu 16 gleichzeitigen Anfragen (etwa 84); dar\u00fcber hinaus fiel sie auf 59 bei 128. Die Gesamt\u00fcbertragungsleistung stieg mit der Belastung stetig an, bis sie bei 128 auf 7.260 Tokens pro Sekunde erreichte, ihrem h\u00f6chsten getesteten Niveau, mit einer durchschnittlichen Reaktionszeit von 0,33 Sekunden.<\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

ibm-granite\/granite-4.2-30b auf der DGX Station. Die Punkte f\u00fcr 1 und 4 liegen au\u00dferhalb der Linie, da 16 gleichzeitige Anfragen mindestens so schnell pro Anfrage gestreamt wurden, wobei die Gesamtzahl h\u00f6her war.<\/em><\/p>\n\n\n\n

Qwen auf der DGX Station<\/h3>\n\n\n\n

Die Qwen-Gruppe umfasst drei Modelle mit einer Mischung aus Experten und sechs Modelle mit einer hohen Dichte (27B) in unterschiedlichen Genauigkeitsstufen.<\/p>\n\n\n\n

Qwen\/Qwen3.6-35B-A3B in BF16 verwendet etwa 3 Milliarden seiner 35 Milliarden Parameter pro Token. Es streamte eine einzige Antwort mit einer Geschwindigkeit von etwa 312 Tokens pro Sekunde und erreichte insgesamt 8.491 Token bei 128, dem h\u00f6chsten getesteten Niveau. Die NVFP4-Version von NVIDIA erreichte 7.828 bei 128; bei 256 sank ihre Gesamtzahl auf 3.738, und eine Anforderung dauerte etwa 35 Sekunden. Die NVFP4-Version wurde mit zwei zus\u00e4tzlichen vLLM-Einstellungen ausgef\u00fchrt (\u2013 attention-backend flashinfer<\/code>, \u2013moe-backend marlin<\/code>).<\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

Qwen\/Qwen3.6-35B-A3B auf der DGX Station.<\/em><\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

nvidia\/Qwen3.6-35B-A3B-NVFP4 auf der DGX Station. Der Punkt f\u00fcr 256 liegt weit au\u00dferhalb der Linie.<\/em><\/p>\n\n\n\n

RadixArk\/Qwen3.8-Flash-Next-NVFP4 ist ein gr\u00f6\u00dferes Modell mit einer Mischung aus Experten, mit 126 GB Speicherplatz und 512 Experten, von denen 10 pro Token verwendet werden. Es wurde auf der vLLL-Nachtebauversion ausgef\u00fchrt, wobei die gleiche 40 % GPU-Speicherkapazit\u00e4t wie bei den anderen Modellen vorhanden war. Mit 32 parallelen Anfragen erreichte sie ihre maximale Gesamtzahl von 2.694 Tokens pro Sekunde. Dar\u00fcber hinaus lag die Gesamtzahl zwischen etwa 2.600 und 2.700. Die eigenen Messwerte von vLLM zeigen, was mit ihr zusammenh\u00e4ngt: Ab 64 parallelen Anfragen war der KV-Cache voll und maximal 56 Anfragen konnten gleichzeitig ausgef\u00fchrt werden, und vLLM unterbrach die Ausf\u00fchrung von Anfragen (pauseierte diese und startete sie sp\u00e4ter neu) etwa 700 bis 850 Mal pro f\u00fcnfmin\u00fctigen Lauf. Die anderen Anfragen warteten: Die durchschnittliche Wartezeit bis zum ersten Token nahm von 0,6 Sekunden bei 32 auf etwa 14 Sekunden bei 128 und 36 Sekunden bei 256 zu.<\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

RadixArk\/Qwen3.8-Flash-Next-NVFP4 auf der DGX Station. Die Punkte f\u00fcr 64, 128 und 256 entsprechen etwa dem gleichen Gesamtdurchsatz wie bei 32.<\/em><\/p>\n\n\n\n

Die dichten Modelle 27B, Qwen3.6-27B und Qwen3.8-27B wurden in den Versionen BF16 und FP8 sowie NVFP4 von verschiedenen Herausgebern ausgef\u00fchrt. In BF16 lieferten beide jeweils eine einzige Antwort mit einer Geschwindigkeit von etwa 90 Tokens pro Sekunde und erreichten insgesamt bei 128 eine Gesamtzahl von etwa 4.250. Die quantisierten Versionen unterscheiden sich unter Last erheblich voneinander: Bei ihren H\u00f6chstwerten lagen die Werte zwischen 2.237 und 7.384 Tokens pro Sekunde. Ein weiteres Artikel in dieser Reihe beleuchtet diese Varianten in detaillem Detail.<\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

Qwen\/Qwen3.6-27B auf der DGX Station.<\/em><\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

Qwen\/Qwen3.8-27B auf der DGX Station.<\/em><\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

nvidia\/Qwen3.6-27B-NVFP4 auf der DGX Station.<\/em><\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

Qwen\/Qwen3.8-27B-FP8 auf der DGX Station.<\/em><\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

Inferact\/Qwen3.8-27B-NVFP4 auf der DGX Station.<\/em><\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

unsloth\/Qwen3.8-27B-NVFP4 auf der DGX Station.<\/em><\/p>\n\n\n\n

Bei allen 15 Modellen<\/h2>\n\n\n\n

Die Geschwindigkeit f\u00fcr eine einzelne Anforderung variierte zwischen etwa 82 und 384 Token pro Sekunde und die maximale Gesamt\u00fcbertragungsleistung lag zwischen 2.237 und 17.544 Token pro Sekunde. Die niedrigsten Einzelanforderungsraten, 82 bis 90 Token pro Sekunde, wurden von den drei dicht besetzten Modellen mit 27 bis 30 Milliarden aktiven Parametern in BF16 erreicht; die h\u00f6chsten Werte wurden von Modellen mit 3 bis 4 Milliarden aktiven Parametern erzielt.<\/p>\n\n\n\n

F\u00fcnf Modelle erreichten ihren H\u00f6chstwert vor dem h\u00f6chsten Lastpegel: sowohl die Gemma E4B-Varianten als auch die NVFP4-Versionen von Qwen3.6-27B und Qwen3.6-35B-A3B von NVIDIA bei 128, sowie RadixArk Flash-Next bei 32. F\u00fcr diese bedeutete ein \u00dcberschreiten des H\u00f6chstwertes eine geringere Gesamt\u00fcbertragungsgeschwindigkeit oder viel l\u00e4ngere Wartezeiten.<\/p>\n\n\n\n

\n
Kontaktieren Sie pi3g, um LLM-Inferenzserver wie den Nvidia Spark und die Station zu kaufen.<\/a><\/div>\n<\/div>\n\n\n\n

Grenzen dieses Tests<\/h2>\n\n\n\n

Jede Lastebene wurde zweimal ausgef\u00fchrt. Alle Modelle waren auf 40 % der GPU-Speicherkapazit\u00e4t beschr\u00e4nkt; zwei davon f\u00fcllten ihren KV-Cache, Nemotron-3-Super mit 128 parallelen Anfragen und RadixArk Flash-Next mit 64. RadixArk Flash-Next wurde mit einem anderen KV-Cache-Format und einer vLLM-Version ausgef\u00fchrt als die anderen. Sechs Modelle wurden bis zu 128 statt 256 parallelen Anfragen getestet. Die Belastung ist synthetisch und die tats\u00e4chlichen Anfragen und Antworten variieren in der L\u00e4nge.<\/p>\n\n\n\n

Daten<\/h2>\n\n\n\n

Alle Rohdaten, Konfigurationsdateien und Diagramme sind vorhanden. aiperf_dgx_station_260918<\/a>. Jedes Modell hat seinen eigenen Ordner unter Artefakte\/<\/code>:<\/p>\n\n\n\n

Modell<\/th>Ordner<\/th><\/tr><\/thead>
google\/gemma-4-E4B-it<\/td>20260916_171715_google_gemma-4-E4B-it_c1,4,16,32,64,128,256<\/code><\/td><\/tr>
google\/gemma-4-E4B-it-qat-w4a16-ct<\/td>20260916_183753_google_gemma-4-E4B-it-qat-w4a16-ct_c1,4,16,32,64,128,256<\/code><\/td><\/tr>
google\/gemma-4-26B-A4B-it<\/td>20260916_160706_google_gemma-4-26B-A4B-it_c1,4,16,32,64,128<\/code><\/td><\/tr>
nvidia\/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4<\/td>20260916_234041_nvidia_NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4_c1,4,16,32,64,128,256<\/code><\/td><\/tr>
nvidia\/NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4<\/td>20260916_223047_nvidia_NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4_c1,4,16,32,64,128<\/code><\/td><\/tr>
ibm-granite\/granite-4.2-30b<\/td>20260916_195805_ibm-granite_granite-4.2-30b_c1,4,16,32,64,128<\/code><\/td><\/tr>
Qwen\/Qwen3.6-35B-A3B<\/td>20260917_050205_Qwen_Qwen3.6-35B-A3B_c1,4,16,32,64,128<\/code><\/td><\/tr>
nvidia\/Qwen3.6-35B-A3B-NVFP4<\/td>20260917_023947_nvidia_Qwen3.6-35B-A3B-NVFP4_c1,4,16,32,64,128,256<\/code><\/td><\/tr>
RadixArk\/Qwen3.8-Flash-Next-NVFP4<\/td>20260917_083130_RadixArk_Qwen3.8-Flash-Next-NVFP4_c1,4,16,32,64,128,256<\/code><\/td><\/tr>
Qwen\/Qwen3.6-27B<\/td>20260917_035547_Qwen_Qwen3.6-27B_c1,4,16,32,64,128<\/code><\/td><\/tr>
nvidia\/Qwen3.6-27B-NVFP4<\/td>20260917_012119_nvidia_Qwen3.6-27B-NVFP4_c1,4,16,32,64,128,256<\/code><\/td><\/tr>
Qwen\/Qwen3.8-27B<\/td>20260917_060722_Qwen_Qwen3.8-27B_c1,4,16,32,64,128<\/code><\/td><\/tr>
Qwen\/Qwen3.8-27B-FP8<\/td>20260917_071251_Qwen_Qwen3.8-27B-FP8_c1,4,16,32,64,128,256<\/code><\/td><\/tr>
Inferact\/Qwen3.8-27B-NVFP4<\/td>20260916_210841_Inferact_Qwen3.8-27B-NVFP4_c1,4,16,32,64,128,256<\/code><\/td><\/tr>
unsloth\/Qwen3.8-27B-NVFP4<\/td>20260917_094856_unsloth_Qwen3.8-27B-NVFP4_c1,4,16,32,64,128,256<\/code><\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Die genauen vLLM-Einstellungen f\u00fcr jedes Modell sind in conf\/model_compose_overrides\/<\/code>.<\/p>\n\n\n\n

Wenn Sie die DGX Station f\u00fcr ein bestimmtes Modell oder eine bestimmte Anwendung evaluieren m\u00f6chten, w\u00fcrden wir uns freuen, Ihre Anforderungen zu h\u00f6ren. Wir k\u00f6nnen Ihr Modell anhand Ihrer eigenen Anweisungen und L\u00e4ngen der Antworten vergleichen und Ihnen helfen, zu bewerten, was die Ergebnisse f\u00fcr Ihren Anwendungsfall bedeuten.<\/p>","protected":false},"excerpt":{"rendered":"

Die DGX Station GB300 verf\u00fcgt \u00fcber 288 GB GPU-Speicher, und jeder der 15 Modelle in diesem Artikel passt problemlos hinein. F\u00fcr diese Modelle zeigen die Benchmarks, wie viele Anfragen sie gleichzeitig verarbeiten, bevor die Antwort verlangsamt wird, und zu welchem Zeitpunkt eine h\u00f6here Belastung nicht mehr zu einer h\u00f6heren Durchsatzleistung f\u00fchrt. Dies\u2026<\/p>","protected":false},"author":865,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":"","_links_to":"","_links_to_target":""},"categories":[1067,1087],"tags":[],"class_list":["post-32431","post","type-post","status-publish","format-standard","hentry","category-nvidia-ai-hardware","category-nvidia-dgx-station"],"_links":{"self":[{"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/posts\/32431","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/users\/865"}],"replies":[{"embeddable":true,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/comments?post=32431"}],"version-history":[{"count":2,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/posts\/32431\/revisions"}],"predecessor-version":[{"id":32445,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/posts\/32431\/revisions\/32445"}],"wp:attachment":[{"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/media?parent=32431"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/categories?post=32431"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/tags?post=32431"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}