{"id":32433,"date":"2026-11-13T16:11:39","date_gmt":"2026-11-13T15:11:39","guid":{"rendered":"https:\/\/pi3g.com\/?p=32433"},"modified":"2026-11-13T16:11:44","modified_gmt":"2026-11-13T15:11:44","slug":"dgx-station-gb300-how-vllm-settings-changed-the-results-of-five-large-models","status":"publish","type":"post","link":"https:\/\/pi3g.com\/de\/dgx-station-gb300-how-vllm-settings-changed-the-results-of-five-large-models\/","title":{"rendered":"DGX Station GB300: Wie vLLM-Einstellungen die Ergebnisse von f\u00fcnf gro\u00dfen Modellen ver\u00e4ndert haben"},"content":{"rendered":"

Ein Benchmark-Ergebnis beschreibt ein Modell, das mit einer bestimmten Konfiguration ausgef\u00fchrt wird, nicht das Modell selbst. Ich habe dieselben f\u00fcnf gro\u00dfe Mischung-von-Experten-Modelle am 17. und 18. September zweimal auf der DGX Station GB300 ausgef\u00fchrt, wobei zwischen den Durchl\u00e4ufen einige vLLM-Einstellungen ge\u00e4ndert wurden. In diesem Artikel werden die beiden Durchl\u00e4ufe miteinander verglichen: in welchen Bereichen blieben die Ergebnisse gleich, in welchen sich die \u00c4nderungen \u00e4nderten und wie gro\u00df die \u00c4nderungen im Vergleich zur normalen Variation zwischen wiederholten Messungen waren.<\/p>\n\n\n\n

\n
Kontaktieren Sie pi3g, um LLM-Inferenzserver wie den Nvidia Spark und die Station zu kaufen.<\/a><\/div>\n<\/div>\n\n\n\n

Wie ich das Messen durchgef\u00fchrt habe<\/h2>\n\n\n\n

Ich habe verwendet aiperf_tool<\/a>, ein kleiner Harness, den ich um den Benchmark-Client AIPerf von NVIDIA und den vLLM-Inferenzserver herum aufgebaut habe. Jedes Modell l\u00e4uft in einem eigenen vLLM-Container, und der Benchmark sendet Anfragen mit der gleichen Gr\u00f6\u00dfe: eine 1.024-Token-Anforderung (ein wenig mehr, wenn sie in die Chat-Vorlage jedes Modells eingebettet wird) und genau 512 Ausgabetoken. Das Modell darf nicht vorzeitig beendet werden, daher erledigt jede Anfrage dieselbe Arbeit. Jedes Ladevorgangsspektrum dauert f\u00fcnf Minuten und wurde in jeder Ausf\u00fchrung zweimal gemessen.<\/p>\n\n\n\n

Die Belastung wird als gleichzeitige Anfragen angegeben. Jede gleichzeitige Anfrage ist ein Slot, der seine n\u00e4chste Anfrage sendet, sobald die vorherige Antwort abgeschlossen ist, ohne die Pausen, die eine Person f\u00fcr das Lesen und Tippen ben\u00f6tigt.<\/p>\n\n\n\n

Der Benchmark misst die Geschwindigkeit: die Gesamtzahl der Token pro Sekunde, wie schnell die einzelnen Antwortstr\u00f6me flie\u00dfen und die Zeit bis zum ersten Token. Er misst nicht die Antwortqualit\u00e4t und wurde ohne spekulativen Dekodierung durchgef\u00fchrt.<\/p>\n\n\n\n

<\/th>Lauf 1<\/th>Lauf 2<\/th><\/tr><\/thead>
System<\/td>NVIDIA DGX Station GB300<\/td>gleicherma\u00dfen<\/td><\/tr>
Modelle<\/td>5 gro\u00dfe MoE-Modelle<\/td>gleicherma\u00dfen<\/td><\/tr>
Zusammengesetzte Anfragen<\/td>1, 4, 16, 32 (MiniMax-M2.7: auch 64)<\/td>1, 4, 16, 32, 64, 128<\/td><\/tr>
Repetitionsraten je Laststufe<\/td>2<\/td>2<\/td><\/tr>
Anfragen, die parallel bearbeitet werden (--max-num-seqs<\/code>)<\/td>bis zu 64<\/td>bis zu 128<\/td><\/tr>
Daten<\/td>aiperf_dgx_station_260918<\/a><\/td>aiperf_dgx_station_260919<\/a><\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Was sich zwischen den L\u00e4ufen ver\u00e4ndert hat<\/h2>\n\n\n\n
Modell<\/th>Lauf 1<\/th>Lauf 2<\/th><\/tr><\/thead>
MiniMaxAI\/MiniMax-M2.7<\/td>64 parallele Anfragen, 25 GB CPU-Speicher<\/td>128 parallele Anfragen, ansonsten unver\u00e4ndert<\/td><\/tr>
RedHatAI\/GLM-5.3-Flash-NVFP4<\/td>64 parallele Anfragen, keine CPU-Ablastung<\/td>128 parallele Anfragen, ansonsten unver\u00e4ndert<\/td><\/tr>
nvidia\/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4<\/td>64 parallele Anfragen, 150 GB Expertengewicht in der CPU-Speicher<\/td>128 parallele Anfragen, ansonsten unver\u00e4ndert<\/td><\/tr>
nvidia\/DeepSeek-V4-Flash-nvfp4-DSpark<\/td>64 parallele Anfragen, keine CPU-Ablastung<\/td>128 parallele Anfragen, 15 GB Expertengewicht in der CPU-Speicher, Tool-Call-Parsing aktiviert<\/td><\/tr>
zai-org\/GLM-5.3-Flash (BF16)<\/td>64 parallele Anfragen, 110 GB CPU-Speicher<\/td>128 parallele Anfragen, 130 GB CPU-Speicher<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Zwei dieser Einstellungen erfordern eine kurze Erkl\u00e4rung.<\/p>\n\n\n\n

--max-num-seqs<\/code> ist die maximale Anzahl an Anfragen, die vLLM gleichzeitig verarbeitet; weitere Anfragen warten in einer Warteschlange. vLLM reserviert bei der Inbetriebnahme Arbeitsspeicher f\u00fcr diese maximale Zahl, sodass ein h\u00f6herer Wert weniger Speicher f\u00fcr andere Zwecke \u00fcbrig l\u00e4sst. In der ersten Ausf\u00fchrung habe ich die Gr\u00f6\u00dfe auf 64 gesetzt \u2013 die h\u00f6chste Belastungseinstellung, die f\u00fcr diese Modelle geplant ist. In der zweiten Ausf\u00fchrung habe ich sie auf 128 erh\u00f6ht, um mit der neuen H\u00f6chstbelastungseinstellung \u00fcbereinzustimmen.<\/p>\n\n\n\n

--cpu-offload-gb<\/code> Bewirbt eine bestimmte Menge an Gewichtungen eines Modells aus der GPU-Speicherung in die Speicherung der Grace-CPU. vLLM bewegt die festgelegte Menge unabh\u00e4ngig davon, wie viel Speicherplatz in der GPU frei ist, und die bewegten Gewichtungen \u00fcberqueren die Verbindung zwischen CPU und GPU f\u00fcr jeden generierten Token. \u2013cpu-offload-params Experten<\/code>, Nur Expertengewichte werden verschoben; jedes Token verwendet dabei nur wenige davon.<\/p>\n\n\n\n

Die genauen Konfigurationsdateien f\u00fcr beide Ausf\u00fchrungen befinden sich in jedem Repository. conf\/<\/code> Ordner.<\/p>\n\n\n\n

Ergebnisse bei der gleichen Konzentration<\/h2>\n\n\n\n

Beide Laufwerke teilen die Ladelevel 1, 4, 16 und 32 (MiniMax-M2.7 auch 64). Gesamte Durchsatzleistung in Tokens pro Sekunde, Lauf 1 \u2192 Lauf 2:<\/p>\n\n\n\n

Modell<\/th>1<\/th>4<\/th>16<\/th>32<\/th>64<\/th><\/tr><\/thead>
MiniMaxAI\/MiniMax-M2.7<\/td>105 \u2192 107<\/td>221 \u2192 224<\/td>392 \u2192 400<\/td>542 \u2192 554<\/td>814 \u2192 821<\/td><\/tr>
RedHatAI\/GLM-5.3-Flash-NVFP4<\/td>132 \u2192 132<\/td>408 \u2192 410<\/td>1,017 \u2192 1,019<\/td>1,507 \u2192 1,506<\/td><\/td><\/tr>
nvidia\/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4<\/td>30 \u2192 30<\/td>50 \u2192 50<\/td>74 \u2192 74<\/td>99 \u2192 99<\/td><\/td><\/tr>
nvidia\/DeepSeek-V4-Flash-nvfp4-DSpark<\/td>159 \u2192 138<\/td>485 \u2192 338<\/td>1,064 \u2192 646<\/td>1,708 \u2192 714<\/td><\/td><\/tr>
zai-org\/GLM-5.3-Flash (BF16)<\/td>30 \u2192 27<\/td>69 \u2192 61<\/td>126 \u2192 99<\/td>149 \u2192 149<\/td><\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Bei zai-org\/GLM-5.3-Flash sind die Gesamtzahlen bei 16 (Ausf\u00fchrung 2) und 32 (Ausf\u00fchrung 1) durch das Messfenster von AIPerf beeintr\u00e4chtigt; je nach Anforderung war die Ausf\u00fchrung 2 auf allen Ebenen langsamer.<\/p>\n\n\n\n

Bei den drei Modellen, bei denen nur die Anzahl der parallelen Anfragen variierte, entsprach das Ergebnis bei gleicher Auslastung etwa 2 %. Bei diesen Lasten war die h\u00f6here Grenze nicht von Bedeutung, was mit der Annahme \u00fcbereinstimmt, dass die Grenze erst \u00fcber 64 gilt.<\/p>\n\n\n\n

zai-org\/GLM-5.3-Flash erreichte mit 20 GB mehr seiner Gewichtungen in der CPU-Speicher im zweiten Lauf 10 bis 12 % weniger Tokens pro Sekunde f\u00fcr jeden Request; bei allen Ladevorg\u00e4ngen (1 bis 32) waren diese Werte \u00fcbereinstimmend. Die beiden Wiederholungen innerhalb eines Laufes unterschieden sich maximal um 0,05 Tokens pro Sekunde pro Request, sodass der Unterschied zwischen den Laufen weit \u00fcber die normale Variabilit\u00e4t hinausgeht.<\/p>\n\n\n\n

nvidia\/DeepSeek-V4-Flash-nvfp4-DSpark erzielte im zweiten Lauf insgesamt 13 bis 58 % weniger Ergebnisse. Dieses Modell variierte zudem zwischen den Wiederholungen h\u00e4ufiger als jedes andere im Test: Bei 32 gleichzeitig laufenden Anfragen lieferten die beiden Wiederholungen in Lauf 1 jeweils 1.398 und 2.019 Tokens pro Sekunde, in Lauf 2 hingegen 600 und 828. Trotzdem lag die h\u00f6here Wiederholung in Lauf 2 bei jeder gemeinsamen Belastungsebene unter der niedrigeren Wiederholung in Lauf 1. In Lauf 2 verf\u00fcgte dieses Modell \u00fcber 15 GB Expertengewicht in der CPU-Speicher und die Aktivierung der Tool-Call-Parsing-Funktion; die Messungen trennen die beiden \u00c4nderungen nicht voneinander.<\/p>\n\n\n\n

Ergebnisse bei den neuen Laststufen<\/h2>\n\n\n\n

Run 2 verl\u00e4ngerte den Test auf 128 gleichzeitige Anfragen, und vier der f\u00fcnf Modelle erreichten dort ihren h\u00f6chsten Gesamtwert an Durchsatz:<\/p>\n\n\n\n

Modell<\/th>H\u00f6chstwert in der ersten Runde (at)<\/th>H\u00f6chstwert in Runde 2 (at)<\/th><\/tr><\/thead>
RedHatAI\/GLM-5.3-Flash-NVFP4<\/td>1,507 (32)<\/td>3,045 (128)<\/td><\/tr>
nvidia\/DeepSeek-V4-Flash-nvfp4-DSpark<\/td>1,708 (32)<\/td>2,088 (128)<\/td><\/tr>
MiniMaxAI\/MiniMax-M2.7<\/td>814 (64)<\/td>1,263 (128)<\/td><\/tr>
nvidia\/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4<\/td>99 (32)<\/td>192 (128)<\/td><\/tr>
zai-org\/GLM-5.3-Flash (BF16)<\/td>149 (32)<\/td>214 (64)<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Bei zai-org\/GLM-5.3-Flash zeigt der eigene Token-Counter von vLLM 307 Token pro Sekunde bei 128, gegen\u00fcber den 212 bei 64; bei 128 dauerte eine einzelne Anforderung etwa drei halbe Minuten, und AIPerf z\u00e4hlt nur Anfragen, die innerhalb des Messbereichs abgeschlossen werden.<\/p>\n\n\n\n

Diese Peaks sind nicht direkt vergleichbar, da Lauf 1 mit 32 (MiniMax: 64) gleichzeitigen Anfragen endete. Die h\u00f6heren Peaks in Lauf 2 resultieren aus den h\u00f6heren Lasten. GLM-5.3-Flash-NVFP4 zeigt dies am deutlichsten: Bei 32 gleichzeitigen Anfragen lieferten beide Lauf 1507 Tokens pro Sekunde, bei 128 in Lauf 2 sogar doppelt so viele.<\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

RedHatAI\/GLM-5.3-Flash-NVFP4, Laufzeit 1: bis zu 32 gleichzeitig aktive Anfragen.<\/em><\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

RedHatAI\/GLM-5.3-Flash-NVFP4, Laufzeit 2: bis zu 128 gleichzeitig anfragende Prozesse. Jede Grafik ist eine Pareto-Kurve: Die vertikale Achse zeigt die Gesamtzahl der Tokens pro Sekunde an, die horizontale Achse die Geschwindigkeit der Antwortstr\u00f6me und jedes Punkt repr\u00e4sentiert eine Ladeebene. Die Skalierungsgrade der beiden Diagramme unterscheiden sich.<\/em><\/p>\n\n\n\n

Bei den anderen vier Modellen wird zuerst der Run-1-Chart angezeigt, dann der Run-2-Chart.<\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

MiniMaxAI\/MiniMax-M2.7, Laufzeit 1: bis zu 64 gleichzeitig anfragende Prozesse.<\/em><\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

MiniMaxAI\/MiniMax-M2.7, Version 2: bis zu 128 gleichzeitig anfragende Prozesse.<\/em><\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

nvidia\/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4, Funktion 1: bis zu 32 gleichzeitig aktive Anfragen.<\/em><\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

nvidia\/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4, Version 2: bis zu 128 gleichzeitig aktive Anfragen.<\/em><\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

nvidia\/DeepSeek-V4-Flash-nvfp4-DSpark, Laufzeit 1: bis zu 32 gleichzeitig aktive Anfragen, keine CPU-Ablastung.<\/em><\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

nvidia\/DeepSeek-V4-Flash-nvfp4-DSpark, Laufzeit 2: bis zu 128 gleichzeitig aktive Anfragen, 15 GB Expertengewicht in der CPU-Speicher.<\/em><\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

zai-org\/GLM-5.3-Flash, Laufzeit 1: bis zu 32 gleichzeitig anfragende Prozesse, 110 GB CPU-Speicher.<\/em><\/p>\n\n\n\n

\"Pareto-Kurve,<\/figure>\n\n\n\n

zai-org\/GLM-5.3-Flash, Laufzeit 2: bis zu 128 gleichzeitig anfragende Prozesse, 130 GB CPU-Speicher.<\/em><\/p>\n\n\n\n

\u00dcber die f\u00fcnf Modelle<\/h2>\n\n\n\n

Wo nur die Anforderungsgrenze sich ge\u00e4ndert hatte, reproduzierten sich die Ergebnisse auf den gemeinsamen Laststufen gut, und die h\u00f6here Grenze erm\u00f6glichte Messungen bei h\u00f6herer Last. Die beiden Modelle, deren CPU-Offloading ge\u00e4ndert wurde, lieferten in Lauf 2 weniger pro Anforderung: zai-org\/GLM-5.3-Flash 10 bis 12 % weniger, DeepSeek-V4-Flash 14 bis 59 % weniger; f\u00fcr DeepSeek wurde gleichzeitig die Tool-Call-Parsing-Funktion aktiviert.<\/p>\n\n\n\n

\n
Kontaktieren Sie pi3g, um LLM-Inferenzserver wie den Nvidia Spark und die Station zu kaufen.<\/a><\/div>\n<\/div>\n\n\n\n

Grenzen dieser Vergleiche<\/h2>\n\n\n\n

Es gibt nur zwei Konfigurationen. Bei zwei Modellen \u00e4nderte sich mehr als eine Einstellung gleichzeitig, weshalb die Auswirkungen jeder Einstellung nicht getrennt voneinander betrachtet werden k\u00f6nnen. Jede Laststufe wurde pro Lauf zweimal durchgef\u00fchrt. Beide L\u00e4ufe verwendeten dieselben vLLM-Versionen pro Modell (v0.29.0 f\u00fcr die GLM-5.3-Modelle, v0.22.0 f\u00fcr Nemotron-3-Ultra), aber die Nachtbaufassung kann zwischen den beiden Tagen unterschiedlich gewesen sein; ihre genaue Version wurde nicht aufgezeichnet. Die Arbeitslast ist synthetisch und die tats\u00e4chlichen Anweisungen und Antworten variieren in der L\u00e4nge.<\/p>\n\n\n\n

Daten<\/h2>\n\n\n\n

Alle Rohdaten, Konfigurationsdateien und Diagramme befinden sich in den beiden Repositories. Jedes Modell hat seinen eigenen Ordner unter Artefakte\/<\/code>:<\/p>\n\n\n\n

Modell<\/th>Run 1 (aiperf_dgx_station_260918<\/a>)<\/th>Run 2 (aiperf_dgx_station_260919<\/a>)<\/th><\/tr><\/thead>
MiniMaxAI\/MiniMax-M2.7<\/td>20260917_184420_MiniMaxAI_MiniMax-M2.7_c1,4,16,32,64<\/code><\/td>20260919_015212_MiniMaxAI_MiniMax-M2.7_c1,4,16,32,64,128<\/code><\/td><\/tr>
RedHatAI\/GLM-5.3-Flash-NVFP4<\/td>20260917_203021_RedHatAI_GLM-5.3-Flash-NVFP4_c1,4,16,32<\/code><\/td>20260919_040943_RedHatAI_GLM-5.3-Flash-NVFP4_c1,4,16,32,64,128<\/code><\/td><\/tr>
nvidia\/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4<\/td>20260917_230218_nvidia_NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4_c1,4,16,32<\/code><\/td>20260919_063709_nvidia_NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4_c1,4,16,32,64,128<\/code><\/td><\/tr>
nvidia\/DeepSeek-V4-Flash-nvfp4-DSpark<\/td>20260917_194410_nvidia_DeepSeek-V4-Flash-nvfp4-DSpark_c1,4,16,32<\/code><\/td>20260919_030210_nvidia_DeepSeek-V4-Flash-nvfp4-DSpark_c1,4,16,32,64,128<\/code><\/td><\/tr>
zai-org\/GLM-5.3-Flash<\/td>20260917_211657_zai-org_GLM-5.3-Flash_c1,4,16,32<\/code><\/td>20260919_051813_zai-org_GLM-5.3-Flash_c1,4,16,32,64,128<\/code><\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Wenn Sie planen, ein gro\u00dfes Modell auf der DGX Station zu betreiben und wissen m\u00f6chten, wie bestimmte Einstellungen Ihre Workload beeinflussen, w\u00fcrden wir uns freuen, Ihre Anforderungen zu h\u00f6ren. Wir k\u00f6nnen die von Ihnen erwogenen Konfigurationen vergleichen und Ihnen helfen, zu beurteilen, was die Ergebnisse f\u00fcr Ihren Anwendungsfall bedeuten.<\/p>","protected":false},"excerpt":{"rendered":"

A benchmark result describes a model running with a specific configuration, not the model on its own. I ran the same five large mixture-of-experts models twice on the DGX Station GB300, on September 17 and 18, with a few vLLM settings changed between the runs. This article compares the two runs: where the results stayed…<\/p>","protected":false},"author":865,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":"","_links_to":"","_links_to_target":""},"categories":[1],"tags":[],"class_list":["post-32433","post","type-post","status-publish","format-standard","hentry","category-raspberrypi-blog"],"_links":{"self":[{"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/posts\/32433","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/users\/865"}],"replies":[{"embeddable":true,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/comments?post=32433"}],"version-history":[{"count":3,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/posts\/32433\/revisions"}],"predecessor-version":[{"id":32471,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/posts\/32433\/revisions\/32471"}],"wp:attachment":[{"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/media?parent=32433"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/categories?post=32433"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/tags?post=32433"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}