LLM-Intelligenz auf der Benchmark-Serie DGX Spark und DGX Station GB300 von NVIDIA

Wie schnell ein lokaler LLM läuft, hängt von der Hardware, dem Modell und der Anzahl der gleichzeitig verarbeiteten Anfragen ab. Um dies zu messen, habe ich 20 aktuelle Open-Weight-Modelle auf einer NVIDIA DGX Station GB300 und 14 davon auf einer DGX Spark getestet. In dieser Serie werden die Ergebnisse pro Artikel für eine Maschine und ein Thema zusammengefasst.

Was ich gemessen habe

Jedes Modell wurde in seinem eigenen vLLM-Container ausgeführt und wurde mit dem AIPerf-Client von NVIDIA verglichen. Alle Anfragen hatten dieselbe Größe: eine Anforderung mit 1.024 Zeichen (ein wenig mehr, wenn sie in der Chat-Vorlage jedes Modells eingereicht wurde) und genau 512 Ausgabetoken, gemessen über fünf Minuten bei jeder Lastebene. Die Laste ist die Anzahl der parallelen Anfragen, die bei Spark bis zu 1 und bei Station bis zu 256 gleichzeitig ausgeführt werden können. Eine parallele Anfrage bedeutet hier einen Slot, der seine nächste Anfrage sendet, sobald die vorherige Antwort abgeschlossen ist. AIPerf zählt nur Anfragen, die innerhalb des Messzeitraums abgeschlossen werden; Token von Anfragen, die während des Schließens noch laufen, werden dabei nicht berücksichtigt. Der eigene Token-Zähler von vLLM, den AIPerf neben dem anderen ebenfalls erfasst, zählt dabei jedes Token, das der Server in dieser Zeit generiert hat. Dort, wo einzelne Anfragen etwa eine Minute oder länger dauern, kann die Gesamtsumme von AIPerf daher niedriger sein als die von vLLM; wie viel niedriger ist, hängt davon ab, wie viele Anfragen während des Schließens noch laufen. Dort, wo der Unterschied wichtig ist, geben die Artikel beide Informationen.

Insgesamt sind das 394.956 gemessene Anfragen, 147 Millionen Antwort-Tokens (ohne Logik; die 512 Output-Tokens pro Anfrage enthalten diese) und etwa 32 Stunden Messzeit. Die Rohdaten, alle Konfigurationsdateien und 2.071 Diagramme sind öffentlich zugänglich:

• aiperf_dgx_spark_260917DGX Spark, 14 Modelle
• aiperf_dgx_station_260918DGX Station, 20 Modelle
• aiperf_dgx_station_260919DGX Station, zweite Ausführung der fünf größten Modelle
• aiperf_tool: Das Gerüst, das ich gebaut habe, um die Tests durchzuführen

Der Benchmark misst die Geschwindigkeit: die Anzahl der Tokens pro Sekunde, insgesamt und pro Anfrage, sowie die Zeit, die zwischen dem Start der Antwort und deren Erhalt verbracht wird. Er misst weder die Qualität der Antwort noch die Leistungsfähigkeit eines Modells für eine bestimmte Aufgabe; er spiegelt die Software wider, die im September 2026 verfügbar sein wird, ohne spekulativen Dekodieren.

Die Artikel

Der erste Artikel in der Serie befasst sich mit dem DGX Spark. Alle 14 Modelle, die ich darauf ausgeführt habe, sind in einer Tabelle zusammengefasst. Dabei werden sowohl kleine Gemma-Modelle als auch ein 120B Nemotron vorgestellt. Außerdem wird näher betrachtet, wie die Anzahl der aktiven Parameter und die Präzision der Gewichtungen mit der Geschwindigkeit auf diesem System zusammenhängen.

Der zweite Artikel behandelt die fünf größten Modelle, die ich auf der DGX Station getestet habe, mit einem Gewicht zwischen 164 und 352 GB. Eines passt vollständig in die Speicherung der GPU, die anderen hatten einen Teil ihrer Gewichtungen auf die Speicherung der CPU übertragen bekommen. Der Artikel zeigt, wie jedes Modell sich bei 1 bis 128 gleichzeitigen Anfragen verhält.

Der dritte Artikel behandelt die 15 kleinen und mittelgroßen Modelle auf der DGX Station und deren Leistungsfähigkeit bei bis zu 256 gleichzeitig anfragenden Computern, einschließlich des Punktes, an dem die Durchsatzraten nachlassen.

Der vierte Artikel untersucht acht Versionen von drei Qwen-Modellen (Qwen3.8 und Qwen3.6) aus verschiedenen Verlagen in mehreren Prezisierungen (BF16, FP8, NVFP4) und vergleicht deren Leistung auf der DGX Station.

In dem fünften Artikel werden zwei Ausführungen derselben fünf großen Modelle auf der DGX Station mit unterschiedlichen vLLM-Einstellungen verglichen und die daraus resultierenden Änderungen beschrieben.

Was diese Serie nicht tut

Die Artikel vergleichen die beiden Maschinen nicht miteinander und empfehlen auch keine Modelle. Sie beschreiben, was ich gemessen habe, mit ausreichend Kontext, um die Zahlen zu interpretieren. Ob ein Ergebnis für eine bestimmte Anwendung geeignet ist, kann nur diese Anwendung beantworten. Wenn Sie eine dieser Maschinen für ein bestimmtes Modell oder eine bestimmte Anwendung evaluieren, würden wir uns freuen, Ihre Anforderungen zu hören. Wir können Ihr Modell anhand Ihrer eigenen Anforderungsprofile und Längen der Antworten bewerten und Ihnen helfen, zu beurteilen, was die Ergebnisse für Ihren Anwendungsfall bedeuten.

Alle Messwerte in der Serie basieren auf den veröffentlichten Daten. Wenn Sie einen Fehler oder eine Omission feststellen, kontaktieren Sie uns bitte.