Wie schnell ein lokaler LLM l\u00e4uft, h\u00e4ngt von der Hardware, dem Modell und der Anzahl der gleichzeitig verarbeiteten Anfragen ab. Um dies zu messen, habe ich 20 aktuelle Open-Weight-Modelle auf einer NVIDIA DGX Station GB300 und 14 davon auf einer DGX Spark getestet. In dieser Serie werden die Ergebnisse pro Artikel f\u00fcr eine Maschine und ein Thema zusammengefasst.<\/p>\n\n\n\n
Jedes Modell wurde in seinem eigenen vLLM-Container ausgef\u00fchrt und wurde mit dem AIPerf-Client von NVIDIA verglichen. Alle Anfragen hatten dieselbe Gr\u00f6\u00dfe: eine Anforderung mit 1.024 Zeichen (ein wenig mehr, wenn sie in der Chat-Vorlage jedes Modells eingereicht wurde) und genau 512 Ausgabetoken, gemessen \u00fcber f\u00fcnf Minuten bei jeder Lastebene. Die Laste ist die Anzahl der parallelen Anfragen, die bei Spark bis zu 1 und bei Station bis zu 256 gleichzeitig ausgef\u00fchrt werden k\u00f6nnen. Eine parallele Anfrage bedeutet hier einen Slot, der seine n\u00e4chste Anfrage sendet, sobald die vorherige Antwort abgeschlossen ist. AIPerf z\u00e4hlt nur Anfragen, die innerhalb des Messzeitraums abgeschlossen werden; Token von Anfragen, die w\u00e4hrend des Schlie\u00dfens noch laufen, werden dabei nicht ber\u00fccksichtigt. Der eigene Token-Z\u00e4hler von vLLM, den AIPerf neben dem anderen ebenfalls erfasst, z\u00e4hlt dabei jedes Token, das der Server in dieser Zeit generiert hat. Dort, wo einzelne Anfragen etwa eine Minute oder l\u00e4nger dauern, kann die Gesamtsumme von AIPerf daher niedriger sein als die von vLLM; wie viel niedriger ist, h\u00e4ngt davon ab, wie viele Anfragen w\u00e4hrend des Schlie\u00dfens noch laufen. Dort, wo der Unterschied wichtig ist, geben die Artikel beide Informationen.<\/p>\n\n\n\n
Insgesamt sind das 394.956 gemessene Anfragen, 147 Millionen Antwort-Tokens (ohne Logik; die 512 Output-Tokens pro Anfrage enthalten diese) und etwa 32 Stunden Messzeit. Die Rohdaten, alle Konfigurationsdateien und 2.071 Diagramme sind \u00f6ffentlich zug\u00e4nglich:<\/p>\n\n\n\n
Der Benchmark misst die Geschwindigkeit: die Anzahl der Tokens pro Sekunde, insgesamt und pro Anfrage, sowie die Zeit, die zwischen dem Start der Antwort und deren Erhalt verbracht wird. Er misst weder die Qualit\u00e4t der Antwort noch die Leistungsf\u00e4higkeit eines Modells f\u00fcr eine bestimmte Aufgabe; er spiegelt die Software wider, die im September 2026 verf\u00fcgbar sein wird, ohne spekulativen Dekodieren.<\/p>\n\n\n\n