{"id":32432,"date":"2026-11-13T16:12:10","date_gmt":"2026-11-13T15:12:10","guid":{"rendered":"https:\/\/pi3g.com\/?p=32432"},"modified":"2026-11-13T16:12:13","modified_gmt":"2026-11-13T15:12:13","slug":"dgx-station-gb300-qwen3-8-and-qwen3-6-in-bf16-fp8-and-nvfp4","status":"publish","type":"post","link":"https:\/\/pi3g.com\/de\/dgx-station-gb300-qwen3-8-and-qwen3-6-in-bf16-fp8-and-nvfp4\/","title":{"rendered":"DGX Station GB300: Qwen3.8 und Qwen3.6 in BF16, FP8 und NVFP4"},"content":{"rendered":"<p class=\"wp-block-paragraph\">Viele Modelle mit offener Last werden in mehreren Genauigkeitsstufen ver\u00f6ffentlicht: die Originalversion BF16 der Autoren des Modells sowie FP8- oder 4-Bit-Versionen der Autoren oder von Drittanbietern. Die Versionen mit geringerer Genauigkeit sind kleiner. In diesem Artikel wird untersucht, wie acht Versionen von drei Qwen-Modellen bei der DGX Station GB300 mit jeweils 1 bis 256 gleichzeitigen Anfragen abgeschnitten haben.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Die Modelle sind Qwen3.8-27B in vier Versionen (BF16, FP8 und NVFP4 von Inferact und von unsloth), Qwen3.6-27B in zwei Versionen (BF16 und NVFP4 von NVIDIA) und Qwen3.6-35B-A3B in zwei Versionen (BF16 und NVFP4 von NVIDIA). Ebenso viele Messungen sind auch in dem Artikel dieser Reihe enthalten, der alle 15 kleinen und mittelgro\u00dfen Modelle auf der Station behandelt; hier werden sie miteinander verglichen.<\/p>\n\n\n\n<div class=\"wp-block-buttons is-content-justification-center is-layout-flex wp-container-core-buttons-is-layout-fe48e5de wp-block-buttons-is-layout-flex\">\n<div class=\"wp-block-button\"><a class=\"wp-block-button__link wp-element-button\" href=\"\/de\/kontakt\/\">Kontaktieren Sie pi3g, um LLM-Inferenzserver wie den Nvidia Spark und die Station zu kaufen.<\/a><\/div>\n<\/div>\n\n\n\n<h2 class=\"wp-block-heading\">Wie ich das Messen durchgef\u00fchrt habe<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Ich habe verwendet&nbsp;<a href=\"https:\/\/github.com\/mwolf-pi3g\/aiperf_tool\">aiperf_tool<\/a>, ein kleiner Rahmen, den ich um den Benchmark-Client AIPerf von NVIDIA und den vLLM-Inferenzserver gebaut habe. Jedes Modell l\u00e4uft in einem eigenen vLLM-Container, und der Benchmark sendet Anfragen mit der gleichen Gr\u00f6\u00dfe: eine Anforderung mit 1.024 Zeichen (ein wenig mehr, wenn sie in die Chat-Vorlage jedes Modells eingebettet wird) und genau 512 Ausgabetoken. Das Modell darf nicht vorzeitig stoppen, also erledigt jede Anfrage dieselbe Arbeit. Jedes Ladevorgangsspektrum dauert f\u00fcnf Minuten und wurde zweimal gemessen.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Die Belastung wird als gleichzeitige Anfragen angegeben. Jede gleichzeitige Anfrage ist ein Slot, der seine n\u00e4chste Anfrage sendet, sobald die vorherige Antwort abgeschlossen ist, ohne die Pausen, die eine Person f\u00fcr das Lesen und Tippen ben\u00f6tigt.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Der Benchmark misst die Geschwindigkeit: die Gesamtzahl der Token pro Sekunde, wie schnell die einzelnen Antworten flie\u00dfen und die Zeit bis zum ersten Token. Er misst nicht die Qualit\u00e4t der Antworten, daher sagt er nichts dar\u00fcber aus, ob eine Version mit geringerer Pr\u00e4zision genauso gut antwortet wie die Originalversion. Er wurde ohne spekulativen Dekodierung ausgef\u00fchrt.<\/p>\n\n\n\n<figure class=\"wp-block-table\"><table class=\"has-fixed-layout\"><thead><tr><th class=\"has-text-align-left\" data-align=\"left\"><\/th><th class=\"has-text-align-left\" data-align=\"left\"><\/th><\/tr><\/thead><tbody><tr><td>System<\/td><td>NVIDIA DGX Station GB300, 288 GB HBM3e<\/td><\/tr><tr><td>Modelle<\/td><td>8 Versionen der 3 Qwen-Modelle<\/td><\/tr><tr><td>Zusammengesetzte Anfragen<\/td><td>1, 4, 16, 32, 64, 128; 256 f\u00fcr die f\u00fcnf Versionen von FP8 und NVFP4<\/td><\/tr><tr><td>Laufkilometer pro Lastniveau<\/td><td>2<\/td><\/tr><tr><td>Inferenzserver<\/td><td>vLLM v0.29.0, 40 % der GPU-Speicherkapazit\u00e4t, FP8 KV-Cache<\/td><\/tr><tr><td>Arbeitsaufwand<\/td><td>1.024 Eingabesteuerelemente \/ 512 Ausgabesteuerelemente, 5 Minuten pro Level<\/td><\/tr><tr><td>Daten<\/td><td><a href=\"https:\/\/github.com\/mwolf-pi3g\/aiperf_dgx_station_260918\">aiperf_dgx_station_260918<\/a><\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n<h2 class=\"wp-block-heading\">Die Pr\u00e4zisionen<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Die Gewichtungen eines Modells werden als Zahlen gespeichert, und die Genauigkeit ist die Anzahl der Bits, die jede Zahl verwendet. BF16 verwendet 16 Bits pro Gewichtung, FP8 8 Bits, und NVFP4, das 4-Bit-Format von NVIDIA f\u00fcr die Blackwell GPUs, verwendet 4 Bits plus eine kleine Menge Skalierungsdaten. Je weniger Bits, desto kleiner das Modell und desto weniger Daten m\u00fcssen aus dem Speicher f\u00fcr jeden generierten Token gelesen werden. Wie ein Modell auf eine niedrigere Pr\u00e4zision umgestellt wird, variiert je nach Publisher.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Alle acht Versionen verwendeten dieselbe vLLM-Version und denselben Speicherbegrenzer von 40 % der GPU-Speicher. Ein kleineres Modell l\u00e4sst mehr Platz f\u00fcr den KV-Cache, der den Kontext jeder aktiven Anforderung speichert. Eine Ausnahme: Die NVFP4-Version von Qwen3.6-35B-A3B von NVIDIA l\u00e4uft auch mit zwei zus\u00e4tzlichen vLLM-Einstellungen f\u00fcr die Aufmerksamkeit und den Expertenrechner (<code>\u2013 attention-backend flashinfer<\/code>,&nbsp;<code>\u2013moe-backend marlin<\/code>); daher isoliert der Vergleich mit der Version BF16 das Format nicht.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">So lesen Sie die Diagramme<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Die in diesem Artikel dargestellten Diagramme sind Pareto-Kurven, die AIPerf f\u00fcr jedes Modell generiert. Hier ist Inferact\/Qwen3.8-27B-NVFP4 zu sehen:<\/p>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/raw.githubusercontent.com\/mwolf-pi3g\/aiperf_dgx_station_260918\/main\/artifacts\/20260916_210841_Inferact_Qwen3.8-27B-NVFP4_c1%2C4%2C16%2C32%2C64%2C128%2C256\/plots\/pareto_curve_throughput_per_gpu_vs_interactivity.png\" alt=\"Pareto-Kurve, Inferact\/Qwen3.8-27B-NVFP4 auf der DGX Station\"\/><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Die vertikale Achse ist der Gesamtoutput in Tokens pro Sekunde. Die Station verf\u00fcgt \u00fcber eine einzige GPU, daher lautet \u201cper GPU\u201d einfach die Gesamtzahl. Die horizontale Achse gibt an, wie schnell eine Antwortstr\u00f6me anfallen, in Tokens pro Sekunde pro Anfrage (AIPerf bezeichnet dies als \u201cper User\u201d). Jeder Punkt entspricht einer Laststufe, und die Zahl neben ihm ist die Konkurrentenzahl.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Bei einer gleichzeitigen Anforderung auf der \u00e4u\u00dfersten rechten Spalte streamt diese Version eine Antwort mit einer Geschwindigkeit von etwa 153 Token pro Sekunde. Wenn man nach oben und nach links scrollt, steigt die Konzentration der Anforderungen: Bei 256 gleichzeitigen Anfragen flie\u00dfen jede Antwort mit einer Geschwindigkeit von etwa 31 Token pro Sekunde, w\u00e4hrend das System insgesamt etwa 7.400 Ergebnisse erzeugt. Die Linie verkn\u00fcpft die Laststufen, die auf beiden Achsen gleichzeitig nicht \u00fcbertroffen werden k\u00f6nnen; ein Punkt au\u00dferhalb der Linie weist sowohl eine geringere Gesamtlaufzeit als auch langsamerere Antworten auf als eine andere Laststufe. Die Skalierungsachsen passen sich an jedes Modell an, daher sollten Sie sie \u00fcberpr\u00fcfen, bevor Sie zwei Diagramme miteinander vergleichen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Alle acht Versionen<\/h2>\n\n\n\n<figure class=\"wp-block-table\"><table class=\"has-fixed-layout\"><thead><tr><th class=\"has-text-align-left\" data-align=\"left\">Modell<\/th><th class=\"has-text-align-left\" data-align=\"left\">Pr\u00e4zision<\/th><th class=\"has-text-align-right\" data-align=\"right\">Gr\u00f6\u00dfe<\/th><th class=\"has-text-align-right\" data-align=\"right\">1 Anfrage: tok\/s, TTFT<\/th><th class=\"has-text-align-right\" data-align=\"right\">16 simultane Anfragen: tok\/s pro Anfrage, insgesamt, TTFT<\/th><th class=\"has-text-align-right\" data-align=\"right\">32 simultane: tok\/s pro Anfrage, insgesamt, TTFT<\/th><th class=\"has-text-align-right\" data-align=\"right\">Gesamtsumme (at)<\/th><\/tr><\/thead><tbody><tr><td>Qwen\/Qwen3.8-27B<\/td><td>BF16<\/td><td class=\"has-text-align-right\" data-align=\"right\">52 GB<\/td><td class=\"has-text-align-right\" data-align=\"right\">89,9, 0,07 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">77,5, 1.135, 0,62 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">69,7, 1.957, 1,03 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">4,257 (128)<\/td><\/tr><tr><td>Qwen\/Qwen3.8-27B-FP8<\/td><td>FP8<\/td><td class=\"has-text-align-right\" data-align=\"right\">29 GB<\/td><td class=\"has-text-align-right\" data-align=\"right\">111,5, 0,09 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">80,3, 940, 2,33 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">72,5, 1.414, 4,43 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">2,237 (256)<\/td><\/tr><tr><td>Inferact\/Qwen3.8-27B-NVFP4<\/td><td>NVFP4<\/td><td class=\"has-text-align-right\" data-align=\"right\">25 GB<\/td><td class=\"has-text-align-right\" data-align=\"right\">153,2, 0,12 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">122,5, 1.783, 0,42 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">107,0, 3.005, 0,67 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">7,384 (256)<\/td><\/tr><tr><td>unsloth\/Qwen3.8-27B-NVFP4<\/td><td>NVFP4<\/td><td class=\"has-text-align-right\" data-align=\"right\">22 GB<\/td><td class=\"has-text-align-right\" data-align=\"right\">150,0, 0,10 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">121,4, 1.768, 0,42 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">106,0, 2.973, 0,68 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">7,123 (256)<\/td><\/tr><tr><td>Qwen\/Qwen3.6-27B<\/td><td>BF16<\/td><td class=\"has-text-align-right\" data-align=\"right\">52 GB<\/td><td class=\"has-text-align-right\" data-align=\"right\">89,9, 0,06 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">77,6, 1.137, 0,61 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">70,0, 1.955, 1,07 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">4,236 (128)<\/td><\/tr><tr><td>nvidia\/Qwen3.6-27B-NVFP4<\/td><td>NVFP4<\/td><td class=\"has-text-align-right\" data-align=\"right\">20 GB<\/td><td class=\"has-text-align-right\" data-align=\"right\">132,4, 0,18 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">107,2, 1.263, 1,72 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">84,5, 1.787, 3,10 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">2,461 (128)<\/td><\/tr><tr><td>Qwen\/Qwen3.6-35B-A3B<\/td><td>BF16<\/td><td class=\"has-text-align-right\" data-align=\"right\">67 GB<\/td><td class=\"has-text-align-right\" data-align=\"right\">312,4, 0,11 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">165,4, 2.459, 0,24 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">129,3, 3.742, 0,42 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">8,491 (128)<\/td><\/tr><tr><td>nvidia\/Qwen3.6-35B-A3B-NVFP4<\/td><td>NVFP4<\/td><td class=\"has-text-align-right\" data-align=\"right\">22 GB<\/td><td class=\"has-text-align-right\" data-align=\"right\">276,7, 0,13 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">179,4, 2.549, 0,36 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">145,5, 4.021, 0,56 s<\/td><td class=\"has-text-align-right\" data-align=\"right\">7,828 (128)<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Die Tokens pro Sekunde pro Anforderung geben an, wie schnell eine Antwortstr\u00f6me abgesetzt werden; die Gesamtzahl ist die Anzahl der ausgegebenen Tokens aller innerhalb des Messbereichs abgeschlossenen Anfragen geteilt durch die L\u00e4nge des Messbereichs. TTFT ist die mittlere Zeit bis zum ersten Token. Size ist die Gr\u00f6\u00dfe des Repositories des Modells bei Hugging Face. Die BF16-Versionen wurden mit bis zu 128 parallelen Anfragen getestet, die anderen mit bis zu 256.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Qwen3.8-27B<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Qwen3.8-27B ist ein dichtes Modell: Jeder generierte Token durchl\u00e4uft alle 27 Milliarden Parameter. Mit einer Anfrage pro Mal war jede Version mit niedrigerer Pr\u00e4zision schneller als die urspr\u00fcngliche BF16-Version: Die FP8-Version streamte etwa 112 Tokens pro Sekunde, die beiden NVFP4-Versionen etwa 150 bis 153, im Vergleich zu 90 f\u00fcr BF16.<\/p>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/raw.githubusercontent.com\/mwolf-pi3g\/aiperf_dgx_station_260918\/main\/artifacts\/20260917_060722_Qwen_Qwen3.8-27B_c1%2C4%2C16%2C32%2C64%2C128\/plots\/pareto_curve_throughput_per_gpu_vs_interactivity.png\" alt=\"Pareto-Kurve, Qwen\/Qwen3.8-27B auf der DGX Station\"\/><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\"><em>Qwen\/Qwen3.8-27B auf der DGX Station.<\/em><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Bei Belastung trennten sich die vier Versionen voneinander. Die beiden NVFP4-Versionen von Inferact und unsloth verhielten sich nahezu identisch, mit insgesamt etwa 3.000 Tokens pro Sekunde bei 32 gleichzeitig stattgehenden Anfragen und 6.000 bis 6.200 bei 128, 42 bis 45 % mehr als die BF16-Version auf diesem Niveau (4.257, der h\u00f6chsten Ebene, auf der sie getestet wurde). Bei 256 erreichten sie 7.100 bis 7.400. Die FP8-Version produzierte insgesamt weniger als die BF16-Version bei 16 gleichzeitig stattgehenden Anfragen und erreichte bei 256 einen Spitzenwert von 2.237 Tokens pro Sekunde.<\/p>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/raw.githubusercontent.com\/mwolf-pi3g\/aiperf_dgx_station_260918\/main\/artifacts\/20260917_094856_unsloth_Qwen3.8-27B-NVFP4_c1%2C4%2C16%2C32%2C64%2C128%2C256\/plots\/pareto_curve_throughput_per_gpu_vs_interactivity.png\" alt=\"Pareto-Kurve, unsloth\/Qwen3.8-27B-NVFP4 auf der DGX Station\"\/><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\"><em>unsloth\/Qwen3.8-27B-NVFP4 auf der DGX Station. Die Grafik f\u00fcr die Inferact-Version ist das obige Beispiel.<\/em><\/p>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/raw.githubusercontent.com\/mwolf-pi3g\/aiperf_dgx_station_260918\/main\/artifacts\/20260917_071251_Qwen_Qwen3.8-27B-FP8_c1%2C4%2C16%2C32%2C64%2C128%2C256\/plots\/pareto_curve_throughput_per_gpu_vs_interactivity.png\" alt=\"Pareto-Kurve, Qwen\/Qwen3.8-27B-FP8 auf der DGX Station\"\/><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\"><em>Qwen\/Qwen3.8-27B-FP8 auf der DGX Station.<\/em><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Der Unterschied zeigt sich am deutlichsten in der Zeit bis zum ersten Token. Bei der FP8-Version stieg sie auf etwa 2,3 Sekunden bei 16 gleichzeitigen Anfragen und auf 4,4 Sekunden bei 32, w\u00e4hrend die BF16-Version bei 0,6 und 1,0 Sekunden und die NVFP4-Versionen bei 0,4 und 0,7 blieb. Das Diagramm von AIPerf zur Durchsatzleistung der Anfragen im Verh\u00e4ltnis zur Zeit bis zum ersten Token zeigt, wie sich die Leistung \u00fcber die verschiedenen Laststufen entwickelt:<\/p>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/raw.githubusercontent.com\/mwolf-pi3g\/aiperf_dgx_station_260918\/main\/artifacts\/20260917_071251_Qwen_Qwen3.8-27B-FP8_c1%2C4%2C16%2C32%2C64%2C128%2C256\/plots\/ttft_vs_throughput.png\" alt=\"Verfahrensleistung im Verh\u00e4ltnis zu der Zeit bis zum ersten Token, Qwen\/Qwen3.8-27B-FP8 auf DGX Station\"\/><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\"><em>Qwen\/Qwen3.8-27B-FP8 auf der DGX Station: abgeschlossene Anfragen pro Sekunde im Vergleich zur durchschnittlichen Zeit bis zur ersten Token-Erfassung, jeweils ein Punkt pro Lastebene.<\/em><\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Qwen3.6-27B<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Qwen3.6-27B ist auch ein dichtes Modell mit 27 Milliarden Parametern. Die BF16-Versionen von Qwen3.6-27B und Qwen3.8-27B lieferten bei allen Laststufen nahezu identische Durchsatzraten.<\/p>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/raw.githubusercontent.com\/mwolf-pi3g\/aiperf_dgx_station_260918\/main\/artifacts\/20260917_035547_Qwen_Qwen3.6-27B_c1%2C4%2C16%2C32%2C64%2C128\/plots\/pareto_curve_throughput_per_gpu_vs_interactivity.png\" alt=\"Pareto-Kurve, Qwen\/Qwen3.6-27B auf der DGX Station\"\/><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\"><em>Qwen\/Qwen3.6-27B auf der DGX Station.<\/em><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Die NVFP4-Version von Qwen3.6-27B von NVIDIA streamte eine einzige Antwort mit einer Geschwindigkeit von etwa 132 Tokens pro Sekunde, schneller als BF16. Bei Belastung stieg die Gesamt\u00fcbertragungsrate jedoch weniger: 1.787 Tokens pro Sekunde bei 32 gleichzeitig gesendeten Anfragen und ein H\u00f6chstwert von 2.461 bei 128, im Vergleich zu 1.955 und 4.236 f\u00fcr BF16. Die Zeit bis zum ersten Token wurde \u00e4hnlich wie bei der FP8-Version von Qwen3.8-27B auf etwa 1,7 Sekunden bei 16 und 3,1 Sekunden bei 32 erh\u00f6ht. Bei 256 sank die Gesamt\u00fcbertragungsrate auf 1.986.<\/p>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/raw.githubusercontent.com\/mwolf-pi3g\/aiperf_dgx_station_260918\/main\/artifacts\/20260917_012119_nvidia_Qwen3.6-27B-NVFP4_c1%2C4%2C16%2C32%2C64%2C128%2C256\/plots\/pareto_curve_throughput_per_gpu_vs_interactivity.png\" alt=\"Pareto-Kurve, nvidia\/Qwen3.6-27B-NVFP4 auf DGX Station\"\/><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\"><em>nvidia\/Qwen3.6-27B-NVFP4 auf der DGX Station.<\/em><\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Qwen3.6-35B-A3B<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Qwen3.6-35B-A3B ist ein Modell mit Expertenkompetenz, das f\u00fcr jeden Token etwa 3 Milliarden seiner 35 Milliarden Parameter verwendet. Hier hatte die BF16-Version eine h\u00f6here Geschwindigkeit bei einer einzigen Anforderung, etwa 312 Tokens pro Sekunde gegen\u00fcber 277 bei der NVFP4-Version von NVIDIA, und eine h\u00f6here Spitzenleistung von 8.491 gegen\u00fcber 7.828 bei 128 gleichzeitig stattgehenden Anfragen. Bei 16, 32 und 64 gleichzeitig stattgefundenen Anfragen lieferte die NVFP4-Version insgesamt etwas mehr (2.549, 4.021 und 5.845 gegen\u00fcber 2.459, 3.742 und 5.713). Bei 256 fiel die Gesamtzahl der NVFP4-Anfragen auf 3.738; die BF16-Version wurde nicht auf diesem Niveau getestet.<\/p>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/raw.githubusercontent.com\/mwolf-pi3g\/aiperf_dgx_station_260918\/main\/artifacts\/20260917_050205_Qwen_Qwen3.6-35B-A3B_c1%2C4%2C16%2C32%2C64%2C128\/plots\/pareto_curve_throughput_per_gpu_vs_interactivity.png\" alt=\"Pareto-Kurve, Qwen\/Qwen3.6-35B-A3B auf der DGX Station\"\/><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\"><em>Qwen\/Qwen3.6-35B-A3B auf der DGX Station.<\/em><\/p>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/raw.githubusercontent.com\/mwolf-pi3g\/aiperf_dgx_station_260918\/main\/artifacts\/20260917_023947_nvidia_Qwen3.6-35B-A3B-NVFP4_c1%2C4%2C16%2C32%2C64%2C128%2C256\/plots\/pareto_curve_throughput_per_gpu_vs_interactivity.png\" alt=\"Pareto-Kurve, nvidia\/Qwen3.6-35B-A3B-NVFP4 auf DGX Station\"\/><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\"><em>nvidia\/Qwen3.6-35B-A3B-NVFP4 auf der DGX Station. Der Punkt f\u00fcr 256 liegt weit au\u00dferhalb der Linie.<\/em><\/p>\n\n\n\n<h2 class=\"wp-block-heading\">In allen acht Versionen<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">F\u00fcr die beiden dichten Modelle f\u00fchrte jede Version mit geringerer Pr\u00e4zision zu einer schnelleren Streaminggeschwindigkeit als die urspr\u00fcngliche Version mit BF16 um 24 bis 70 %. Bei Belastung folgte das Format der Ergebnisse nicht dem Format: Bei 128 gleichzeitig gesendeten Anfragen, bei der h\u00f6chsten Teststufe f\u00fcr alle Versionen, lieferten die Inferact- und unsloth-NVFP4-Versionen von Qwen3.8-27B eine Gesamtwertung von 42 bis 45 % h\u00f6her als die BF16-Version, w\u00e4hrend die NVFP4-Version von Qwen3.6-27B von NVIDIA und die FP8-Version von Qwen3.8-27B jeweils etwa 50 bis 60 % dieser Gesamtleistung lieferten, wobei die Zeit bis zum ersten Token schneller anstieg. F\u00fcr das Modell mit Experten aus verschiedenen Fachrichtungen lagen die BF16- und NVFP4-Versionen bei allen Stufen bis 128 % \u00fcbereinander.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ich habe die Ursachen nicht untersucht. Der KV-Cache war nicht voll: Die eigenen Messwerte von vLLM, die AIPerf zusammen mit den Messwerten erfasst hatte, zeigten, dass er bei der FP8-Version maximal 51 % und bei der NVFP4-Version von Qwen3.6-27B von NVIDIA 33 % volllaufend war bei 128 gleichzeitigen Anfragen, 84 und 66 % bei 256, wobei keine Anfrage vor\u00fcbergehend ausgel\u00f6st wurde.<\/p>\n\n\n\n<div class=\"wp-block-buttons is-content-justification-center is-layout-flex wp-container-core-buttons-is-layout-fe48e5de wp-block-buttons-is-layout-flex\">\n<div class=\"wp-block-button\"><a class=\"wp-block-button__link wp-element-button\" href=\"\/de\/kontakt\/\">Kontaktieren Sie pi3g, um LLM-Inferenzserver wie den Nvidia Spark und die Station zu kaufen.<\/a><\/div>\n<\/div>\n\n\n\n<h2 class=\"wp-block-heading\">Grenzen dieses Tests<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Jede Lastebene wurde zweimal ausgef\u00fchrt, jeweils mit einer vLLM-Version (0.29.0) und 40 % GPU-Speicher. Neuere vLLM-Versionen oder neueren Versionen dieser Checkpoints k\u00f6nnen die Ergebnisse \u00e4ndern. Die BF16-Versionen wurden nicht mit 256 parallelen Anfragen getestet. Die Benchmark vergleicht die Antwortqualit\u00e4t nicht zwischen den verschiedenen Genauigkeitsstufen. Die Arbeitslast ist synthetisch und die realen Anfragen und Antworten variieren in der L\u00e4nge.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Daten<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Alle Rohdaten, Konfigurationsdateien und Diagramme sind vorhanden.&nbsp;<a href=\"https:\/\/github.com\/mwolf-pi3g\/aiperf_dgx_station_260918\">aiperf_dgx_station_260918<\/a>. Jede Version hat ihren eigenen Ordner unter&nbsp;<code>Artefakte\/<\/code>:<\/p>\n\n\n\n<figure class=\"wp-block-table\"><table class=\"has-fixed-layout\"><thead><tr><th class=\"has-text-align-left\" data-align=\"left\">Modell<\/th><th class=\"has-text-align-left\" data-align=\"left\">Ordner<\/th><\/tr><\/thead><tbody><tr><td>Qwen\/Qwen3.8-27B<\/td><td><code>20260917_060722_Qwen_Qwen3.8-27B_c1,4,16,32,64,128<\/code><\/td><\/tr><tr><td>Qwen\/Qwen3.8-27B-FP8<\/td><td><code>20260917_071251_Qwen_Qwen3.8-27B-FP8_c1,4,16,32,64,128,256<\/code><\/td><\/tr><tr><td>Inferact\/Qwen3.8-27B-NVFP4<\/td><td><code>20260916_210841_Inferact_Qwen3.8-27B-NVFP4_c1,4,16,32,64,128,256<\/code><\/td><\/tr><tr><td>unsloth\/Qwen3.8-27B-NVFP4<\/td><td><code>20260917_094856_unsloth_Qwen3.8-27B-NVFP4_c1,4,16,32,64,128,256<\/code><\/td><\/tr><tr><td>Qwen\/Qwen3.6-27B<\/td><td><code>20260917_035547_Qwen_Qwen3.6-27B_c1,4,16,32,64,128<\/code><\/td><\/tr><tr><td>nvidia\/Qwen3.6-27B-NVFP4<\/td><td><code>20260917_012119_nvidia_Qwen3.6-27B-NVFP4_c1,4,16,32,64,128,256<\/code><\/td><\/tr><tr><td>Qwen\/Qwen3.6-35B-A3B<\/td><td><code>20260917_050205_Qwen_Qwen3.6-35B-A3B_c1,4,16,32,64,128<\/code><\/td><\/tr><tr><td>nvidia\/Qwen3.6-35B-A3B-NVFP4<\/td><td><code>20260917_023947_nvidia_Qwen3.6-35B-A3B-NVFP4_c1,4,16,32,64,128,256<\/code><\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Die genauen vLLM-Einstellungen f\u00fcr jede Version sind in&nbsp;<code>conf\/model_compose_overrides\/<\/code>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Wenn Sie bei der Auswahl zwischen Pr\u00e4zision und Checkpoints f\u00fcr ein Modell auf der DGX Station entscheiden m\u00fcssen, w\u00fcrden wir uns freuen, Ihre Anforderungen zu h\u00f6ren. Wir k\u00f6nnen die von Ihnen betrachteten Versionen anhand Ihrer eigenen Anforderungsprofile und Antwortl\u00e4ngen vergleichen und Ihnen helfen, zu beurteilen, was die Ergebnisse f\u00fcr Ihren Anwendungsfall bedeuten.<\/p>","protected":false},"excerpt":{"rendered":"<p>Many open-weight models are published in several precisions: the original BF16 release from the model&#8217;s authors, and FP8 or 4-bit versions from the authors or from third parties. The lower-precision versions are smaller. This article looks at how eight versions of three Qwen models performed on the DGX Station GB300, from 1 to 256 concurrent&hellip;<\/p>","protected":false},"author":865,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":"","_links_to":"","_links_to_target":""},"categories":[1],"tags":[],"class_list":["post-32432","post","type-post","status-publish","format-standard","hentry","category-raspberrypi-blog"],"_links":{"self":[{"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/posts\/32432","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/users\/865"}],"replies":[{"embeddable":true,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/comments?post=32432"}],"version-history":[{"count":2,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/posts\/32432\/revisions"}],"predecessor-version":[{"id":32467,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/posts\/32432\/revisions\/32467"}],"wp:attachment":[{"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/media?parent=32432"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/categories?post=32432"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/tags?post=32432"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}