Archive for November 2026

Wie schnell ein lokaler LLM läuft, hängt von der Hardware, dem Modell und der Anzahl der gleichzeitig verarbeiteten Anfragen ab. Um dies zu messen, habe ich 20 aktuelle Open-Weight-Modelle auf einer NVIDIA DGX Station GB300 und 14 davon auf einer DGX Spark getestet. In dieser Serie werden die Ergebnisse vorgestellt – jeweils eine Maschine und eine…