Beiträge mit dem Stichwort: ‘MoE̵
NVIDIA DGX Station GB300 im Vergleich zu einem Server mit 4 bzw. 8 RTX PRO 6000 Server Edition-Grafikprozessoren
Die NVIDIA DGX Station GB300 ist ein interessantes Angebot für Teams, die auf Cloud-Unabhängigkeit angewiesen sind. Sie ist in erster Linie für den Einsatz im Büro konzipiert und zeichnet sich als relativ leises Gerät mit einem 1.600-W-Netzteil aus. Einige Teams haben jedoch auch die Möglichkeit, ihre eigenen Server in einem Rechenzentrum zu betreiben. Daher ist es sinnvoll, die NVIDIA DGX…
WeiterlesenHäufig gestellte Fragen zur NVIDIA DGX Station GB300
Wie schnell ist die NVIDIA DGX Station GB300? Unser erster Kunde für die DGX Station GB300 hat uns gestattet, diesen Screenshot zu veröffentlichen. Er zeigt die Leistung von DeepSeek-V4-Flash-NVFP4 und Qwen2.5-Coder-32B-Instruct. Diese Modelle lassen sich problemlos im HBM3e-VRAM unterbringen. DeepSeek-V4-Flash-NVFP4 erreicht etwa 159 Ausgabetoken/s, Qwen2.5-Coder-32B-Instruct etwa 70–73 Ausgabetoken/s. Welche LLM-Modelle…
Weiterlesen