Seite wählen

KI-Infrastruktur · Seite 2

Hardware-Empfehlung: Lokale KI-Infrastruktur

Acht durchgerechnete Hardware-Pakete für den Betrieb offener KI-Modelle im eigenen Haus – von der Einstiegs-Workstation bis zur Server-Farm. Mit interaktivem Konfigurator, der aus dem Workload automatisch die günstigste passende Konstellation errechnet.

On Premise vs. Cloud
Achtung: Preise mitunter veraltet – aufgrund der angespannten Marktlage schwanken die Preise täglich Für mittelständische Unternehmen · unteres/mittleres Ende der Preisspanne
8 Pakete
4× gebraucht · 4× neu
ab —
Hardware netto
96–768 GB
VRAM gesamt

1 · Die zentrale Entscheidung

Drei Weichenstellungen vor der Paketauswahl

Bevor ein Paket gewählt wird, sollten drei Grundsatzfragen geklärt sein – sie bestimmen Preis, Ausbaufähigkeit und Durchsatz.

Frage 1

Gebraucht oder neu?

Gebraucht (NVIDIA A100): Deutlich günstiger im Einstieg. Was die Karten beim späteren Wiederverkauf noch bringen, hängt stark vom Gebrauchtmarkt ab.

Neu (NVIDIA RTX PRO 6000, 96 GB, Blackwell): Neueste Architektur und mehr VRAM pro Karte, jedoch nicht NVLink-fähig – die Karten kommunizieren langsamer untereinander.

Frage 2 · bei gebrauchter Hardware

PCIe oder SXM4/HGX?

PCIe: Server mit 8–10 GPU-Plätzen, schrittweise ausbaubar (Start mit 2 GPUs möglich). Die GPUs kommunizieren über PCIe – langsamer bei verteilten Modellen.

SXM4 / HGX (Voll-Mesh): Schnellere GPU-Kommunikation über NVLink, muss aber zwingend voll bestückt gekauft werden (4× oder 8×). Ein schrittweiser Ausbau ist hier nicht möglich.

Frage 3

Wie viele GPUs?

Maßgeblich ist der gesamte verfügbare GPU-Speicher (VRAM), denn dieser bestimmt, welche Modelle überhaupt laufen können.

Den konkreten Bedarf für Modell, Kontext und Parallelität rechnet der Konfigurator direkt durch.

2 · Überblick

Paketvergleich

Alle Preise sind Hardware netto (Materialkosten). Aufbau, Einrichtung, Inbetriebnahme und Betrieb sind nicht enthalten und werden separat ausgewiesen.

Gebrauchte Hardware · NVIDIA A100

PaketKonfigurationVRAM gesamtAnbindungHardware nettoCharakter
12× A100 80 GB PCIe160 GBPCIeflexibelster Einstieg
24× A100 80 GB PCIe320 GBPCIeAusbau, weiterhin flexibel
38× A100 80 GB PCIe640 GBPCIeMaximaler PCIe-Ausbau
48× A100 80 GB SXM4640 GBSXM4/HGX (Voll-Mesh)Höchster Durchsatz, fertiges Komplettsystem

Neue Hardware · RTX PRO 6000 Blackwell, 96 GB

PaketKonfigurationVRAM gesamtHardware nettoCharakter
N11× RTX PRO 6000 96 GB96 GBEinstieg Workstation
N22× RTX PRO 6000 96 GB192 GBAusbau Workstation
N34× RTX PRO 6000 96 GB384 GBMaximal-Workstation
N48× RTX PRO 6000 96 GB (Server Ed.)768 GBServer-Farm

3 · Stücklisten

Pakete einzeln im Detail

Jedes Paket mit vollständiger Stückliste, Bezugsquelle und empfohlenem Modell-Stack. Zum Aufklappen anklicken.

Hinweis zu den neuen Paketen: Die RTX PRO 6000 (Blackwell) ist nicht NVLink-fähig – ein über mehrere Karten verteiltes Modell wird weniger effizient bedient als auf einem SXM4-System.

Hintergrund

Durchsatz nach Server-Art

Skalierung relativ zu einer einzelnen GPU – warum NVLink bei vielen Karten zählt.

TPGPU-RAM gesamtSXM4 / HGX (Voll-Mesh)PCIe paarweise (Bridge)Lücke
180 GB1,0×1,0×—
2160 GB~1,8×~1,75–1,8×≈ keine
4320 GB~3,3–3,6×~2,8–3,0×~15–20 %
8640 GB~5,5–6,5×~4,0–4,5× (oft nicht lohnend)~30–40 %

Die Werte in der Tabelle sind Richtwerte. Bei Tensor-Parallelität tauschen die GPUs bei jedem Rechenschritt Zwischenergebnisse aus. Über NVLink (A100/H100 SXM) geht das deutlich schneller als über PCIe, deshalb skalieren SXM-Systeme mit mehreren Karten besser. Über PCIe kostet der Austausch spürbar Durchsatz, und der Abstand wächst mit der Zahl der Karten. Wie groß er im Einzelfall ist, hängt von Modell, Inferenz-Software und Zahl paralleler Anfragen ab.

Wichtig: Auch SXM skaliert nicht linear. Tensor-Parallelität (TP) dient primär dazu, dass ein großes Modell überhaupt in den Speicher passt – der Durchsatzgewinn ist der Bonus, nicht der Hauptzweck. Bei TP = 8 zahlt selbst NVLink merklich „Kommunikations-Steuer".

Vertrag widerrufen

📞 0351 / 79 59 35 13 Projekt besprechen