KI-Infrastruktur · Seite 2
Hardware-Empfehlung: Lokale KI-Infrastruktur
Acht durchgerechnete Hardware-Pakete für den Betrieb offener KI-Modelle im eigenen Haus – von der Einstiegs-Workstation bis zur Server-Farm. Mit interaktivem Konfigurator, der aus dem Workload automatisch die günstigste passende Konstellation errechnet.
On Premise vs. CloudAchtung: Preise mitunter veraltet – aufgrund der angespannten Marktlage schwanken die Preise täglich Für mittelständische Unternehmen · unteres/mittleres Ende der Preisspanne
1 · Die zentrale Entscheidung
Drei Weichenstellungen vor der Paketauswahl
Bevor ein Paket gewählt wird, sollten drei Grundsatzfragen geklärt sein – sie bestimmen Preis, Ausbaufähigkeit und Durchsatz.
Frage 1
Gebraucht oder neu?
Gebraucht (NVIDIA A100): Deutlich günstiger im Einstieg. Was die Karten beim späteren Wiederverkauf noch bringen, hängt stark vom Gebrauchtmarkt ab.
Neu (NVIDIA RTX PRO 6000, 96 GB, Blackwell): Neueste Architektur und mehr VRAM pro Karte, jedoch nicht NVLink-fähig – die Karten kommunizieren langsamer untereinander.
Frage 2 · bei gebrauchter Hardware
PCIe oder SXM4/HGX?
PCIe: Server mit 8–10 GPU-Plätzen, schrittweise ausbaubar (Start mit 2 GPUs möglich). Die GPUs kommunizieren über PCIe – langsamer bei verteilten Modellen.
SXM4 / HGX (Voll-Mesh): Schnellere GPU-Kommunikation über NVLink, muss aber zwingend voll bestückt gekauft werden (4× oder 8×). Ein schrittweiser Ausbau ist hier nicht möglich.
Frage 3
Wie viele GPUs?
Maßgeblich ist der gesamte verfügbare GPU-Speicher (VRAM), denn dieser bestimmt, welche Modelle überhaupt laufen können.
Den konkreten Bedarf für Modell, Kontext und Parallelität rechnet der Konfigurator direkt durch.
2 · Überblick
Paketvergleich
Alle Preise sind Hardware netto (Materialkosten). Aufbau, Einrichtung, Inbetriebnahme und Betrieb sind nicht enthalten und werden separat ausgewiesen.
Gebrauchte Hardware · NVIDIA A100
| Paket | Konfiguration | VRAM gesamt | Anbindung | Hardware netto | Charakter |
|---|---|---|---|---|---|
| 1 | 2× A100 80 GB PCIe | 160 GB | PCIe | flexibelster Einstieg | |
| 2 | 4× A100 80 GB PCIe | 320 GB | PCIe | Ausbau, weiterhin flexibel | |
| 3 | 8× A100 80 GB PCIe | 640 GB | PCIe | Maximaler PCIe-Ausbau | |
| 4 | 8× A100 80 GB SXM4 | 640 GB | SXM4/HGX (Voll-Mesh) | Höchster Durchsatz, fertiges Komplettsystem |
Neue Hardware · RTX PRO 6000 Blackwell, 96 GB
| Paket | Konfiguration | VRAM gesamt | Hardware netto | Charakter |
|---|---|---|---|---|
| N1 | 1× RTX PRO 6000 96 GB | 96 GB | Einstieg Workstation | |
| N2 | 2× RTX PRO 6000 96 GB | 192 GB | Ausbau Workstation | |
| N3 | 4× RTX PRO 6000 96 GB | 384 GB | Maximal-Workstation | |
| N4 | 8× RTX PRO 6000 96 GB (Server Ed.) | 768 GB | Server-Farm |
3 · Stücklisten
Pakete einzeln im Detail
Jedes Paket mit vollständiger Stückliste, Bezugsquelle und empfohlenem Modell-Stack. Zum Aufklappen anklicken.
Hinweis zu den neuen Paketen: Die RTX PRO 6000 (Blackwell) ist nicht NVLink-fähig – ein über mehrere Karten verteiltes Modell wird weniger effizient bedient als auf einem SXM4-System.
Hintergrund
Durchsatz nach Server-Art
Skalierung relativ zu einer einzelnen GPU – warum NVLink bei vielen Karten zählt.
| TP | GPU-RAM gesamt | SXM4 / HGX (Voll-Mesh) | PCIe paarweise (Bridge) | Lücke |
|---|---|---|---|---|
| 1 | 80 GB | 1,0× | 1,0× | — |
| 2 | 160 GB | ~1,8× | ~1,75–1,8× | ≈ keine |
| 4 | 320 GB | ~3,3–3,6× | ~2,8–3,0× | ~15–20 % |
| 8 | 640 GB | ~5,5–6,5× | ~4,0–4,5× (oft nicht lohnend) | ~30–40 % |
Die Werte in der Tabelle sind Richtwerte. Bei Tensor-Parallelität tauschen die GPUs bei jedem Rechenschritt Zwischenergebnisse aus. Über NVLink (A100/H100 SXM) geht das deutlich schneller als über PCIe, deshalb skalieren SXM-Systeme mit mehreren Karten besser. Über PCIe kostet der Austausch spürbar Durchsatz, und der Abstand wächst mit der Zahl der Karten. Wie groß er im Einzelfall ist, hängt von Modell, Inferenz-Software und Zahl paralleler Anfragen ab.
Wichtig: Auch SXM skaliert nicht linear. Tensor-Parallelität (TP) dient primär dazu, dass ein großes Modell überhaupt in den Speicher passt – der Durchsatzgewinn ist der Bonus, nicht der Hauptzweck. Bei TP = 8 zahlt selbst NVLink merklich „Kommunikations-Steuer".