KI-Infrastruktur · Seite 2
Hardware-Empfehlung: Lokale KI-Infrastruktur
Acht durchgerechnete Hardware-Pakete für den Betrieb offener KI-Modelle im eigenen Haus – von der Einstiegs-Workstation bis zur Server-Farm. Mit interaktivem Konfigurator, der aus dem Workload automatisch die günstigste passende Konstellation errechnet.
On Premise vs. CloudAchtung: Preise mitunter veraltet – aufgrund der angespannten Marktlage schwanken die Preise täglich Für mittelständische Unternehmen · unteres/mittleres Ende der Preisspanne
1 · Die zentrale Entscheidung
Drei Weichenstellungen vor der Paketauswahl
Bevor ein Paket gewählt wird, sollten drei Grundsatzfragen geklärt sein – sie bestimmen Preis, Ausbaufähigkeit und Durchsatz.
Frage 1
Gebraucht oder neu?
Gebraucht (NVIDIA A100): Deutlich günstiger im Einstieg. Der Wertverlust dieser Hardware ist gering – ein späterer Wiederverkauf führt zu keinem großen Verlust.
Neu (NVIDIA RTX PRO 6000, 96 GB, Blackwell): Neueste Architektur und mehr VRAM pro Karte, jedoch nicht NVLink-fähig – die Karten kommunizieren langsamer untereinander.
Frage 2 · bei gebrauchter Hardware
PCIe oder SXM4/HGX?
PCIe: Server mit 8–10 GPU-Plätzen, schrittweise ausbaubar (Start mit 2 GPUs möglich). Die GPUs kommunizieren über PCIe – langsamer bei verteilten Modellen.
SXM4 / HGX (Voll-Mesh): Schnellere GPU-Kommunikation über NVLink, muss aber zwingend voll bestückt gekauft werden (4× oder 8×). Ein schrittweiser Ausbau ist hier nicht möglich.
Frage 3
Wie viele GPUs?
Maßgeblich ist der gesamte verfügbare GPU-Speicher (VRAM), denn dieser bestimmt, welche Modelle überhaupt laufen können.
Den konkreten Bedarf für Modell, Kontext und Parallelität rechnet der Konfigurator direkt durch.
2 · Überblick
Paketvergleich
Alle Preise sind Hardware netto (Materialkosten). Aufbau, Einrichtung, Inbetriebnahme und Betrieb sind nicht enthalten und werden separat ausgewiesen.
Gebrauchte Hardware · NVIDIA A100
| Paket | Konfiguration | VRAM gesamt | Anbindung | Hardware netto | Charakter |
|---|---|---|---|---|---|
| 1 | 2× A100 80 GB PCIe | 160 GB | PCIe | flexibelster Einstieg | |
| 2 | 4× A100 80 GB PCIe | 320 GB | PCIe | Ausbau, weiterhin flexibel | |
| 3 | 8× A100 80 GB PCIe | 640 GB | PCIe | Maximaler PCIe-Ausbau | |
| 4 | 8× A100 80 GB SXM4 | 640 GB | SXM4/HGX (Voll-Mesh) | Höchster Durchsatz, fertiges Komplettsystem |
Neue Hardware · RTX PRO 6000 Blackwell, 96 GB
| Paket | Konfiguration | VRAM gesamt | Hardware netto | Charakter |
|---|---|---|---|---|
| N1 | 1× RTX PRO 6000 96 GB | 96 GB | Einstieg Workstation | |
| N2 | 2× RTX PRO 6000 96 GB | 192 GB | Ausbau Workstation | |
| N3 | 4× RTX PRO 6000 96 GB | 384 GB | Maximal-Workstation | |
| N4 | 8× RTX PRO 6000 96 GB (Server Ed.) | 768 GB | Server-Farm |
3 · Stücklisten
Pakete einzeln im Detail
Jedes Paket mit vollständiger Stückliste, Bezugsquelle und empfohlenem Modell-Stack. Zum Aufklappen anklicken.
Hinweis zu den neuen Paketen: Die RTX PRO 6000 (Blackwell) ist nicht NVLink-fähig – ein über mehrere Karten verteiltes Modell wird weniger effizient bedient als auf einem SXM4-System.
Hintergrund
Durchsatz nach Server-Art
Skalierung relativ zu einer einzelnen GPU – warum NVLink bei vielen Karten zählt.
| TP | GPU-RAM gesamt | SXM4 / HGX (Voll-Mesh) | PCIe paarweise (Bridge) | Lücke |
|---|---|---|---|---|
| 1 | 80 GB | 1,0× | 1,0× | — |
| 2 | 160 GB | ~1,8× | ~1,75–1,8× | ≈ keine |
| 4 | 320 GB | ~3,3–3,6× | ~2,8–3,0× | ~15–20 % |
| 8 | 640 GB | ~5,5–6,5× | ~4,0–4,5× (oft nicht lohnend) | ~30–40 % |
NVLink-Systeme (A100/H100 SXM) erreichen rund 0,92× Skalierungseffizienz pro Karte – zwei SXM-Karten liefern etwa das 1,84-Fache einer einzelnen. PCIe-Systeme erreichen nur rund 0,70–0,78× Effizienz pro Karte; ein realer PCIe-Benchmark über 4 GPUs bestätigt das mit 61–74 % Skalierungseffizienz, also erheblichem Overhead durch Tensor-Parallelität über PCIe.
Wichtig: Auch SXM skaliert nicht linear. Tensor-Parallelität (TP) dient primär dazu, dass ein großes Modell überhaupt in den Speicher passt – der Durchsatzgewinn ist der Bonus, nicht der Hauptzweck. Bei TP = 8 zahlt selbst NVLink merklich „Kommunikations-Steuer".