Seite wählen

K.I Projekte Hardwarekosten

KI: On-Premise vs. Cloud – kompakt

On-Premise vs. Cloud – kompakt

Die Wahl zwischen eigener Infrastruktur und Cloud-Anbieter war lange eine Kosten- und Komfortfrage. 2026 ist sie vor allem eine Kontrollfrage.

Vergleich auf einen Blick

On-Premise Cloud
Kosten Hohe Anschaffung, planbar im Betrieb Kein Invest, aber laufend & schwer kalkulierbar
Skalierung Durch gekaufte Hardware begrenzt Elastisch, in Minuten
Betrieb Eigenes Personal nötig Anbieter übernimmt Wartung & Patching
Datenkontrolle Vollständig, Daten bleiben im Haus Abhängig von Anbieter-Policies & fremdem Recht
Verfügbarkeit Eigene Roadmap Anbieter (oder dessen Regierung) entscheidet

Cloud lohnt sich bei schwankender Last, Experimenten und kleinen Teams: kein Kapitalbedarf, Managed Services, schnelle Bereitstellung.

On-Premise lohnt sich bei konstant hoher Last (günstiger über 3–5 Jahre), latenzkritischen Systemen – und überall dort, wo Kontrolle über Daten und Verfügbarkeit geschäftskritisch ist.

Datenschutz: Daten bleiben physisch im Haus

On-Premise ist Datenresidenz kein Vertragsversprechen, sondern ein Fakt. In der Cloud gilt: Die Jurisdiktion folgt dem Anbieter, nicht dem Rechenzentrum – US-Hyperscaler unterliegen dem CLOUD Act auch in ihren „EU-Regionen„. Für DSGVO-relevante Daten und Geschäftsgeheimnisse bleibt das ein strukturelles Risiko. Zudem kann der Anbieter Richtlinien jederzeit ändern: Claude Fable 5 etwa kehrte mit verpflichtender 30-Tage-Datenspeicherung zurück – ohne Zero-Data-Retention-Option, auch auf EU-Endpunkten.

Zukunftssicherheit: Die Lektion aus dem Fable-Shutdown

Wenn Sie KI schon eine Weile professionell nutzen, kennen Sie das: Der KI-Anbieter oder Ihr Internet macht Probleme, Sie können nicht mehr wie gewohnt arbeiten – und die Produktivität bricht spürbar ein, weil sich Ihre Abläufe längst um das Werkzeug herum organisiert haben. Nun stellen Sie sich vor, Sie haben viel Geld investiert: KI-gestützte Software entwickelt, Mitarbeiter geschult, Prozesse auf ein bestimmtes Modell optimiert. Und von heute auf morgen heißt es: Modell Y steht nicht mehr öffentlich zur Verfügung – oder Anbieter X geht insolvent.

Das ist kein hypothetisches Szenario. Der Juni 2026 hat gezeigt, was Cloud-Abhängigkeit im Ernstfall bedeutet: Innerhalb von zwei Wochen wurden zwei der leistungsfähigsten KI-Modelle per Regierungsanordnung aus dem freien Zugang genommen – Anthropics Claude Fable 5/Mythos 5 und OpenAIs GPT-5.6. Am 12. Juni verhängte die US-Regierung Exportkontrollen; Anthropic schaltete den Zugang weltweit noch am selben Tag ab – Teams hatten bereits Workflows und Produkte darauf aufgebaut. Die Rückkehr am 1. Juli kam mit zusätzlichen Guardrails und halbierten Nutzungslimits zu neuen Preisen.

Die Lektion gilt weit über KI hinaus: Jede kritische Cloud-Abhängigkeit – API, SaaS, Managed Service – kann durch Anbieter- oder Regierungsentscheidung verteuert, beschnitten, geo-blockiert oder abgeschaltet werden. Die eigene Kernfähigkeit hängt an einem fremden Schalter. Eigene Hardware und selbst betriebene Software (etwa Open-Weight-Modelle) sind gegen diesen Ausfallmodus immun.

Fazit

Sinnvoll ist meist ein Hybrid: Cloud für Elastisches und Unkritisches, On-Premise für Kronjuwelen-Daten, regulierte Workloads und alles, dessen plötzlicher Wegfall das Geschäft stoppen würde. Und in jedem Fall: Exit-Fähigkeit einplanen – portable Formate, anbieterunabhängige Architektur, getestete Migrationspfade. Der Fable-Shutdown dauerte 19 Tage. 

Welches KI-Modell für welchen Einsatzzweck?

Welches KI-Modell für welchen Einsatzzweck?

Ein Vergleich gängiger Open-Weights-Modelle für den lokalen Betrieb — Stand Juli 2026.

Die wichtigste Botschaft vorweg: Größer ist nicht automatisch besser. Für den Großteil betrieblicher Automatisierung reicht ein kompaktes, effizientes Modell vollkommen aus — es läuft auf kleiner Hardware, ist schnell und günstig. Die großen Modelle lohnen sich erst, wenn ein Anwendungsfall wirklich mehr Tiefe, längere autonome Abläufe oder höchste Antwortqualität verlangt. Und mehr Modell bedeutet immer deutlich mehr Hardware und Kosten. Alle hier genannten Modelle sind Open-Weights und lassen sich vollständig im eigenen Haus betreiben.

Kurz erklärt: aktive Parameter — der entscheidende Wert für Automatisierung

Bei den großen Modellen taucht eine Zahl auf, die man kennen sollte, um die Tabelle richtig zu lesen: die aktiven Parameter. Fast alle modernen Großmodelle sind sogenannte „Mixture-of-Experts„ (MoE): Sie bestehen aus vielen Fachbereichen („Experten„), von denen pro Token aber nur ein kleiner Teil tatsächlich rechnet. Ein Modell wie Qwen3.5-397B-A17B hat zwar 397 Milliarden Parameter insgesamt, aber nur 17 Milliarden sind je Token aktiv. Ein dichtes Modell wie die Qwen3.6-27B kennt diese Trennung nicht — bei ihm arbeiten immer alle 27 Milliarden Parameter an jeder Antwort mit.

Diese beiden Zahlen stehen für zwei völlig verschiedene Dinge:

  • Gesamt-Parameter = Wissensspeicher (und Hardware-Bedarf). Je mehr Experten, desto mehr Faktenwissen kann ein Modell ablegen. Wichtig: Alle Experten müssen im Grafikspeicher liegen — auch die, die gerade nicht rechnen. Deshalb bestimmt die Gesamtzahl den VRAM-Bedarf.
  • Aktive Parameter = Denkleistung und Tempo pro Token. Sie bestimmen, wie viel „Hirn„ tatsächlich an jeder einzelnen Antwort arbeitet — und sind damit der ehrlichere Maßstab für die reine Intelligenz eines Modells als die oft plakative Gesamtzahl.

Und genau hier liegt der Punkt für die Automatisierung. Schaut man auf die aktiven Parameter, schrumpft der vermeintliche Riesenvorsprung der großen Modelle dramatisch: Die dichte 27B hat 27 Milliarden aktive Parameter — das sind mehr als bei DeepSeek-V4-Flash (13 Mrd.) und Qwen3.5-397B (17 Mrd.) und dieselbe Größenordnung wie bei Qwen3-235B (22 Mrd.) oder GLM-5.2 (~40 Mrd.). In der reinen Denkleistung pro Token spielt die 27B also in einer Liga mit Modellen, die auf dem Papier ein Vielfaches groß sind. Der eigentliche Vorsprung der Giganten ist ihr größerer Wissensspeicher — und den braucht man in echten Automatisierungsprojekten meist gar nicht. Dort soll das Modell Anweisungen intelligent befolgen, nicht Millionen Fakten auswendig kennen. Modelle für Automatisierung müssen Anweisungen befolgen können und möglichst viel Intelligenz mitbringen, Sie müssen uns aber nicht mitteilen können wie viele Eiscaffes es in Rom gibt oder Quantenmechanik auf mandarin und portugiesisch erklären.

Zwei ehrliche Einschränkungen dazu. Erstens sind aktive Parameter nicht das ganze Bild — die zusätzlichen Experten eines MoE bringen über den reinen Aktiv-Wert hinaus etwas Mehrleistung; die tatsächliche Stärke liegt irgendwo zwischen aktiver und Gesamtzahl. Für das reine Befolgen von Anweisungen ist dieser Abstand aber klein. Zweitens — und praktisch am wichtigsten: Wenige aktive Parameter bedeuten nicht wenig Hardware. Ein Modell mit 13 Milliarden aktiven, aber 284 Milliarden Gesamt-Parametern braucht trotzdem den Speicher für alle 284 Milliarden. Aktive Parameter senken die Rechenlast und erhöhen das Tempo — den Grafikspeicher-Bedarf senken sie nicht.


Qwen3.6-27B — der Allrounder (unsere Standard-Empfehlung)

Ein dichtes 27-Milliarden-Modell mit nativer Vision (Bilder, Dokumente, OCR, sogar Video) und langem Kontextfenster (262.000 Tokens, erweiterbar bis rund 1 Million). Trotz seiner geringen Größe spielt es weit über seiner Gewichtsklasse: Beim Coding übertrifft es sogar das vorherige 397B-Flaggschiff — bei einem Bruchteil der Hardware. Es ist tool- und agentenfähig und läuft bereits auf einer einzelnen GPU.

Wann einsetzen: In den allermeisten Fällen — Vorkontierung, Dokumenten- und Rechnungsverarbeitung, Chatbots, Mitarbeiter-Assistenz, Klassifikation und einfache bis mittlere Agenten-Workflows. Wer solide Vision und Agenten-Fähigkeiten auf günstiger, kompakter Hardware braucht, fährt hiermit optimal. Die Vision-Qualität ist praxisstark (Screenshots, UI, Formulare, Diagramme); für höchste Ansprüche an reine Bild-/Videoanalyse gibt es spezialisierte Modelle, die auf einzelnen Benchmarks vorne liegen.

Qwen3.6-35B-A3B — der Durchsatz-Spezialist

Die MoE-Variante: 35 Milliarden Parameter, von denen aber nur rund 3 Milliarden je Anfrage aktiv sind. Dadurch extrem effizient und schnell im Durchsatz — qualitativ aber schwächer als die dichte 27B, besonders bei Aufgaben die mehr Intelligenz erfordern.

Wann einsetzen: Wenn maximaler Durchsatz und viele parallele, eher einfache Anfragen im Vordergrund stehen und die Aufgaben nicht die Tiefe der 27B verlangen. Für anspruchsvollere Arbeit ist die dichte 27B die bessere Wahl.

Qwen3-235B-A22B-Instruct-2507 — mehr Reasoning-Tiefe

Ein Mixture-of-Experts-Modell mit 235 Milliarden Parametern (22 Milliarden aktiv) und 256.000 Tokens Kontext. Deutlich stärker bei anspruchsvollem Reasoning, Mathematik, Coding und mehrsprachigen Aufgaben; gut in der Werkzeugnutzung. Reine Textverarbeitung, keine Vision.

Wann einsetzen: Wenn die 27B an Grenzen stößt — komplexere Analysen, anspruchsvolle Reasoning-Aufgaben, höhere Antwortqualität bei offenen Fragestellungen. Benötigt mehrere GPUs (typischerweise rund acht, bzw. vier bis fünf in FP8-Quantisierung). Prinzipiell lohnt sich der Sprung vom Qwen 3.6 27B Modell zu dieser Variante jedoch nur wirklich selten.

Qwen3.5-397B-A17B — das multimodale Flaggschiff

Das große Qwen-Flaggschiff: 397 Milliarden Parameter (17 Milliarden aktiv), erstmals mit nativer Vision im selben Modell vereint (Text, Bild, Video), 256.000 Tokens Kontext (bis 1 Million), über 200 Sprachen und ein eigener Reasoning-Modus. Sehr stark bei Agenten-, GUI- und multimodalen Aufgaben.

Wann einsetzen: Wenn ein einziges, breites Spitzenmodell gefragt ist, das Vision, Reasoning und Agenten kombiniert — und die passende Hardware vorhanden ist. Selbst hier gilt noch, das der Unterschied zu Qwen 3.6 27B immernoch sehr gering es wenn es um K.I automatisierung geht. Die großen Mixture Of Experts Modelle haben den Vorteil das Sie sehr viel mehr Wissen speichern können als das 27B Modell, aber in der reinen Intelligenz steht das 27B Modell diesen modellen in kaum etwas nach.

DeepSeek-V4-Flash — das kosteneffiziente Arbeitspferd

Ein MoE-Modell mit 284 Milliarden Parametern (13 Milliarden aktiv) und 1 Million Tokens Kontext, sehr auf Effizienz und Tempo getrimmt. Beim Coding liegt es nur ein bis zwei Punkte hinter dem großen Pro-Modell. Reine Textverarbeitung, keine Vision.

Wann einsetzen: Bei hohen Volumina und sehr langen Kontexten, wo Kosten und Geschwindigkeit zählen und keine Bildverarbeitung nötig ist. Faustregel: standardmäßig Flash, nur bei Bedarf auf Pro eskalieren. Mit rund 160 GB Gewichten ist es ein Server-, kein Einzelkarten-Modell.

DeepSeek-V4-Pro — die offene Spitzenklasse

Mit 1,6 Billionen Parametern (49 Milliarden aktiv) derzeit das größte offene Modell, 1 Million Tokens Kontext, Near-Frontier-Qualität (die führenden geschlossenen Modelle liegen nur wenige Monate voraus). Reine Textverarbeitung.

Wann einsetzen: Für die anspruchsvollsten Reasoning- und Agenten-Aufgaben, wenn maximale Open-Source-Qualität gefragt ist. Braucht Cluster-Hardware der DGX-/HGX-Klasse (Gewichte im 1,6-TB-Bereich) — eine bewusste Infrastruktur-Entscheidung, kein Arbeitsplatz-Setup.

GLM-5.2 (z.ai) — der Coding- und Agenten-Spezialist

Ein MoE-Modell mit rund 744 Milliarden Parametern (etwa 40 Milliarden aktiv), MIT-Lizenz, 1 Million Tokens Kontext. Aktuell das stärkste offene Coding- und Agenten-Modell: erstes offenes Modell über 80 % auf Terminal-Bench und auf mehreren Long-Horizon-Coding-Benchmarks vor GPT-5.5. Zwei Reasoning-Stufen (High/Max). Reine Textverarbeitung.

Wann einsetzen: Für lange, autonome Coding- und Engineering-Agenten, die viele aufeinanderfolgende Schritte über echte Codebasen hinweg zuverlässig durchhalten müssen. Wie die anderen großen Modelle braucht es ernsthafte Infrastruktur.

Entscheidungshilfe auf einen Blick

  • Standard-Automatisierung, Dokumente/Vision, Assistenz, einfache Agenten → Qwen3.6-27B. Reicht in den meisten Fällen und läuft auf der kleinsten Hardware.
  • Maximaler Durchsatz bei einfachen Aufgaben → Qwen3.6-35B-A3B.
  • Mehr Reasoning-Tiefe / bessere offene Antworten → Qwen3-235B.
  • Ein breites, multimodales Flaggschiff (Vision + Reasoning + Agenten) → Qwen3.5-397B.
  • Günstig bei riesigen Textmengen und langem Kontext → DeepSeek-V4-Flash.
  • Höchste offene Qualität für Reasoning/Agenten (Cluster vorhanden) → DeepSeek-V4-Pro.
  • Lange autonome Coding-Agenten → GLM-5.2.

Für die meisten Automatisierungsprojekte ist die Qwen3.6-27B die richtige Wahl — leistungsfähig, effizient und sparsam bei der Hardware. Der Sprung zu den großen Modellen bringt spürbaren Mehrwert nur bei speziellen Anforderungen (tiefes Reasoning, lange autonome Agenten, verlässliche Qualität) und ist mit deutlich höheren Hardware- und Betriebskosten verbunden.

Die KI-Landschaft ändert sich schnell; die Einordnung bezieht sich auf den Stand Juli 2026. Welches Modell auf welcher Hardware in welcher Quantisierung läuft, lässt sich mit unserem Konfigurator direkt durchrechnen.

Hardware-Empfehlung: Lokale KI-Infrastruktur

1. Die zentrale Entscheidung

Achtung: Preise mitunter veraltet, aufgrund der angespannten Marktlage schwanken die Preise täglich.

Die Pakete richten sich an Mittelständische Unternehmen und befinden sich am unterem/mittleren Ende der Preisspanne.

Vor der Paketauswahl stehen drei Weichenstellungen:

Gebraucht oder neu?

  • Gebraucht (NVIDIA A100): Deutlich günstiger im Einstieg. Der Wertverlust dieser Hardware ist gering – ein späterer Wiederverkauf führt zu keinem großen Verlust.

  • Neu (NVIDIA RTX PRO 6000, 96 GB, Blackwell): Neueste Architektur und mehr VRAM pro Karte, jedoch nicht NVLink-fähig (Karten kommunizieren langsamer untereinander).

Bei gebrauchter Hardware: PCIe oder SXM4/HGX?

  • PCIe: Server mit 8–10 GPU-Plätzen, schrittweise ausbaubar (Start mit 2 GPUs möglich). Die GPUs kommunizieren über PCIe – langsamer bei verteilten Modellen.

  • SXM4 / HGX (Voll-Mesh): Schnellere GPU-Kommunikation über NVLink, muss aber zwingend voll bestückt gekauft werden (4× oder 8×). Ein schrittweiser Ausbau ist hier nicht möglich.

Wie viele GPUs? Maßgeblich ist der gesamte verfügbare GPU-Speicher (VRAM), da dieser bestimmt, welche Modelle laufen können.

2. Überblick: Paketvergleich

Gebrauchte Hardware (A100)

Paket

Konfiguration

VRAM gesamt

Anbindung

Hardware netto

Charakter

1

2× A100 80 GB PCIe

160 GB

PCIe

~19.235 €

flexibelster Einstieg

2

4× A100 80 GB PCIe

320 GB

PCIe

~36.630 €

Ausbau, weiterhin flexibel

3

8× A100 80 GB PCIe

640 GB

PCIe

~71.420 €

Maximaler PCIe-Ausbau

4

8× A100 80 GB SXM4

640 GB

SXM4/HGX (Voll-Mesh)

~82.800 €

Höchster Durchsatz, fertiges Komplettsystem

Neue Hardware (RTX PRO 6000 Blackwell, 96 GB)

Paket

Konfiguration

VRAM gesamt

Hardware netto

Charakter

N1

1× RTX PRO 6000 96 GB

96 GB

~16.910 €

Einstieg Workstation

N2

2× RTX PRO 6000 96 GB

192 GB

~29.680 €

Ausbau Workstation

N3

4× RTX PRO 6000 96 GB

384 GB

~53.390 €

Maximal-Workstation

N4

8× RTX PRO 6000 96 GB (Server Ed.)

768 GB

~109.300 €

Server-Farm

Alle Preise sind Hardware netto (Materialkosten). Aufbau, Einrichtung, Inbetriebnahme und Betrieb sind nicht enthalten und werden separat ausgewiesen.


3. Pakete einzelnz im Detail – Gebrauchte Hardware

Paket 1 — Einstieg · 2× A100 80 GB PCIe · 160 GB VRAM

Position

Menge

Einzel

Summe

Quelle

Server 4029GP-TRT Barebone

1

1.700 €

1.700 €

eBay

A100 80 GB PCIe

2

8.000 €

16.000 €

eBay

64 GB RAM (→ 256 GB)

4

290 €

1.160 €

eBay

960 GB NVMe Boot

2

70 €

140 €

Newegg

3,84 TB U.2 NVMe

1

155 €

155 €

eBay

NVLink-Bridge

1

80 €

80 €

eBay

Hardware netto

~19.235 €

Einordnung: Flexibelster Einstiegspunkt. Nachteil: geringerer Durchsatz beim Ausbau gegenüber den SXM4-Varianten. Der Wertverlust dieser gebrauchten Hardware ist sehr gering – bei einem späteren Verkauf entsteht kein großer Verlust.

Empfohlener Modell-Stack: Qwen3.6-27B (Text + Vision) oder Mistral Small 4 (FP8, deutsch) oder Gemma 4 31B + Qwen3-Embedding-8B / BGE-M3

Paket 2 — Ausbau-PCIe · 4× A100 80 GB PCIe · 320 GB VRAM

Position

Menge

Einzel

Summe

Quelle

Server 4029GP-TRT Barebone

1

1.700 €

1.700 €

eBay

A100 80 GB PCIe

4

8.000 €

32.000 €

eBay

64 GB RAM (→ 512 GB)

8

290 €

2.320 €

eBay

960 GB NVMe Boot

2

70 €

140 €

Newegg

3,84 TB U.2 NVMe

2

155 €

310 €

eBay

NVLink-Bridge

2

80 €

160 €

eBay

Hardware netto

~36.630 €

Empfohlener Modell-Stack: Qwen3-VL-235B-A22B (FP8) + Qwen3-Embedding-8B

Paket 3 — Maximal-PCIe · 8× A100 80 GB PCIe · 640 GB VRAM

Position

Menge

Einzel

Summe

Quelle

Server 4029GP-TRT Barebone (inkl. 2× CPU)

1

1.700 €

1.700 €

eBay

A100 80 GB PCIe

8

8.000 €

64.000 €

eBay

64 GB RAM (→ 1 TB)

16

290 €

4.640 €

eBay

960 GB NVMe Boot

2

70 €

140 €

Newegg

3,84 TB U.2 NVMe

4

155 €

620 €

eBay

NVLink-Bridge

4

80 €

320 €

eBay

Hardware netto

~71.420 €

Empfohlener Modell-Stack: Qwen3.5-397B-A17B (FP8) + Qwen3-Embedding-8B

Paket 4 — Skalierung · 8× A100 80 GB SXM4 · 640 GB VRAM (HGX-8, Voll-Mesh)

Position

Menge

Einzel

Summe

Quelle

Komplettsystem 4124GO-NART+, voll ausgestattet, 2 J. SMCI-Garantie

1

82.800 €

82.800 €

eBay

Storage (2× 960 GB NVMe)

–

inkl.

inkl.

enthalten

Netzwerk (Dual-Port 25 GbE)

–

inkl.

inkl.

enthalten

Hardware netto

~82.800 €

Einordnung: Höchster Durchsatz durch Voll-Mesh-NVLink, geliefert als fertiges Komplettsystem mit Herstellergarantie. Nicht schrittweise ausbaubar.

Empfohlener Modell-Stack: Qwen3.5-397B-A17B (FP8) + Qwen3-Embedding-8B


4. Pakete im Detail – Neue Hardware

Wenn neue Hardware gewünscht ist, empfehlen wir die RTX PRO 6000 (96 GB) Workstation-Grafikkarten mit neuester Blackwell-Architektur. Hinweis: Diese Karten sind nicht NVLink-fähig.

Paket N1 — Einstieg · 1× RTX PRO 6000 96 GB · 96 GB VRAM

Position

Menge

Einzel

Summe

Quelle

RTX PRO 6000 Blackwell 96 GB (Workstation Ed.)

1

11.000 €

11.000 €

Distributor

Mainboard WRX90 (ASUS Pro WS WRX90E-SAGE SE)

1

1.050 €

1.050 €

Newegg

CPU Threadripper PRO 7965WX (24C)

1

2.300 €

2.300 €

Newegg

64 GB DDR5 ECC RDIMM (→ 256 GB)

4

300 €

1.200 €

Newegg

CPU-Kühler sTR5

1

150 €

150 €

Newegg

1 TB NVMe Boot

1

90 €

90 €

Newegg

4 TB NVMe Daten

1

320 €

320 €

Newegg

Netzteil 1600 W Titanium

1

450 €

450 €

Newegg

Full-Tower / 4U-Gehäuse

1

350 €

350 €

Newegg

Hardware netto

~16.910 €

Empfohlener Modell-Stack: Qwen3.6-27B (Text + Vision) oder Mistral Small 4 (FP8, deutsch) oder Gemma 4 31B + Qwen3-Embedding-8B / BGE-M3

Paket N2 — Ausbau · 2× RTX PRO 6000 96 GB · 192 GB VRAM

Position

Menge

Einzel

Summe

Quelle

RTX PRO 6000 Blackwell 96 GB (Workstation Ed.)

2

11.000 €

22.000 €

Distributor

Mainboard WRX90

1

1.050 €

1.050 €

Newegg

CPU Threadripper PRO 7965WX (24C)

1

2.300 €

2.300 €

Newegg

64 GB DDR5 ECC RDIMM (→ 512 GB)

8

300 €

2.400 €

Newegg

CPU-Kühler sTR5

1

150 €

150 €

Newegg

1 TB NVMe Boot

1

90 €

90 €

Newegg

4 TB NVMe Daten

2

320 €

640 €

Newegg

Netzteil 2000 W (oder 2× 1300 W)

1

650 €

650 €

Newegg

Full-Tower / 4U-Gehäuse

1

400 €

400 €

Newegg

Hardware netto

~29.680 €

Empfohlener Modell-Stack: Qwen3.6-27B (Text + Vision) oder Mistral Small 4 (FP8, deutsch) + Qwen3-Embedding-8B – mit 192 GB VRAM zusätzlich Kapazität für deutlich mehr parallele Anfragen oder den parallelen Betrieb eines zweiten Modells.

Paket N3 — Maximal-Workstation · 4× RTX PRO 6000 96 GB · 384 GB VRAM

Position

Menge

Einzel

Summe

Quelle

RTX PRO 6000 Blackwell 96 GB (Max-Q 300 W empfohlen)

4

11.000 €

44.000 €

Distributor

Mainboard WRX90 (7× PCIe 5.0 x16)

1

1.050 €

1.050 €

Newegg

CPU Threadripper PRO 7965WX (24C)

1

2.300 €

2.300 €

Newegg

96 GB DDR5 ECC RDIMM (→ 768 GB)

8

470 €

3.760 €

Newegg

CPU-Kühler sTR5

1

150 €

150 €

Newegg

1 TB NVMe Boot

1

90 €

90 €

Newegg

4 TB NVMe Daten

2

320 €

640 €

Newegg

Netzteil 2× 1600 W redundant (oder 4U-Servernetzteil)

2

450 €

900 €

Newegg

4U-Rackmount / GPU-Tower

1

500 €

500 €

Newegg

Hardware netto

~53.390 €

Empfohlener Modell-Stack: Qwen3-VL-235B-A22B (FP8) + Qwen3-Embedding-8B. Hinweis: ohne NVLink wird ein über 4 Karten verteiltes Modell weniger effizient bedient als auf einem SXM4-System.

Paket N4 — Server-Farm (neu) · 8× RTX PRO 6000 96 GB Server Edition · 768 GB VRAM

Position

Menge

Einzel

Summe

Quelle

Server-Plattform Dual-Socket EPYC, 8× PCIe 5.0 x16, redundante NT, 4U/5U (inkl. 2× CPU)

1

~15.000 €

15.000 €

Distributor

RTX PRO 6000 96 GB Server Edition

8

11.000 €

88.000 €

Distributor

64 GB DDR5 ECC RDIMM (→ 1 TB)

16

300 €

4.800 €

Newegg

960 GB NVMe Boot

2

90 €

180 €

Newegg

4 TB NVMe Daten

4

320 €

1.280 €

Newegg

Hardware netto

~109.300 €

Empfohlener Modell-Stack: Qwen3.5-397B-A17B (FP8) + Qwen3-Embedding-8B. Hinweis: ohne NVLink wird ein über 8 Karten verteiltes Modell weniger effizient bedient als auf einem SXM4-System.


Hintergrund: Durchsatz nach Server-Art (relativ zu 1 GPU)

TP

GPU-RAM gesamt

SXM4 / HGX (Voll-Mesh)

PCIe paarweise (Bridge)

Lücke

1

80 GB

1,0×

1,0×

—

2

160 GB

~1,8×

~1,75–1,8×

≈ keine

4

320 GB

~3,3–3,6×

~2,8–3,0×

~15–20 %

8

640 GB

~5,5–6,5×

~4,0–4,5× (oft nicht lohnend)

~30–40 %

NVLink-Systeme (A100/H100 SXM) erreichen rund 0,92× Skalierungseffizienz pro Karte – zwei SXM-Karten liefern etwa das 1,84-Fache einer einzelnen. PCIe-Systeme erreichen nur rund 0,70–0,78× Effizienz pro Karte; ein realer PCIe-Benchmark über 4 GPUs bestätigt das mit 61–74 % Skalierungseffizienz, also erheblichem Overhead durch Tensor-Parallelität über PCIe.

Wichtig: Auch SXM skaliert nicht linear. Tensor-Parallelität (TP) dient primär dazu, dass ein großes Modell überhaupt in den Speicher passt – der Durchsatzgewinn ist der Bonus, nicht der Hauptzweck. Bei TP = 8 zahlt selbst NVLink merklich „Kommunikations-Steuer„.

Vertrag widerrufen

📞 0351 / 79 59 35 13 Projekt besprechen