Lokale KI & LLMs auf eigenen GPU-Servern: 100% Datenschutz

Die Gefahr der Cloud: Warum Unternehmen auf lokale KI setzen müssen

In der heutigen digitalen Landschaft ist Künstliche Intelligenz (KI) zu einem unverzichtbaren Werkzeug für Effizienz und Innovation geworden. Doch der Einsatz von populären, cloud-basierten Systemen bringt für Unternehmen erhebliche Risiken mit sich. Sobald Sie vertrauliche Kundendaten, Geschäftsgeheimnisse, Quellcodes oder Finanzdaten in ein Cloud-LLM eingeben, verlassen diese Informationen Ihr gesichertes Unternehmensnetzwerk. Sie werden auf Servern von Drittanbietern verarbeitet, oftmals in den USA, was massive Bedenken hinsichtlich der DSGVO-Konformität und des Schutzes von geistigem Eigentum (IP) aufwirft.

Außerdem behalten sich viele Cloud-Anbieter in ihren Nutzungsbedingungen vor, die eingegebenen Daten (Prompts) zum weiteren Training ihrer eigenen Modelle zu verwenden. Das bedeutet im schlimmsten Fall: Ihre sensiblen Interna könnten in den Antworten auftauchen, die die KI anderen Nutzern gibt. Für Kanzleien, Ärzte, Industrieunternehmen und Behörden ist dieser Datenabfluss absolut inakzeptabel und rechtlich höchst riskant.

Hinzu kommen regulatorische Risiken: Mit dem EU AI Act und verschärften Anforderungen an die NIS2-Richtlinie müssen Unternehmen zunehmend nachweisen, wo und wie KI-Systeme Daten verarbeiten. Eine lokale Lösung vereinfacht diese Compliance-Anforderungen erheblich.

Unsere Lösung: Echte Datenhoheit durch On-Premise GPU-Server

Die DATUREX GmbH bietet Ihnen die perfekte Alternative: Wir bauen und konfigurieren für Sie individuelle, lokale KI-Systeme, die auf eigenen High-Performance GPU-Servern direkt in Ihrem Serverraum oder in einem streng gesicherten, deutschen Rechenzentrum laufen. Durch den Einsatz modernster Open-Source-Modelle wie Meta's Llama 3, Mistral, Qwen oder Phi-3 bringen wir die Leistungsfähigkeit moderner KI direkt zu Ihnen — ohne dass auch nur ein einziges Byte Ihr Netzwerk verlässt.

Ihre strategischen Vorteile mit lokaler KI

• 100% DSGVO-Konformität & Datenschutz: Da die Modelle lokal ausgeführt werden, müssen Sie keine Auftragsverarbeitungsverträge (AVV) für den Datentransfer ins EU-Ausland abschließen. Ihre Daten bleiben unangetastet und sicher. Unser Datenschutz-Team dokumentiert die Lösung für Ihr Verarbeitungsverzeichnis.
• Keine laufenden Token-Kosten: Cloud-APIs berechnen Gebühren pro generiertem oder gelesenem Wort (Token). Bei intensiver Nutzung oder der Verarbeitung großer Dokumente explodieren diese Kosten schnell. Ein lokales System verursacht nach der Anschaffung der Hardware nur noch Strom- und Wartungskosten. Sie können unlimitiert Daten verarbeiten.
• Unabhängigkeit & Ausfallsicherheit: Sie sind nicht von der Verfügbarkeit externer APIs abhängig. Selbst bei einem Ausfall der Internetverbindung können Ihre Mitarbeiter intern weiterhin auf das KI-System zugreifen.
• Individuelles Finetuning & RAG: Da das Modell Ihnen gehört, können wir es unbegrenzt auf Ihre spezifischen Unternehmensdaten trainieren (Finetuning) oder mittels Retrieval-Augmented Generation (RAG) an Ihr Dokumentenmanagementsystem (DMS) anbinden. Die KI wird zu einem absoluten Experten für genau Ihr Unternehmen.
• Volle Kontrolle über Modell-Updates: Sie entscheiden, wann und ob ein Modell aktualisiert wird. Es gibt keine überraschenden Verhaltensänderungen, wie sie bei Cloud-APIs regelmäßig vorkommen.

Open-Source-Modelle im Überblick: Welches LLM passt zu Ihrem Unternehmen?

Offene Modelle liegen inzwischen in vielen Benchmarks auf Augenhöhe mit proprietären Cloud-Diensten. Der Unterschied entscheidet sich heute woanders: bei Lizenz, Hardware-Bedarf und der Frage, wer Ihre Daten sieht. Die DATUREX GmbH wählt herstellerunabhängig das Modell aus, das zu Ihrem Anwendungsfall passt.

Qwen3.6 und Qwen3.5 — von 0,8B bis zum Flaggschiff

Qwen3.6-27B (April 2026) ist derzeit unsere häufigste Empfehlung für den produktiven Einsatz. 27 Milliarden Parameter in dichter Architektur. Das Modell läuft auf einer einzelnen leistungsfähigen GPU und schlägt in Coding- und Agenten-Benchmarks seinen eigenen Vorgänger mit 397 Milliarden Parametern. Kontext nativ 262.144 Token, erweiterbar auf rund eine Million. Text, Bild und Video werden nativ verarbeitet, die Lizenz ist Apache 2.0.

Konkret heißt das: ein Modell, das Zusammenhänge über ganze Repositories versteht, lange Verträge und technische Dokumentationen am Stück liest — und dabei vollständig in Ihrem Rechenzentrum bleibt.

Qwen3.6-35B-A3B (April 2026) ist die Wahl, wenn viele parallele Anfragen wichtiger sind als maximale Einzelqualität. Als Sparse-MoE-Modell aktiviert es nur rund 3 der 35 Milliarden Parameter pro Token und liefert dadurch sehr hohe Durchsatzraten bei moderatem Hardware-Einsatz — typisch für Chat-Assistenten und Auskunftssysteme mit vielen gleichzeitigen Nutzern.

Die kleinen Modelle der Qwen3.5-Familie decken alles darunter ab: 14B,9B, 4B, 2B und 0,8B, dazu über 200 unterstützte Sprachen und Dialekte. Sie laufen auf Arbeitsplatzrechnern, in der Produktion und auf Edge-Geräten und eignen sich für Aufgaben, bei denen Latenz und Kosten zählen — Klassifikation, Extraktion, Routing, Vorverarbeitung.

Destillation: große Qualität auf kleiner Hardware. In Kundenprojekten kombinieren wir beide Enden dieser Familie. Für klar umrissene Einzelaufgaben nutzen wir Qwen3.6-27B als Lehrmodell, um Trainingsdaten aus Ihren eigenen Fällen zu erzeugen, und stimmen damit Qwen3.5-4B durch training ab. Das Ergebnis ist ein Modell, das in genau dieser Aufgabe an die Qualität des großen Modells heranreicht, aber auf einer einzelnen Consumer-GPU läuft — bei entsprechend niedrigeren Betriebskosten und Antwortzeiten.

Kimi K3 — Referenzklasse, kein Mittelstands-Deployment

Kimi K3 von Moonshot AI ist seit Ende Juli 2026 als Open-Weight-Modell verfügbar und damit das leistungsfähigste je frei herunterladbare Modell: 2,8 Billionen Parameter, 896 Experten mit 16 aktiven pro Token, über eine Million Token Kontext, native Bildverarbeitung. In Blindtests von Entwicklern belegte K3 den ersten Platz in der Frontend-Code-Arena, vor mehreren führenden proprietären Modellen. Es liegt auf einer Stufe mit dem Sagenumwobenen Claude Fable Modell.

Es markiert die Obergrenze dessen, was offene Gewichte leisten.

• Hardware. Die Gewichte belegen rund 1,4 Terabyte, bereits im 4-Bit-Format. Das ist die Liga von Cloud-Anbietern und Inferenz-Dienstleistern, nicht die eines Serverraums im Mittelstand.

Spezialisierte Modelle — weniger nötig als früher

Der Baukasten aus Spezialmodellen ist deutlich kleiner geworden. Eigene Code-Modelle sind für die meisten Fälle überholt; aktuelle Generalisten wie Qwen3.6-27B liefern bessere Ergebnisse. Bild und OCR sind in die Basismodelle integriert — Qwen3.5, Qwen3.6 und Gemma 4 verarbeiten Bilder nativ, ein separates Vision-Modell entfällt in aller Regel. Sinnvoll bleiben dedizierte Embedding- und Reranking-Modelle für RAG-Systeme, deren Auswahl wir an Ihrem Datenbestand und Ihrer Sprachmischung ausrichten.

Hardware-Anforderungen: Was brauchen Sie wirklich?

Der Betrieb von Large Language Models erfordert enorme Rechenleistung, insbesondere viel und schnellen Grafikspeicher (VRAM). Wir dimensionieren die Hardware exakt nach Ihren Anforderungen und Ihrem Budget:

Einstieg: Workstation-Klasse (1-10 Nutzer)

• GPU: 1x NVIDIA RTX 4090 (24 GB VRAM) oder RTX 6000 Ada (48 GB VRAM)
• Geeignet für: Modelle bis 27B Parameter (bei starker Quantisierung), einzelne Abteilungen
• Investition: Ab ca. 5.000-8.000 Euro für die Hardware
• Typischer Einsatz: Interne Wissensdatenbank, Dokumenten-Zusammenfassung, Hoch spezialisierte Modelle

Mittelklasse: Server-Klasse (10-50 Nutzer)

• GPU: 1x NVIDIA A100 (80 GB VRAM) oder NVIDIA RTX 6000 Pro 96GB
• Geeignet für: Modelle bis 70B Parameter, unternehmensweiter Einsatz
• Investition: Ab ca. 15.000-25.000 Euro für die Hardware
• Typischer Einsatz: Firmenweites „Unternehmens-GPT„, RAG-Systeme, Hoch spezialisierte Modelle, KI-Chatbots

Enterprise: GPU-Cluster (50+ Nutzer)

• GPU: Multi-GPU-Setup mit NVIDIA H100 (80 GB VRAM), NVLink-Verbund
• Geeignet für: Modelle mit 70B+ Parametern, hoher Parallelismus, Finetuning
• Investition: Ab ca. 50.000 Euro aufwärts
• Typischer Einsatz: Forschung, eigenes Modell-Training, unternehmenskritische KI-Anwendungen

Wie funktioniert das technische Setup?

Als Software-Stack nutzen wir hochoptimierte Inferenz-Engines, die maximale Geschwindigkeit garantieren:

• vLLM: Hochperformante Inferenz-Engine mit PagedAttention-Technologie für maximalen Durchsatz bei vielen gleichzeitigen Nutzern.
• Ollama: Benutzerfreundliche Lösung für den schnellen Einstieg, ideal für kleinere Teams und Proof-of-Concept-Projekte.
• llama.cpp: Extrem effiziente C++-Implementierung, die durch Quantisierung auch große Modelle auf moderater Hardware ermöglicht.
• Text Generation Inference (TGI): Enterprise-taugliche Lösung mit integriertem Load-Balancing und Token-Streaming.

Ihren Mitarbeitern stellen wir eine intuitive, webbasierte Chat-Oberfläche zur Verfügung, die exakt wie bekannte Cloud-Dienste aussieht und funktioniert — aber durch Ihr lokales Active Directory oder LDAP abgesichert ist. Optional integrieren wir die KI direkt in Microsoft Teams, Slack oder als Browser-Extension.

Quantisierung: Große Modelle auf kleiner Hardware

Nicht jedes Unternehmen kann oder will in Enterprise-GPUs investieren. Durch Quantisierung — eine Technik, bei der die Präzision der Modell-Parameter reduziert wird (z.B. von 16-Bit auf 4-Bit) — können wir auch große 70B-Modelle auf deutlich günstigerer Hardware betreiben. Der Qualitätsverlust ist bei modernen Quantisierungsmethoden (GPTQ, AWQ, GGUF) minimal und für die meisten Geschäftsanwendungen nicht spürbar.

Beispiel: Ein Llama 3 70B-Modell benötigt in voller Präzision ca. 140 GB VRAM. Quantisiert auf 4-Bit passt es in ca. 35 GB VRAM — also auf eine einzelne NVIDIA A6000 (48 GB). Die Antwortqualität bleibt dabei auf über 95% des Originals.

Einsatzszenarien für Ihre lokale KI

Die Möglichkeiten einer eigenen KI sind grenzenlos. Unsere Kunden nutzen lokale LLMs unter anderem für:

• Sichere Dokumentenanalyse: Hochladen von hunderten Seiten an Verträgen oder technischen Spezifikationen, um Zusammenfassungen zu generieren oder spezifische Klauseln zu extrahieren.
• Interne Wissensdatenbank: Ein „Unternehmens-GPT„, das alle internen Wikis, Handbücher und Prozessanweisungen kennt und neue Mitarbeiter in Sekunden einarbeitet.
• Automatisierte Code-Assistenz: Softwareentwickler können proprietären Code von der lokalen KI überprüfen, kommentieren oder ergänzen lassen, ohne geistiges Eigentum preiszugeben.
• Verarbeitung sensibler Kundendaten: Analyse von medizinischen Akten, juristischen Dokumenten oder Finanzdaten zur Unterstützung von Fachpersonal.
• Automatisierte Übersetzung: Technische Dokumentationen, Verträge oder Korrespondenz in über 50 Sprachen übersetzen — ohne dass die Inhalte Ihr Netzwerk verlassen.
• Qualitätskontrolle: Automatische Prüfung von Berichten, Angeboten oder technischen Dokumentationen auf Vollständigkeit, Konsistenz und Fehler.

Integration in bestehende Workflows

Ein lokales LLM entfaltet seine volle Wirkung erst, wenn es nahtlos in Ihre Geschäftsprozesse integriert wird. Die DATUREX GmbH verbindet Ihre lokale KI über n8n-Workflows mit Ihren bestehenden Systemen. So kann die KI automatisiert E-Mails beantworten, Dokumente klassifizieren, Berichte generieren und Daten zwischen Systemen synchronisieren — alles lokal und ohne Cloud-Abhängigkeit.

Für autonome KI-Agenten stellt das lokale LLM das „Gehirn„ dar, während n8n als Orchestrierungsschicht die Verbindung zu ERP, CRM und Kommunikationstools herstellt. Diese Architektur ermöglicht es, komplexe Geschäftsprozesse vollständig zu automatisieren, ohne sensible Daten jemals nach extern zu senden.

Finetuning: Die KI zum Experten für Ihr Unternehmen machen

Während RAG (Retrieval-Augmented Generation) die KI zur Laufzeit mit relevanten Dokumenten versorgt, geht Finetuning einen Schritt weiter: Das Modell wird direkt auf Ihren unternehmensspezifischen Daten nachtrainiert. Dadurch lernt es Ihre Fachsprache, Ihre Produktbezeichnungen, Ihre internen Prozesse und Ihren gewünschten Kommunikationsstil.

Typische Finetuning-Szenarien:

• Anpassung an branchenspezifische Fachterminologie (Medizin, Recht, Maschinenbau)
• Training auf Ihren Schreibstil für automatisierte E-Mail- und Angebotserstellung
• Optimierung der Antwortqualität für Ihre spezifischen FAQ und Kundenanfragen
• Spezialisierung auf die Analyse Ihrer proprietären Datenformate und Dokumentenstrukturen

Informationssicherheit bei lokaler KI

Die Implementierung eines lokalen KI-Systems muss in Ihr bestehendes Informationssicherheits-Management eingebettet werden. Die DATUREX GmbH berücksichtigt dabei:

• Netzwerksegmentierung: Der GPU-Server wird in einem eigenen VLAN betrieben, isoliert von produktiven Systemen.
• Zugriffskontrolle: Anbindung an Active Directory/LDAP mit rollenbasierter Berechtigungsvergabe.
• Logging & Monitoring: Alle Anfragen und Antworten werden protokolliert, um Missbrauch zu erkennen und Compliance-Anforderungen zu erfüllen.
• Regelmäßige Sicherheits-Updates: Die Inferenz-Software und das Betriebssystem werden kontinuierlich aktualisiert.
• ISO 27001-Konformität: Die Lösung wird so dokumentiert, dass sie in Ihr bestehendes ISMS integriert werden kann.

Lassen Sie uns gemeinsam prüfen, wie viel Rechenleistung Sie benötigen und welches Open-Source-Modell für Ihren Anwendungsfall die besten Ergebnisse liefert. Die DATUREX GmbH begleitet Sie von der Hardware-Beschaffung über die Software-Installation bis hin zur Mitarbeiterschulung.

Häufig gestellte Fragen zu lokaler KI & LLMs

Was kostet ein lokaler KI-Server?

Die Hardware-Investition beginnt bei ca. 5.000 Euro für eine Workstation-Lösung (1-10 Nutzer) und reicht bis 50.000+ Euro für Enterprise-GPU-Cluster. Im Gegensatz zu Cloud-APIs fallen danach keine laufenden Token-Kosten an. Bei intensiver Nutzung amortisiert sich die Investition typischerweise innerhalb von 6-12 Monaten.

Sind Open-Source-Modelle so gut wie ChatGPT?

Für die meisten Geschäftsanwendungen: Ja. Modelle wie Llama 3 70B oder Mixtral 8x22B erreichen in vielen Benchmarks vergleichbare Werte. Durch Finetuning auf Ihre spezifischen Daten übertreffen sie generische Cloud-Modelle sogar in Ihrem Fachgebiet. Für allgemeines Weltwissen haben die größten proprietären Modelle noch einen Vorsprung — der aber für unternehmensspezifische Anwendungen selten relevant ist.

Wie aufwändig ist die Wartung eines lokalen KI-Systems?

Minimal. Nach der initialen Installation durch die DATUREX GmbH läuft das System weitgehend autonom. Wir bieten Wartungsverträge an, die regelmäßige Updates der Modelle und Inferenz-Software, Monitoring und Support umfassen. Typischer Wartungsaufwand: wenige Stunden pro Monat.

Kann ich die KI auch ohne Internetverbindung nutzen?

Ja, das ist einer der größten Vorteile lokaler KI. Da das Modell vollständig auf Ihrem Server läuft, funktioniert es auch offline. Ideal für Produktionsumgebungen, mobile Einsätze oder Standorte mit eingeschränkter Konnektivität.

Wie wird die lokale KI DSGVO-konform betrieben?

Da keine Daten Ihr Netzwerk verlassen, entfallen die meisten DSGVO-Risiken. Dennoch empfehlen wir eine Datenschutz-Folgenabschätzung (DSFA) gemäß Art. 35 DSGVO, die wir gemeinsam mit unserem Datenschutz-Team bei der DATUREX GmbH erstellen. Die Verarbeitung wird im Verarbeitungsverzeichnis dokumentiert, und wir implementieren Löschkonzepte für die Chat-Historien.

Welche Stromkosten verursacht ein GPU-Server?

Eine einzelne NVIDIA RTX 4090 verbraucht unter Last ca. 450 Watt, im Leerlauf ca. 50 Watt. Bei typischer Büro-Nutzung (8h Last, 16h Idle) liegen die Stromkosten bei ca. 30-40 Euro pro Monat. Ein Enterprise-Server mit 4x A100 GPUs verbraucht entsprechend mehr, liegt aber typischerweise unter 200 Euro/Monat — ein Bruchteil der Cloud-API-Kosten.

Weitere Leistungen der DATUREX GmbH

• KI-Lösungen für Unternehmen
• KI-Chatbots & Agenten
• KI-Agenten für den Mittelstand
• DSGVO-Beratung
• TOM Datenschutz
• Externer Informationssicherheitsbeauftragter
• ISO 27001 Zertifizierung