KI-Modelle im eigenen Haus betreiben

LLM-Server können in bestehende IT-Strukturen integriert werden, indem man die Netzwerkkonnektivität, den Speicher und die Ressourcenplanung optimiert. Dies erfordert einen sorgfältigen Planungsschritt.

Ein privater LLM-Server betreibt ein Sprachmodell auf eigener oder gemieteter Hardware statt bei einem Anbieter wie OpenAI oder Anthropic. Anfragen verlassen dabei die eigene Umgebung nicht. Das löst Datenschutzfragen, verlagert aber Aufwand und Kosten in den eigenen Betrieb – und offene Modelle sind bei anspruchsvollen Aufgaben schwächer als die grossen kommerziellen.

Entscheidend ist der Grafikspeicher, nicht die Rechenleistung. Als Näherung gilt: ein Modell mit N Milliarden Parametern braucht bei üblicher Quantisierung etwa N Gigabyte Grafikspeicher, plus Reserve für den Kontext. Ein Modell mit 7 bis 8 Milliarden Parametern läuft auf einer Karte mit 16 GB, für 70 Milliarden braucht es mehrere Karten.

Verbreitet sind Llama von Meta, Qwen von Alibaba und Mistral aus Frankreich. Für deutschsprachige Aufgaben ist wichtiger als der Name des Modells, wie gut es mit Deutsch umgeht – das unterscheidet sich deutlich und sollte an den eigenen Texten getestet werden, nicht an Ranglisten.

Bei geringem und mittlerem Volumen ist die Cloud fast immer günstiger, weil nur die tatsächliche Nutzung bezahlt wird. Ein eigener Server rechnet sich erst bei dauerhaft hoher Auslastung – und nur, wenn Betriebsaufwand und Personal in die Rechnung eingehen. Bei sensiblen Daten entscheidet oft nicht der Preis, sondern die Zulässigkeit.

Für den Einstieg und einzelne Nutzer eignet sich Ollama – einfach einzurichten, läuft auch auf einem Arbeitsplatzrechner. Für den produktiven Mehrbenutzerbetrieb ist vLLM verbreitet, weil es Anfragen bündelt und dadurch deutlich mehr gleichzeitige Nutzer bedient. Beide bieten eine OpenAI-kompatible Schnittstelle.

Mit einem festen Rhythmus für drei Dinge: Sicherheitsaktualisierungen des Systems, Aktualisierung der eingesetzten Software und – seltener – ein Modellwechsel. Der Modellwechsel ist der aufwendigste Teil, weil er ohne Testfallsammlung nicht bewertet werden kann.

Nicht direkt ins Internet stellen. Ein Modellserver bringt in der Standardeinstellung meist keine Anmeldung mit – wer die Adresse kennt, kann ihn nutzen. Nötig sind: Zugriff nur aus dem internen Netz oder über VPN, eine vorgeschaltete Anmeldung, Begrenzung der Anfragen je Nutzer und Protokollierung.

Bei ungleichmässiger Last und in der Erprobungsphase fast immer. Miete rechnet sich, solange die Auslastung schwankt oder unklar ist – Kauf erst bei dauerhaft hoher, gleichmässiger Auslastung. Als grobe Orientierung: Wer die Hardware weniger als etwa die Hälfte der Zeit auslastet, fährt mit Miete besser.

Geeignet sind freigegebene, aktuelle und eindeutig verantwortete Daten, deren Zweck, Schutzbedarf und Zugriffsrechte dokumentiert sind. Vor dem Import werden mindestens 4 Punkte geprüft: fachlicher Nutzen, Rechtsgrundlage, Datenqualität und Berechtigung; sensible Rohdaten gehören nicht automatisch in den KI-Index.

Bei RAG werden Dokumente extrahiert, in nachvollziehbare Abschnitte geteilt, als Vektoren indexiert und zur Frage passend abgerufen. Produktiv wird das Verfahren erst mit Quellenangabe, Versionsstand und serverseitigen Zugriffsfiltern; ein Vektorindex ohne Rechteprüfung kann vertrauliche Textstellen an falsche Nutzer liefern.

RAG eignet sich vor allem für veränderliches Wissen und belegbare Antworten; Fine-Tuning eher für stabiles Verhalten, Fachsprache oder ein festes Ausgabeformat. Neue Fakten allein sind selten ein guter Fine-Tuning-Grund. Zuerst werden Prompt und RAG gemessen, danach wird ein Adapter nur mit versionierten Trainings- und Regressionstests erwogen.

Halluzinationen lassen sich nicht vollständig ausschließen. Das System muss Antworten auf freigegebene Fundstellen begrenzen, Belege anzeigen, bei fehlender Evidenz ablehnen und mit einem versionierten Testkatalog überwacht werden. Eine niedrige Temperatur kann Varianten reduzieren, ist aber weder Faktenprüfung noch Sicherheitsgarantie.

Eine feste Nutzerzahl gibt es nicht. Kapazität hängt von Modell, Quantisierung, GPU-Speicher, Kontextlänge, Ausgabelänge und Ziel-Antwortzeit ab. Belastbar ist nur ein Test mit dem eigenen Anfrageprofil, zum Beispiel in Stufen mit 1, 2, 4, 8, 16 und 32 parallelen Anfragen und ausgewerteten p50-, p95- und Fehlerraten.

Modellgröße beschreibt grob die Zahl der Parameter, das Kontextfenster die maximal gemeinsam verarbeitbaren Tokens und Quantisierung die Speicherdarstellung der Gewichte. Bei 7 Milliarden Parametern benötigen reine Gewichte rechnerisch etwa 14 GB in FP16, 7 GB in 8 Bit oder 3,5 GB in 4 Bit – jeweils vor KV-Cache und Laufzeitreserve.

Gemessen werden drei Ebenen getrennt: fachliche Qualität mit versionierten Testfällen, Nutzererlebnis mit Time to First Token und Ende-zu-Ende-Latenz sowie Betrieb mit Tokenrate, Warteschlange, Fehlern und Speicher. Mindestens p50 und p95 werden je Modell-, Prompt-, Daten- und Hardwareversion dokumentiert.

Ein zentraler Identity Provider authentifiziert Nutzer per OIDC; Rollen und Mandant werden serverseitig in jeder Anfrage geprüft. Mindestens Nutzer-, Fachredaktions- und Administrationsrechte sollten getrennt sein. Mandantentrennung muss zusätzlich im Dokumentindex, in Protokollen und Werkzeugzugriffen wirken – ein Mandantenname im Prompt genügt nicht.

Protokolliert wird nur, was für Betrieb, Sicherheit und Nachweis erforderlich ist: Zeit, pseudonyme Nutzerkennung, Modell- und Prompt-Version, Status, Tokenzahlen und Korrelations-ID. Vollständige Prompts und Antworten bleiben standardmäßig aus dem Log; falls Inhalte nötig sind, braucht es Zweck, Rechtsgrundlage, Zugriffsschutz und eine feste Löschfrist.

Gesichert werden nicht nur Modellgewichte, sondern Datenbanken, Vektorindex, Dokumente, Prompts, Adapter, Konfiguration und Schlüsselreferenzen. RPO und RTO werden aus dem Geschäftsrisiko abgeleitet. Backups gelten erst nach einem dokumentierten Wiederherstellungstest als belastbar; Snapshots allein ersetzen weder Replikation noch Notfallplan.

Die Integration läuft über einen abgesicherten API-Gateway und kleine, fachlich begrenzte Adapter. Lesen und Zusammenfassen werden von schreibenden Aktionen getrennt; Änderungen im CRM oder DMS benötigen Validierung, Berechtigung, Idempotenz und bei relevanten Folgen eine menschliche Freigabe. Prompts sind keine Geschäftslogik.

Ein neues Modell wird gegen einen vorab versionierten Abnahmekatalog geprüft: Fachqualität, unbeantwortbare Fälle, Sicherheit, Datenschutz, Latenz und Ressourcen. Modellkarte und Durchschnittsscore genügen nicht. Akzeptanzgrenzen werden vor dem Test festgelegt; erst nach reproduzierbarem Vergleich und begrenztem Canary folgt die Freigabe.

Dimensioniert wird nach dem Datenblatt des konkreten Servers und einer Messung unter realistischer Volllast – nicht nach der durchschnittlichen Leistungsaufnahme im Leerlauf. Netzanschluss, USV, Strompfade, Abwärme, Luftführung, Temperatur, Lärm, Brandschutz und Zutritt werden gemeinsam geplant; 1 Watt elektrische Leistung wird nahezu zu 1 Watt Wärme.

Verfügbarkeit entsteht durch getrennte Fehlerdomänen: mindestens 2 Dienstinstanzen, Health-Checks, Load Balancer, replizierte Zustandsdaten und einen getesteten Rückfall. Zwei Prozesse auf demselben Server schützen nicht vor dessen Ausfall. Für Modellfehler braucht es zusätzlich versionierte Artefakte, Canary-Rollout und sofortigen Rollback.

Ein produktiver KI-Dienst braucht messbare SLI und SLO für Verfügbarkeit, Antwortzeit, Fehler und fachliche Qualität sowie klare Verantwortliche für Plattform, Modell, Daten, Datenschutz und Fachfreigabe. Ein SLA beschreibt die externe Zusage und Folgen; es ersetzt weder Betriebsrunbook noch Qualitätsprüfung.

Ja, ein LLM-Server kann vollständig ohne Internetzugang betrieben werden, sofern alle erforderlichen Modelle, Daten und Software lokal installiert sind. Dies erfordert jedoch eine sorgfältige Planung und Implementierung, um sicherzustellen, dass alle Abhängigkeiten und Ressourcen verfügbar sind. Der Offline-Betrieb kann auch die Aktualisierung und Wartung der Modelle erschweren, da keine Verbindung zu externen Datenquellen besteht.

Die Verschlüsselung von Modellen, Prompts und Dokumenten im Ruhezustand erfolgt in der Regel durch den Einsatz von symmetrischen oder asymmetrischen Verschlüsselungsverfahren. Symmetrische Verfahren nutzen einen gemeinsamen Schlüssel, während asymmetrische Verfahren ein Schlüsselpaar aus öffentlichem und privatem Schlüssel verwenden. Die Wahl des Verfahrens hängt von den spezifischen Sicherheitsanforderungen und der Infrastruktur ab. Zudem sollten die Schlüssel sicher verwaltet und regelmäßig aktualisiert werden, um die Integrität der Daten zu gewährleisten.

Die Lizenzbedingungen für lokal betriebene Sprachmodelle variieren je nach Anbieter und Modell. Häufig sind diese Modelle unter Open-Source-Lizenzen oder kommerziellen Lizenzen verfügbar. Bei Open-Source-Modellen sind die Bedingungen meist weniger restriktiv, während kommerzielle Lizenzen spezifische Nutzungsrechte und -beschränkungen festlegen. Es ist wichtig, die jeweilige Lizenz sorgfältig zu prüfen, um die rechtlichen Rahmenbedingungen zu verstehen.

Die Dimensionierung des GPU-Speichers für ein Modell hängt von mehreren Faktoren ab, darunter die Größe des Modells, die Batch-Größe und die Art der Datenverarbeitung. Zunächst sollte die Anzahl der Parameter des Modells ermittelt werden, da jeder Parameter Speicher benötigt. Zusätzlich ist die Batch-Größe entscheidend, da sie den Speicherbedarf multipliziert. Schließlich können auch temporäre Speicheranforderungen während der Berechnungen den Gesamtbedarf beeinflussen.

Ja, ein Sprachmodell kann grundsätzlich auf CPUs betrieben werden, jedoch sind die Leistung und die Verarbeitungszeit im Vergleich zu GPUs deutlich eingeschränkt. CPUs sind in der Lage, die Berechnungen durchzuführen, die für die Ausführung eines Sprachmodells erforderlich sind, jedoch ist die Parallelverarbeitung, die GPUs bieten, für viele Aufgaben effizienter. Dies kann insbesondere bei großen Modellen oder umfangreichen Datenmengen zu längeren Wartezeiten führen.

Die Trennung von Entwicklungs-, Test- und Produktivumgebungen in einem LLM-System erfolgt durch die Implementierung separater Umgebungen, die jeweils spezifische Ressourcen und Konfigurationen nutzen. Entwicklungsumgebungen sind oft lokal und ermöglichen schnelles Prototyping, während Testumgebungen für die Validierung von Modellen und Funktionen genutzt werden. Die Produktivumgebung hingegen ist stabil und optimiert für den Echtbetrieb. Diese Trennung minimiert Risiken und gewährleistet, dass Änderungen in der Entwicklung nicht unbeabsichtigt die Produktivumgebung beeinflussen.

Der Schutz eines internen Retrieval-Augmented Generation (RAG)-Systems vor manipulierten Dokumenten erfordert mehrere Maßnahmen. Zunächst sollten Dokumente bei der Speicherung und Übertragung verschlüsselt werden, um unbefugten Zugriff zu verhindern. Zudem ist die Implementierung von Integritätsprüfungen, wie Hash-Funktionen, sinnvoll, um Veränderungen an den Dokumenten zu erkennen. Regelmäßige Audits und Zugriffskontrollen tragen ebenfalls zur Sicherheit des Systems bei.

Um zu verhindern, dass Zugangsdaten in Prompts oder Logs landen, sollten sensible Informationen niemals direkt in den Code oder in Protokolle geschrieben werden. Stattdessen empfiehlt es sich, Umgebungsvariablen zu verwenden, um Zugangsdaten zu speichern. Zudem sollten Logging-Mechanismen so konfiguriert werden, dass sie sensible Daten maskieren oder ganz ausschließen. Eine regelmäßige Überprüfung der Logs auf versehentlich gespeicherte Zugangsdaten ist ebenfalls ratsam.

Das Löschen personenbezogener Daten aus Vektordatenbanken und Protokollen erfordert spezifische Schritte. Zunächst sollten die Daten identifiziert werden, die gelöscht werden müssen. Anschließend ist es wichtig, die entsprechenden Löschmethoden anzuwenden, um sicherzustellen, dass die Daten nicht wiederhergestellt werden können. Zudem sollten alle Protokolle, die auf diese Daten verweisen, ebenfalls bereinigt werden, um die Einhaltung der Datenschutzbestimmungen zu gewährleisten.

Der parallele Betrieb mehrerer Sprachmodelle kann sich lohnen, wenn unterschiedliche Anforderungen an die Sprachverarbeitung bestehen. Beispielsweise können spezialisierte Modelle für bestimmte Domänen oder Aufgaben eingesetzt werden, um die Genauigkeit zu erhöhen. Zudem kann der parallele Betrieb die Robustheit erhöhen, da verschiedene Modelle unterschiedliche Stärken und Schwächen aufweisen. In Szenarien, in denen eine hohe Verfügbarkeit und Flexibilität gefordert sind, ist der Einsatz mehrerer Modelle vorteilhaft.

Die Auswahl eines Embedding-Modells für deutsche Fachdokumente hängt von mehreren Faktoren ab, darunter die spezifische Domäne, die Verfügbarkeit von Trainingsdaten und die gewünschte Genauigkeit. Modelle wie BERT oder seine Varianten, die speziell für die deutsche Sprache trainiert wurden, sind oft eine gute Wahl. Zudem sollte die Komplexität der Texte und die Art der Aufgaben, wie Klassifikation oder Ähnlichkeitssuche, berücksichtigt werden. Eine Evaluierung anhand von Metriken wie F1-Score oder Genauigkeit kann ebenfalls hilfreich sein.

Die Auswahl einer Vektordatenbank für ein internes Wissenssystem hängt von verschiedenen Faktoren ab, darunter die Art der Daten, die Skalierbarkeit und die Integrationsmöglichkeiten. Beliebte Optionen sind Pinecone, Weaviate und Milvus, die jeweils unterschiedliche Stärken aufweisen. Pinecone bietet eine benutzerfreundliche API und hohe Skalierbarkeit, während Weaviate eine integrierte Wissensgraph-Funktionalität hat. Milvus hingegen ist besonders für große Datenmengen geeignet und unterstützt verschiedene Indizierungsstrategien.

Ein Reranker verbessert die Qualität von Retrieval-Augmented Generation (RAG)-Antworten, wenn er in der Lage ist, die Relevanz der abgerufenen Informationen besser zu bewerten als das ursprüngliche Retrieval-System. Dies geschieht häufig durch die Anwendung komplexerer Modelle, die kontextuelle und semantische Aspekte der Anfragen und Dokumente berücksichtigen. Insbesondere bei mehrdeutigen oder komplexen Fragen kann ein Reranker die Genauigkeit und Relevanz der Antworten signifikant erhöhen, indem er die besten Ergebnisse priorisiert. Die Verbesserung hängt jedoch stark von der Qualität der zugrunde liegenden Daten und der Trainingsmethoden des Rerankers ab.

Die Aufbereitung gescannter PDFs und Tabellen für Retrieval-Augmented Generation (RAG) umfasst mehrere Schritte. Zunächst erfolgt die Texterkennung (OCR), um den Text aus den gescannten Dokumenten zu extrahieren. Anschließend wird der extrahierte Text strukturiert, um relevante Informationen zu identifizieren und zu kategorisieren. Tabellen werden in ein maschinenlesbares Format überführt, wobei die Struktur und die Beziehungen zwischen den Datenpunkten berücksichtigt werden. Schließlich erfolgt eine Validierung der Daten, um die Qualität und Genauigkeit sicherzustellen.

Um einen privaten KI-Assistenten dazu zu bringen, seine Fundstellen anzugeben, ist es wichtig, klare Anfragen zu stellen, die auf die Quellen der Informationen abzielen. Viele KI-Modelle sind darauf programmiert, Informationen zu generieren, ohne spezifische Quellen zu nennen. Eine Möglichkeit, dies zu umgehen, besteht darin, nach den verwendeten Daten oder den zugrunde liegenden Modellen zu fragen. Zudem kann die Implementierung von Protokollen zur Quellenangabe in der Softwareentwicklung helfen, die Transparenz zu erhöhen.

Ein Retrieval-Augmented Generation (RAG)-System kann Zugriffsrechte aus Dokumentenmanagementsystemen (DMS) oder SharePoint übernehmen, indem es auf die in diesen Systemen gespeicherten Berechtigungen zugreift. Dies geschieht in der Regel über APIs oder Integrationen, die es dem RAG-System ermöglichen, die Benutzerrollen und -rechte auszulesen. Die Übertragung der Zugriffsrechte erfolgt oft in Echtzeit, sodass Änderungen in den DMS oder SharePoint sofort im RAG-System reflektiert werden. Eine sorgfältige Konfiguration ist notwendig, um sicherzustellen, dass die richtigen Berechtigungen angewendet werden.

Ein belastbarer Testsatz für ein internes Sprachmodell sollte eine Vielzahl von Testfällen abdecken, die unterschiedliche Aspekte der Sprachverarbeitung prüfen. Dazu gehören syntaktische, semantische und pragmatische Dimensionen. Die Auswahl der Testdaten sollte sowohl repräsentative Beispiele als auch Grenzfälle umfassen, um die Robustheit des Modells zu evaluieren. Zudem ist es wichtig, die Testdaten regelmäßig zu aktualisieren und anzupassen, um neue Entwicklungen und Anwendungsfälle zu berücksichtigen.

Kontrollierte Angriffs- und Missbrauchstests gegen KI-Assistenten erfordern eine strukturierte Vorgehensweise. Zunächst sollte ein Testplan erstellt werden, der die Ziele, Methoden und den Umfang der Tests definiert. Anschließend sind geeignete Testumgebungen einzurichten, um reale Bedingungen zu simulieren. Die Tests sollten verschiedene Angriffsszenarien abdecken, um Schwachstellen zu identifizieren. Nach der Durchführung ist eine umfassende Analyse der Ergebnisse notwendig, um Maßnahmen zur Verbesserung der Sicherheit zu entwickeln.

Ein Rollback nach einem fehlerhaften Modellupdate erfordert eine sorgfältige Planung und Ausführung. Zunächst sollte eine Sicherung des vorherigen Modells vorhanden sein, um eine reibungslose Rückkehr zu gewährleisten. Die Rückrollprozedur umfasst das Stoppen des aktuellen Modells, das Wiederherstellen der vorherigen Version und das Testen der Funktionalität, um sicherzustellen, dass alles ordnungsgemäß funktioniert. Dokumentation und Protokollierung sind entscheidend, um den Prozess nachvollziehbar zu gestalten.

Die Wahl der Betriebsumgebung für einen LLM-Server hängt von verschiedenen Faktoren ab, darunter Skalierbarkeit, Ressourcenmanagement und Anwendungsfall. Container bieten eine flexible und leichtgewichtige Möglichkeit, Anwendungen zu isolieren und zu skalieren. Virtuelle Maschinen bieten eine stärkere Isolation und sind für komplexe Anwendungen geeignet, die umfangreiche Ressourcen benötigen. Kubernetes ermöglicht die Orchestrierung von Containern und ist ideal für dynamische Umgebungen mit hohem Verkehrsaufkommen.

Die Aktualisierung von Modellen ohne längere Betriebsunterbrechung erfordert eine sorgfältige Planung und den Einsatz geeigneter Techniken. Eine gängige Methode ist das Blue-Green-Deployment, bei dem zwei identische Produktionsumgebungen verwendet werden. Während die eine Umgebung aktiv ist, wird die andere mit der neuen Version aktualisiert. Nach erfolgreichem Testen kann der Verkehr nahtlos umgeschaltet werden, wodurch Ausfallzeiten minimiert werden.

Um einen sicheren Fernzugriff auf einen internen LLM-Server zu ermöglichen, sind mehrere Maßnahmen erforderlich. Zunächst sollte eine VPN-Verbindung eingerichtet werden, um den Datenverkehr zu verschlüsseln. Zusätzlich sind Authentifizierungsmechanismen wie Multi-Faktor-Authentifizierung (MFA) zu implementieren. Firewalls sollten konfiguriert werden, um den Zugriff nur auf autorisierte Benutzer zu beschränken. Schließlich ist es wichtig, regelmäßige Sicherheitsupdates und -prüfungen durchzuführen, um potenzielle Schwachstellen zu identifizieren und zu beheben.

Der Energieverbrauch eines KI-Servers kann durch Monitoring-Tools erfasst werden, die den Stromverbrauch in Echtzeit messen. Diese Tools bieten oft detaillierte Analysen und Berichte, die helfen, den Verbrauch zu optimieren. Um den Energieverbrauch zu begrenzen, können Strategien wie Lastverlagerung, effiziente Hardwareauswahl und die Implementierung von Energiesparmodi eingesetzt werden. Eine regelmäßige Überprüfung und Anpassung der Systemeinstellungen ist ebenfalls wichtig, um den Energieverbrauch nachhaltig zu reduzieren.