Private KI-Infrastruktur aufbauen oder externe KI-Dienste nutzen?

Viele Unternehmen beschäftigen sich derzeit mit der Frage, wie sie Künstliche Intelligenz sinnvoll in ihre Geschäftsprozesse integrieren können. Das Ziel ist dabei meist klar: Wettbewerbsvorteile schaffen, Mitarbeiter entlasten und wiederkehrende Aufgaben automatisieren.

Die konkrete Umsetzung hängt stark vom jeweiligen Geschäftsbereich ab. Mittlerweile gibt es eine Vielzahl spezialisierter KI-Produkte sowie Plattformen, mit denen sich komplexe Agentensysteme und automatisierte Workflows aufbauen lassen. Unabhängig von der gewählten Lösung basieren die meisten modernen KI-Anwendungen jedoch auf demselben Prinzip: Im Hintergrund arbeiten dabei ein oder mehrere Large Language Models (LLMs), die je nach Anwendungsfall unterschiedliche Aufgaben übernehmen und die eigentliche Intelligenz der Lösung bereitstellen.

In den meisten Fällen wird dieses Modell über eine API von einem externen Anbieter wie OpenAI, Anthropic, Google, Mistral oder anderen bezogen. Die Abrechnung erfolgt üblicherweise auf Basis des tatsächlichen Verbrauchs von Tokens. Während dieser Ansatz einen schnellen Einstieg ermöglicht, sollten Unternehmen bei der Planung ihrer KI-Strategie einige wichtige Aspekte berücksichtigen.

Kostenentwicklung wird oft unterschätzt

Bei der Bewertung einer KI-Lösung werden häufig nur die aktuellen API-Kosten betrachtet. In der Praxis wächst die Nutzung jedoch oft deutlich schneller als ursprünglich erwartet.

Pilotprojekte mit 20 oder 30 Anwendern liefern häufig überzeugende Ergebnisse und verursachen zunächst nur geringe Kosten. Nach einem erfolgreichen Rollout auf mehrere hundert oder sogar tausend Mitarbeiter vervielfacht sich die Nutzung jedoch erheblich. Hinzu kommen größere Dokumentenmengen, komplexere Agenten-Workflows und zusätzliche Integrationen.

Darüber hinaus benötigen Unternehmen im produktiven Betrieb häufig zusätzliche Leistungen wie höhere Nutzungsgrenzen, garantierte Verfügbarkeit (SLA), Audit-Logs, Compliance-Funktionen oder erweiterte Sicherheitsoptionen. Diese Zusatzleistungen können langfristig einen erheblichen Anteil der Gesamtkosten ausmachen.

Verfügbarkeit und Ausfallsicherheit

Eine Agentenlösung ist nur so verfügbar wie der zugrunde liegende KI-Anbieter. Kommt es zu API-Ausfällen, Netzwerkproblemen oder regionalen Störungen, kann die gesamte Automatisierung beeinträchtigt werden.

Besonders kritisch wird dies, wenn KI-Agenten wichtige Geschäftsprozesse unterstützen oder automatisieren. In solchen Fällen sollte bereits in der Planungsphase berücksichtigt werden, wie mit Ausfällen umgegangen wird und welche Alternativen zur Verfügung stehen.

Rechtliche und regulatorische Anforderungen

In vielen Branchen gelten besondere Anforderungen an Datenschutz und Compliance. Dies betrifft beispielsweise Banken, Versicherungen, das Gesundheitswesen, Behörden oder Betreiber kritischer Infrastruktur. Darüber hinaus gewinnen neue regulatorische Vorgaben für den Einsatz künstlicher Intelligenz zunehmend an Bedeutung. Mit der Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates (EU AI Act) wurde erstmals ein umfassender Rechtsrahmen für KI-Systeme geschaffen. Obwohl die großen KI-Anbieter umfangreiche Sicherheitsmaßnahmen implementieren, müssen Unternehmen sorgfältig prüfen, ob die Nutzung externer KI-Dienste mit ihren internen Richtlinien, Compliance-Vorgaben und den geltenden regulatorischen Anforderungen vereinbar ist. Auf die Anforderungen und Auswirkungen dieser Verordnung werden wir in einem separaten Beitrag ausführlich eingehen.

Datenstandort und digitale Souveränität

Für viele Organisationen ist heute nicht nur entscheidend, wo ihre Daten verarbeitet und gespeichert werden, sondern auch wer die Kontrolle über diese Daten und die eingesetzten KI-Systeme besitzt. Viele Unternehmen verfolgen daher das Ziel der digitalen Souveränität. Neben Datenschutz und Compliance spielt dabei auch die Kontrolle über Daten, KI-Systeme und die digitale Infrastruktur eine zentrale Rolle.

Die Diskussion um digitale Souveränität wurde unter anderem durch US-amerikanische Gesetze wie den CLOUD Act sowie europäische Datenschutzentscheidungen wie das Schrems-II-Urteil geprägt. Das Urteil ist für die digitale Souveränität so bedeutsam, weil es deutlich gemacht hat, dass der Speicherort von Daten allein nicht ausreicht, um europäische Datenschutzanforderungen zu erfüllen. Im Jahr 2020 erklärte der Europäische Gerichtshof (EuGH) das Privacy Shield – das damalige Abkommen für den Datentransfer zwischen der EU und den USA – für ungültig. Der EuGH begründete dies damit, dass US-Überwachungsgesetze europäischen Bürgern keinen mit der DSGVO vergleichbaren Schutz bieten und US-Behörden unter bestimmten Voraussetzungen auf Daten zugreifen können. Dadurch wurde deutlich, dass auch Daten in europäischen Rechenzentren betroffen sein können, wenn sie von einem US-Unternehmen oder dessen Tochtergesellschaft verarbeitet oder kontrolliert werden. Für die Diskussion um digitale Souveränität war das Urteil deshalb ein Wendepunkt: Es verlagerte den Fokus von der Frage „Wo liegen meine Daten?“ hin zu „Wer hat unter welchen rechtlichen Rahmenbedingungen Zugriff auf meine Daten?“.

Obwohl führende Cloud- und KI-Anbieter umfangreiche Sicherheitsmaßnahmen implementieren und Rechenzentren innerhalb der Europäischen Union betreiben, müssen Unternehmen sorgfältig prüfen, ob die Nutzung externer KI-Dienste mit ihren internen Richtlinien, Compliance-Vorgaben und den geltenden regulatorischen Anforderungen vereinbar ist.

Änderungen an den Modellen

Cloudbasierte KI-Modelle werden kontinuierlich weiterentwickelt. Dies bringt zwar Verbesserungen mit sich, kann jedoch auch Auswirkungen auf bestehende Anwendungen haben.

Antwortqualität, Antwortstil, Genauigkeit oder das Verhalten bei Tool-Aufrufen können sich mit neuen Modellversionen verändern. Ein Agent, der heute zuverlässig funktioniert, kann nach einem Wechsel auf eine neue Modellversion andere Ergebnisse liefern oder bestimmte Aufgaben anders bearbeiten als zuvor.

Strategische Abhängigkeit von einzelnen Anbietern

Ein Aspekt, der häufig unterschätzt wird, ist die langfristige Abhängigkeit von einem einzelnen KI-Anbieter. Wird ein zentraler Geschäftsprozess auf einer externen Plattform aufgebaut, entstehen zwangsläufig technische und wirtschaftliche Abhängigkeiten.

Unternehmen sollten daher frühzeitig überlegen, wie sie auf geänderte Preisstrukturen, neue Nutzungsbedingungen oder die Einstellung bestimmter Modelle reagieren würden. Empfehlenswert ist es, möglichst standardisierte Schnittstellen zu verwenden und die eigene Lösung so zu gestalten, dass unterschiedliche Modelle ausgetauscht oder parallel betrieben werden können.

Wann kann eine Private AI Infrastruktur sinnvoll sein?

Für viele Unternehmen kann eine private KI-Infrastruktur eine interessante Alternative darstellen. Dabei werden die KI-Modelle auf eigener oder dedizierter Hardware betrieben und verbleiben vollständig innerhalb der eigenen IT-Umgebung.

Die wichtigsten Vorteile sind:

• Daten bleiben im Unternehmen
• Keine Weitergabe sensibler Informationen an externe Anbieter
• Planbare und transparente Betriebskosten
• Keine nutzungsabhängigen Token-Kosten
• Unabhängigkeit von einzelnen Modellanbietern
• Volle Kontrolle über Updates und Modellversionen
• Unterstützung von Compliance- und Datenschutzanforderungen

Fazit

Externe KI-Anbieter ermöglichen einen schnellen und unkomplizierten Einstieg in die Welt der KI-gestützten Automatisierung. Für viele Unternehmen sind sie der richtige erste Schritt. Mit zunehmender Nutzung gewinnen jedoch Themen wie Datenschutz, Kostenkontrolle, Verfügbarkeit und strategische Unabhängigkeit an Bedeutung.

Wer seine KI-Strategie langfristig plant, sollte daher nicht nur die Fähigkeiten der Modelle betrachten, sondern auch die zugrunde liegende Infrastruktur. In vielen Fällen kann eine private AI-Lösung die notwendige Kontrolle, Sicherheit und Planbarkeit bieten, um KI nachhaltig und wirtschaftlich im Unternehmen einzusetzen.

Weiterführende Informationen

• U.S. Department of Justice: CLOUD Act Resources
• Gerichtshof der Europäischen Union: Urteil C-311/18 (Schrems II)
• European Parliament Research Service: The CJEU Judgment in the Schrems II Case