Ein KI-Assistent fasst eine hochgeladene Datei zusammen, durchsucht eine Wissensdatenbank oder bereitet eine Antwort aus einer Webseite vor. Dabei verarbeitet er nicht nur die Aufgabe des Nutzers, sondern auch fremde Inhalte. Genau dort kann eine Prompt Injection ansetzen: Eine Anweisung in einem Dokument, einer Webseite oder einer Nachricht versucht, das Modell zu einem unerwünschten Verhalten zu bewegen.
Das Risiko wächst, wenn generative KI nicht nur Text erzeugt, sondern auf Dateien, Datenbanken oder externe Werkzeuge zugreifen darf. Unternehmen brauchen deshalb mehr als einen guten System-Prompt. Sie benötigen mehrere aufeinander abgestimmte Schutzschichten. Dieser Leitfaden zeigt acht davon – vom klar abgegrenzten Anwendungsfall bis zum kontrollierten Freigabeprozess.
Was ist eine Prompt Injection?
Das National Institute of Standards and Technology (NIST) beschreibt Prompt Injection als Angriff, der die Verbindung nicht vertrauenswürdiger Eingaben mit einem Prompt aus einer höher vertrauenswürdigen Quelle ausnutzt. Praktisch bedeutet das: Ein KI-System kann Daten und Anweisungen nicht immer zuverlässig voneinander trennen.
Bei einer direkten Prompt Injection gibt eine Person die manipulierende Anweisung unmittelbar in das System ein. Bei einer indirekten Prompt Injection steckt sie dagegen in einem externen Inhalt, den das System später verarbeitet – etwa in einer Webseite, einer Datei, einer E-Mail oder einem Eintrag aus einer Wissensdatenbank. Das OWASP Gen AI Security Project weist darauf hin, dass solche Eingaben auch über mehrere Medien wirken können und nicht zwingend als offensichtlicher Text erkennbar sein müssen.
Nicht jede falsche oder merkwürdige Antwort ist automatisch eine Prompt Injection. Auch Halluzinationen, unklare Aufgaben oder ungeeignete Daten können Fehler verursachen. Wichtig ist daher ein Prüfprozess, der Ursache, Auswirkung und Berechtigungen gemeinsam betrachtet.
Warum ein einzelner Filter nicht genügt
Das Bundesamt für Sicherheit in der Informationstechnik (BSI) ordnet Prompt Injection als relevantes Risiko generativer KI-Modelle ein. OWASP betont zugleich, dass es keine vollkommen sichere Einzelmaßnahme gibt. Relevanter als das Versprechen einer vollständigen Erkennung ist deshalb die Frage: Wie begrenzt das Unternehmen den möglichen Schaden, wenn eine Manipulation unentdeckt bleibt?
Das Prinzip lautet „Defense in Depth“. Mehrere Kontrollen greifen an unterschiedlichen Stellen: vor der Verarbeitung, während des Modellaufrufs, beim Zugriff auf Werkzeuge und vor einer tatsächlichen Aktion. Fällt eine Kontrolle aus, bleiben weitere Barrieren bestehen.
Acht Schutzschichten gegen Prompt Injection
1. Anwendungsfall und Schadenspotenzial festlegen
Dokumentiere zuerst, was das KI-System tun darf – und was ausdrücklich nicht. Ein Assistent, der nur Textentwürfe erstellt, hat ein anderes Risiko als ein Agent, der E-Mails versendet oder Datensätze verändert. Halte zulässige Datenquellen, Nutzergruppen, Ausgaben und Folgeaktionen fest. So entsteht eine prüfbare Grenze statt eines offenen Universalwerkzeugs.
2. Vertrauenswürdige und fremde Inhalte trennen
Webseiten, Anhänge, Chatnachrichten und abgerufene Wissenseinträge sollten grundsätzlich als nicht vertrauenswürdig gelten. Kennzeichne solche Inhalte technisch und logisch getrennt von internen Regeln. Das Modell sollte klar erkennen können, welcher Teil eine Aufgabe beschreibt und welcher Teil lediglich zu analysierende Daten enthält. Diese Trennung reduziert Verwechslungen, beseitigt das Risiko aber nicht allein.
3. Datenzugriff nach dem Minimalprinzip gestalten
Ein KI-System sollte nur auf Informationen zugreifen können, die es für den konkreten Anwendungsfall benötigt. Trenne Datenbereiche, verwende rollenbezogene Zugriffe und vermeide pauschale Berechtigungen. Sensible Daten gehören nicht automatisch in den Kontext eines Modells. Je kleiner der verfügbare Datenraum, desto geringer ist der mögliche Umfang einer Offenlegung.
4. Werkzeuge und Aktionen eng begrenzen
Wenn ein Modell Funktionen aufrufen kann, sollten diese nur klar definierte Parameter akzeptieren. Verwende separate, begrenzte Zugänge statt persönlicher Vollzugriffe. Erlaubte Systeme, Ziele und Aktionen können über Positivlisten eingeschränkt werden. Eine vom Modell erzeugte Aufforderung darf nicht ungeprüft zu einer Zahlung, Löschung, Veröffentlichung oder Nachricht führen.
5. Ein- und Ausgaben technisch prüfen
Filter können verdächtige Muster markieren, Dateitypen begrenzen und sensible Inhalte erkennen. Ebenso wichtig ist die Prüfung der Ausgabe: Entspricht sie dem erwarteten Format? Enthält sie unzulässige Daten? Passt eine vorgeschlagene Aktion zum Anwendungsfall? Strukturierte Formate lassen sich mit deterministischen Regeln kontrollieren, bevor ein nachgelagertes System sie verarbeitet.
6. Menschliche Freigaben risikobasiert einsetzen
Je höher die Auswirkung, desto später darf Automatisierung allein entscheiden. Für externe Kommunikation, Vertragsinhalte, personenbezogene Daten, finanzielle Vorgänge oder Änderungen an produktiven Systemen sollte eine qualifizierte Person die geplante Aktion und ihre Grundlage prüfen. Eine Freigabe ist nur wirksam, wenn die entscheidungsrelevanten Informationen sichtbar sind und nicht bloß ein „Bestätigen“-Knopf angeboten wird.
7. Protokollierung und Reaktion vorbereiten
Protokolliere Eingabequellen, Modellversionen, verwendete Werkzeuge, Freigaben und ausgeführte Aktionen in einem angemessenen Umfang. Definiere Warnsignale wie ungewöhnliche Zugriffsziele, wiederholte Regelabweichungen oder unerwartete Datenabfragen. Ein Reaktionsplan sollte klären, wer Zugänge sperrt, Sitzungen beendet, Betroffene informiert und den Vorfall auswertet.
8. Angriffssimulationen regelmäßig wiederholen
Teste nicht nur vor dem Start. Neue Datenquellen, Modellversionen und Werkzeuge verändern die Angriffsfläche. Simuliere direkte und indirekte Manipulationsversuche mit ungefährlichen Testdaten. Prüfe dabei nicht nur, ob das Modell eine Anweisung erkennt, sondern ob Berechtigungen, Ausgabekontrolle und Freigaben den Schaden zuverlässig begrenzen. Die Ergebnisse gehören in die Weiterentwicklung des Systems.
Ein kompakter Prüfablauf für Teams
- Quelle des Inhalts bestimmen und Vertrauensniveau kennzeichnen.
- Aufgabe, erlaubte Daten und zulässige Ausgabe abgleichen.
- Berechtigungen des KI-Systems für diesen Vorgang prüfen.
- Ausgabe gegen Format-, Datenschutz- und Fachregeln validieren.
- Bei kritischen Folgen eine menschliche Freigabe einholen.
- Abweichungen dokumentieren und Schutzmaßnahmen nachschärfen.
Das NIST-Profil für generative KI empfiehlt, Risiken über den gesamten Lebenszyklus zu betrachten. Schutz vor Prompt Injection ist daher kein einmaliges IT-Projekt, sondern eine gemeinsame Aufgabe von Fachbereich, Informationssicherheit, Datenschutz, Entwicklung und Governance.
FAQ zu Prompt Injection
Kann ein guter System-Prompt alle Angriffe verhindern?
Nein. Klare Systemregeln sind wichtig, aber keine vollständige Sicherheitsgrenze. Zugriffsrechte, technische Validierung, Freigaben und Überwachung müssen unabhängig davon greifen.
Ist Retrieval-Augmented Generation automatisch sicherer?
RAG kann Antworten besser mit ausgewählten Quellen verbinden, verhindert aber nicht automatisch indirekte Prompt Injections. Auch Inhalte aus einer Wissensbasis müssen hinsichtlich Herkunft, Berechtigung und möglicher Manipulation bewertet werden.
Wer trägt im Unternehmen die Verantwortung?
Die Verantwortung sollte nicht allein bei einzelnen Nutzern liegen. Fachbereich, IT-Sicherheit, Datenschutz, Systemverantwortliche und Management benötigen klar abgegrenzte Rollen für Auswahl, Betrieb, Freigabe und Vorfallbearbeitung.
Wann braucht es zwingend eine menschliche Freigabe?
Eine starre Grenze gibt es nicht. Je größer mögliche Auswirkungen auf Menschen, Daten, Geld, Verträge oder produktive Systeme sind, desto stärker sollte die Freigabe ausgestaltet sein. Das Unternehmen muss diese Schwellen vorab risikobasiert definieren.
Fazit: Sicherheit entsteht durch begrenzte Handlungsmacht
Prompt Injection lässt sich nicht zuverlässig mit einem einzigen Filter oder einer geschickten Formulierung lösen. Wirksam wird der Schutz, wenn Unternehmen Datenquellen trennen, Berechtigungen minimieren, Ausgaben validieren, kritische Aktionen freigeben und ihre Kontrollen regelmäßig testen. Der wichtigste Perspektivwechsel lautet: Nicht nur die Antwort des Modells prüfen, sondern seine gesamte Handlungskette absichern.
Wenn Du KI-Anwendungen strukturiert auswählen, einführen und mit klaren Governance- und Risikomodellen weiterentwickeln möchtest, informiere Dich über die Weiterbildung KI-Strategie und KI-Implementierung im Unternehmenskontext. Einen Überblick über weitere Lernwege bietet die Seite KI-Weiterbildungen bei GrandEdu Media. Die passende Maßnahme hängt von Deinem Vorwissen, Deiner Rolle und Deinem beruflichen Ziel ab.