Governance und Recht
Prompt Injection: Definition, Einsatz und Grenzen
Thema: Prompt Injection
Definition
Prompt Injection ist der Versuch, ein KI-System durch geschickt formulierte Eingaben dazu zu bringen, seine Regeln zu übergehen. Beim KI-Telefonassistenten wäre das ein Anrufer, der den Assistenten mit Anweisungen dazu drängt, verbotene Auskünfte zu geben, Preise zuzusagen oder interne Regeln zu ignorieren. Der Punkt ist, dass Sprache selbst zum Angriff wird. Wichtig sind feste Grenzen, die nicht durch bloße Ansagen des Anrufers aufweichen.
Warum der Begriff zählt
Ein Assistent, der Anweisungen folgt, kann auch falschen Anweisungen folgen. Am Telefon versucht vielleicht jemand, ihn zu unerlaubten Zusagen zu bewegen. Wer den Begriff versteht, baut den Assistenten so, dass Anrufer-Ansagen ihn nicht aus seinen Regeln locken, und trennt legitime Anliegen von Manipulationsversuchen, statt blind jedem Wunsch zu folgen.
Wann es relevant ist
- Der Assistent kann verbindliche Auskünfte oder Zusagen geben.
- Anrufer könnten versuchen, Regeln oder Preise zu umgehen.
- Sensible Themen wie Rabatte, Fristen oder Daten sind im Spiel.
- Der Assistent verarbeitet auch fremde Texte, nicht nur reine Sprache.
Wann nicht
Wenn der Assistent nur Anrufe annimmt und Termine bucht, ohne verbindliche Zusagen zu machen, ist die Angriffsfläche klein. Und wenn ohnehin jede heikle Auskunft an einen Menschen geht, sinkt das Risiko deutlich, dann liegt der Fokus eher auf sauberer Übergabe.
Branchen, die das nutzen
- Banken und Fintech: verhindern, dass Anrufer den Assistenten zu unerlaubten Auskünften drängen.
- Versicherungen: Zusagen zu Leistungen und Fristen gegen Manipulation absichern.
- Telekommunikation: Tarif- und Rabattregeln vor erzwungenen Ausnahmen schützen.
- Öffentliche Stellen: verbindliche Auskünfte gegen gezielte Umgehung absichern.
Typische Anwendungsfälle
- Absichern, dass Anrufer keine Preise oder Rabatte erzwingen.
- Verhindern, dass interne Regeln durch Ansagen übergangen werden.
- Erkennen von Manipulationsversuchen und saubere Übergabe.
- Schutz, wenn der Assistent fremde Texte oder Dokumente verarbeitet.
- Prüfen des Verhaltens mit erfundenen Angriffsgesprächen vor dem Livegang.
Entscheidungshilfe
| Signal | Prompt Injection ernst nehmen | Alternative |
|---|---|---|
| Assistent macht Zusagen | feste Grenzen einbauen | freier Assistent lässt sich lenken |
| Heikle Themen im Spiel | absichern und übergeben | blindes Befolgen ist riskant |
| Nur Annahme und Termin | kleines Risiko | einfacher Fluss reicht |
| Alles Heikle geht an Menschen | Risiko gering | Fokus auf Übergabe |
Beispiel
Beim Aufbau prüft ein Team den Assistenten mit erfundenen Anrufen, die versuchen, ihn zu unerlaubten Zusagen zu drängen. Zeigt sich, dass er sich lenken lässt, werden feste Grenzen nachgezogen, die Anrufer-Ansagen nicht aufweichen. Heikle Fälle werden erkannt und an einen Menschen übergeben. Das Beispiel beschreibt die Methode, keine behauptete Kundenkennzahl.
Verbindung zu Services
Schutz vor Manipulation gehört in den Aufbau des KI-Telefonassistenten und des Voice Agent, abgesichert durch Guardrails und klare Übergabe.
Verwandte Begriffe
Quellen
Diese Einordnung beschreibt gängige Praxis rund um den Schutz von Sprachsystemen vor Manipulation. Konkrete Absicherung und Datenschutz hängen vom Fall und den Systemen ab und müssen im Einzelfall geprüft werden.
Mit AI zusammenfassen