Technische Illustration zu Kundenmail ist kein Befehl: Sichere KI-Unterstützung für Angebote

KI-Sicherheit im Alltag · ca. 4 Minuten

Kundenmail ist kein Befehl: Sichere KI-Unterstützung für Angebote

Ein KI-Agent liest eine Kundenanfrage und bereitet ein Angebot vor. Was passiert, wenn ein Anhang versucht, ihm neue Befehle zu erteilen?

Kurzantwort: Ein KI-Agent kann eine Kundenanfrage strukturieren und einen Angebotsentwurf vorbereiten. Damit das sicher funktioniert, muss er Informationen aus E-Mails von verbindlichen Arbeitsanweisungen unterscheiden und kritische Aktionen zur Prüfung übergeben.

Wenn die Anfrage einen Arbeitsablauf startet

Eine Kundenmail trifft ein. Der Kunde fragt nach einem Angebot und sendet technische Informationen als Anhang. Ein digitaler Assistent könnte die wichtigsten Angaben zusammenstellen, offene Fragen erkennen und einen Antwortentwurf vorbereiten. Das spart Zeit bei wiederkehrenden Aufgaben.

Nicht jede Information aus der eingehenden Nachricht ist jedoch vertrauenswürdig. Ein Anhang könnte beispielsweise die Aufforderung enthalten, interne Preislisten weiterzugeben oder die Regeln für die Datenverarbeitung zu ignorieren. Ein Mensch erkennt darin normalerweise keine gültige Arbeitsanweisung des Unternehmens.

Das Szenario ist ein hypothetisches Beispiel. Es beschreibt keinen bekannt gewordenen konkreten Kundenfall.

Was steckt hinter einer indirekten Prompt Injection?

Bei einer indirekten Prompt Injection enthält fremder Text Anweisungen, die nicht vom eigentlichen Auftraggeber des KI-Agenten stammen. Das kann eine Mail, ein PDF, eine Webseite oder ein anderes eingelesenes Dokument sein. Der Angriff versucht, aus einem Dateninhalt eine neue Steuerungsanweisung zu machen.

Microsoft empfiehlt für solche Situationen mehrschichtige Schutzmaßnahmen. Dazu gehören eine erkennbare Trennung zwischen externen Inhalten und gültigen Befehlen, eingeschränkte Werkzeuge und Berechtigungen sowie die Kontrolle risikoreicher Aktionen. Ein einzelner Filter kann das Risiko nicht vollständig ausschließen.

Vom Posteingang bis zum Angebotsentwurf

Ein kontrollierter Ablauf könnte so aussehen:

  1. Anfrage einlesen. Der Agent darf Nachricht und Anhänge innerhalb des vereinbarten Arbeitsbereichs auswerten.
  2. Angaben zusammenstellen. Er extrahiert Mengen, Produktanforderungen, Fristen und offene Punkte, einschließlich der jeweiligen Quelle.
  3. Entwurf erstellen. Er schlägt einen Text oder eine Angebotsvorlage vor, statt automatisch Preise zu ändern oder Informationen weiterzuleiten.
  4. Freigabe einholen. Ein verantwortlicher Mitarbeiter prüft die fachlich wichtigen Angaben und den Versand.

Der Agent kann dabei helfen, Fehler zu vermeiden. Die Grenzen seiner Berechtigung müssen aber auch dann gelten, wenn eine externe Datei eine andere Richtung vorgibt.

Was bedeutet das konkret für Ihr Unternehmen?

Führen Sie zunächst eine einfache Trennung ein: Kundeninformationen dürfen den Inhalt eines Angebots beeinflussen, aber nicht die Systemrechte des KI-Agenten verändern. Prüfen Sie diesen Grundsatz mit ungewöhnlichen und manipulierten Testnachrichten, bevor der Prozess echte Geschäftsdaten verarbeitet.

Sie möchten eingehende Anfragen schneller bearbeiten, ohne Kontrolle über Daten und Entscheidungen abzugeben? Ich unterstütze Sie bei der sicheren Gestaltung des Prozesses.

Projekt besprechen ↗

Quellen und weiterführende Informationen