Was darf ein KI-Assistent für dich tun?
Ein Assistent, der Nachrichten senden oder eine Reise buchen kann, braucht klare Grenzen – nicht nur überzeugende Antworten.
Bitte ein KI-System, ein Hotel zu finden, und es liefert dir vielleicht eine Auswahl. Verbinde es mit Buchungswerkzeugen, und es kann womöglich ein Zimmer reservieren. Das Gespräch kann ähnlich aussehen. Die zweite Handlung schafft jedoch eine Verpflichtung.
Ein KI-Agent ist Software, die Werkzeuge nutzen und Schritte zur Erledigung einer Aufgabe ausführen kann. Er kann ein Ergebnis lesen, den nächsten Schritt bestimmen und ein weiteres Werkzeug aufrufen. Entscheidend ist nicht nur, ob seine Antworten sinnvoll sind. Wichtig ist auch, was er verändern kann, wenn eine Antwort falsch ist.
Mit dem nötigen Zugriff beginnen
Lesen, Bearbeiten, Senden und Löschen sind unterschiedliche Berechtigungen. Der Zugriff auf ein Dokument ist außerdem etwas anderes als der Zugriff auf ein ganzes Konto. Ein Assistent, der einen Termin prüft, braucht nicht automatisch jede E-Mail, die du je erhalten hast.
Sicherheitsfachleute nennen diesen Ansatz das Prinzip der geringsten Rechte: Software erhält nur den Zugriff, den sie für ihre Aufgabe benötigt. OWASP nennt unnötige Funktionen, Berechtigungen und Eigenständigkeit als Ursachen übermäßiger Handlungsbefugnisse – also der Möglichkeit, mehr zu tun, als die Aufgabe rechtfertigt.
Auch reiner Lesezugriff ist relevant, weil er private Informationen offenlegen kann. Begrenzungen sollten deshalb sowohl berücksichtigen, was ein System sehen darf, als auch, was es ändern darf.
Eine Webseite darf keine Befehle erteilen
Angenommen, ein Assistent liest eine Hotelseite, die eine versteckte Anweisung enthält, deine Reiseroute an eine andere Stelle zu senden. Die Seite soll Informationen über das Hotel liefern. Sie ist nicht befugt, deinen Auftrag zu ändern.
Diese Angriffsart heißt indirekte Prompt Injection: Anweisungen werden in Material eingebettet, auf das der Assistent bei seiner Arbeit stößt. Das kann eine Webseite, eine E-Mail oder ein Dokument sein. Verwechselt das System solche Anweisungen mit vertrauenswürdigen Befehlen, handelt es möglicherweise gegen den Willen des Nutzers.
Eine Anweisung an das Modell, solche Angriffe zu ignorieren, kann helfen, bietet aber keinen vollständigen Schutz. Die Anwendung sollte auch die verfügbaren Werkzeuge begrenzen und geplante Vorgänge prüfen. Ist das Senden von E-Mails technisch nicht möglich, kann eine irreführende Seite dieses Werkzeug nicht zum Versand deiner Reiseroute nutzen.
Die tatsächliche Handlung überprüfbar machen
Eine hilfreiche Freigabe zeigt, was genau geschehen soll: Empfänger, Nachricht und Anhang oder Hotel, Reisedaten, Preis und Stornobedingungen. Ein vages „Soll ich fortfahren?“ liefert nicht genug Informationen, um eine folgenreiche Entscheidung zu prüfen.
Die zugrunde liegende Software muss diese Freigabe erzwingen. Eine Schaltfläche zur Zustimmung ist wirkungslos, wenn derselbe Vorgang über einen anderen Weg ohne Zustimmung möglich ist. Einen Entwurf vorzubereiten und ihn zu senden sollten tatsächlich getrennte Schritte sein, wo diese Unterscheidung wichtig ist.
Nicht jede Handlung braucht dieselbe Aufsicht. Kleine, rückgängig zu machende Änderungen lassen sich innerhalb vereinbarter Grenzen oft automatisieren. Öffentliche Veröffentlichungen, Ausgaben oder das Löschen wichtiger Unterlagen verdienen stärkere Kontrolle. Das ist eine redaktionelle Empfehlung anhand möglicher Fehlerfolgen, keine Behauptung, dass eine einzige Freigaberegel für jede Aufgabe passt.
Vorgänge aufzeichnen und einen Stopp ermöglichen
Ein Verlauf sollte klar zeigen, was versucht wurde, was gelang und wann. Ausgabenlimits oder Grenzen für die Zahl der Nachrichten können Schäden durch Fehler verringern. Schnell widerrufbarer Zugriff gibt dem Nutzer eine praktische Möglichkeit, weitere Aktivitäten zu stoppen.
Auch Wiederherstellung ist wichtig. Lässt sich eine bearbeitete Datei zurücksetzen? Kann eine Reservierung storniert werden? Manche Handlungen sind deutlich schwerer rückgängig zu machen als andere. Die Schutzmaßnahmen sollten diesen Unterschied berücksichtigen.
Prüfe schließlich das externe Ergebnis. Wenn ein Assistent „Gebucht“ sagt, ist das nicht dasselbe wie eine Buchungsbestätigung des Dienstes. Ein nützliches System unterscheidet zwischen einer vorgeschlagenen Handlung, einem ausgeführten Versuch und einem bestätigten Ergebnis.
Bevor du ein Konto verbindest
Frage, was der Assistent lesen und ändern darf, welche Handlungen eine Prüfung verlangen und wie du den Zugriff entziehen kannst. Achte auf konkrete Antworten. „Er kann eine Antwort entwerfen, aber nicht senden“ sagt mehr als ein allgemeines Sicherheitsversprechen.
Ziel ist, den Assistenten nützliche Arbeit erledigen zu lassen und seine Befugnisse verständlich zu halten. Eine beeindruckende Vorführung zeigt, was ein System einmal leisten kann. Ein verlässlicher Dienst macht auch deutlich, wozu es als Nächstes nicht berechtigt ist.
Quellen & weitere Lektüre
- NIST, Lessons Learned from the Consortium: Tool Use in Agent Systems (2025) (https://www.nist.gov/news-events/news/2025/08/lessons-learned-consortium-tool-use-agent-systems)
- OWASP, LLM06:2025 Excessive Agency (https://genai.owasp.org/llmrisk/llm062025-excessive-agency/)
- NIST, Strengthening AI Agent Hijacking Evaluations (2025) (https://www.nist.gov/news-events/news/2025/01/technical-blog-strengthening-ai-agent-hijacking-evaluations)
- OWASP, LLM Prompt Injection Prevention Cheat Sheet (https://cheatsheetseries.owasp.org/cheatsheets/LLM_Prompt_Injection_Prevention_Cheat_Sheet.html)