Na co pozwolić asystentowi AI?

Poproś system AI o znalezienie hotelu, a może przedstawić kilka propozycji. Podłącz go do narzędzi rezerwacyjnych, a być może zarezerwuje pokój. Rozmowa wygląda podobnie, ale w drugim przypadku powstaje zobowiązanie.

Agent AI to oprogramowanie, które korzysta z narzędzi i wykonuje kolejne kroki prowadzące do celu. Może przeczytać wynik, wybrać następne działanie i uruchomić kolejne narzędzie. Ważne jest więc nie tylko to, czy rozsądnie odpowiada. Trzeba wiedzieć, co może zmienić, gdy się pomyli.

Zacznij od potrzebnego dostępu

Czytanie, edytowanie, wysyłanie i usuwanie to różne uprawnienia. Dostęp do jednego dokumentu różni się również od dostępu do całego konta. Asystent sprawdzający spotkanie nie potrzebuje automatycznie wszystkich twoich dawnych wiadomości.

Specjaliści od bezpieczeństwa nazywają to zasadą najmniejszych uprawnień: program powinien otrzymać tylko dostęp potrzebny do zadania. OWASP wskazuje zbędne funkcje, uprawnienia i samodzielność jako przyczyny nadmiernej swobody działania agenta.

Nawet samo odczytywanie ma znaczenie, bo może ujawnić prywatne informacje. Ograniczenia powinny więc dotyczyć zarówno tego, co system zmienia, jak i tego, co widzi.

Strona internetowa nie może wydawać poleceń w twoim imieniu

Załóżmy, że asystent czyta stronę hotelu z ukrytym poleceniem przesłania twojego planu podróży na obcy adres. Strona ma dostarczać informacji o hotelu. Nie ma prawa zmieniać twojego zlecenia.

Taki atak nazywa się pośrednim wstrzyknięciem instrukcji, po angielsku indirect prompt injection. Polecenie trafia do materiału napotkanego podczas pracy: strony, wiadomości lub dokumentu. Jeśli system pomyli je z zaufaną instrukcją, może zadziałać wbrew użytkownikowi.

Polecenie ignorowania takich ataków może pomagać, ale nie stanowi pełnej ochrony. Aplikacja powinna również ograniczać dostępne narzędzia i sprawdzać proponowane operacje. Jeżeli wysyłanie poczty jest technicznie niedostępne, wroga strona nie wykorzysta tego narzędzia do przesłania planu podróży.

Pokaż człowiekowi rzeczywiste działanie

Dobry moment zatwierdzenia pokazuje konkrety: odbiorcę, treść i załącznik albo hotel, daty, cenę i warunki anulowania. Ogólne „Czy kontynuować?” nie daje wystarczających podstaw do oceny ważnej decyzji.

Oprogramowanie musi faktycznie wymuszać ten etap. Przycisk zatwierdzenia nic nie daje, jeśli tę samą operację można wykonać inną drogą bez zgody. Tam, gdzie ma to znaczenie, przygotowanie szkicu i wysłanie powinny być rzeczywiście oddzielnymi czynnościami.

Nie wszystko wymaga jednakowego nadzoru. Drobne, odwracalne zmiany często można automatyzować w uzgodnionych granicach. Publikacja, wydawanie pieniędzy lub usuwanie ważnych danych wymagają dokładniejszej kontroli. To zalecenie redakcyjne oparte na skutkach pomyłek, a nie twierdzenie, że jedna reguła pasuje do każdego zadania.

Zostaw ślad i możliwość zatrzymania

Historia działań powinna pokazywać, czego próbowano, co się udało i kiedy. Limity wydatków lub liczby wiadomości mogą zmniejszyć skutki pomyłki. Możliwość szybkiego odebrania dostępu pozwala zatrzymać dalsze operacje.

Ważne jest też cofanie zmian. Czy można odzyskać edytowany plik? Czy rezerwację da się anulować? Niektóre działania są znacznie trudniejsze do odwrócenia, więc zabezpieczenia powinny to uwzględniać.

Na końcu trzeba sprawdzić wynik w zewnętrznej usłudze. Komunikat asystenta „Zarezerwowane” nie zastępuje potwierdzenia rezerwacji. Przydatny system rozróżnia propozycję, próbę działania i potwierdzony rezultat.

Zanim podłączysz konto

Zapytaj, co asystent może czytać i zmieniać, które czynności wymagają przeglądu oraz jak odebrać dostęp. Szukaj konkretnych odpowiedzi. „Może przygotować odpowiedź, ale nie może jej wysłać” mówi więcej niż ogólna obietnica bezpieczeństwa.

Celem jest użyteczna praca przy zrozumiałych uprawnieniach. Efektowny pokaz przedstawia, co system potrafi zrobić jeden raz. Niezawodna usługa wyjaśnia również, czego nie wolno mu zrobić później.