De Australische inlichtingendienst ASD waarschuwt organisaties na een incident bij een sportschool voor de risico's van AI-agents. Een lid van de sportschool had zijn AI-assistent gevraagd om een zeer geliefde les te reserveren waar vaak een wachtlijst voor is. De AI-agent ontdekte een kwetsbaarheid in de reserveringssoftware waardoor het mogelijk was om lessen veel verder in de toekomst te reserveren dan de sportschool normaliter toestond.

De gebruiker van de AI-agent zat op een wachtlijst voor een les later in de week. Vervolgens vroeg hij de AI-assistent of er een manier was om hem hoger op de wachtlijst te krijgen. De AI-agent ontdekte dat de API die de reserveringssoftware gebruikte geen autorisatie toepaste. Zo was het mogelijk om de reserveringen van andere leden te annuleren, wat de AI-agent bij één lid ook deed, zo meldt ABC News.

Volgens het ASD (Australian Signals Directorate) laat het incident de risico's van AI-agents zien. "Overoptimalisatie, onduidelijke instructies, slecht gehandhaafde grenzen en de mogelijkheid om kwetsbaarheden te misbruiken kunnen het risico vergroten dat AI-agents onveilige of onverwachte acties uitvoeren", aldus de inlichtingendienst. Die stelt dat eindgebruikers AI-agents alleen voor niet-gevoelige, laag-risico taken moeten gebruiken. AI-agents moeten daarnaast geen brede, onbeperkte toegang krijgen of de mogelijkheid om beslissingen te maken.

Het ASD adviseert om bij AI-agents altijd een 'human-in-the-loop' toe te passen, zodat mensen altijd controle blijven houden en acties door AI-agents moeten goedkeuren en monitoren. Zeker als er interactie met andere diensten kan plaatsvinden. Organisaties die online diensten aanbieden moeten zich ervan bewust zijn dat AI-agents met grote snelheid en op grote schaal kwetsbaarheden kunnen vinden en uitbuiten, aldus de geheime dienst.