Mensen blijven verantwoordelijk voor de acties en werking van agentic AI-systemen, zo stelt het Britse National Cyber Security Centre (NCSC), dat organisaties maant om bij het gebruik van de technologie voorzichtig te zijn. Bij agentic AI voeren zogenoemde AI-agents autonoom allerlei activiteiten en taken uit. Volgens het NCSC kan het grote gevolgen hebben als een AI-agent teveel rechten heeft of slecht is ontworpen.

De Britse overheidsinstantie stelt dat het belangrijk is dat agentic AI met security in het achterhoofd wordt ontwikkeld. "Zorg ervoor dat je zicht houdt op de werking van het systeem, en begrijp hoe er betekenisvol menselijk toezicht en controle kan worden behouden. Als je acties van een agent niet kan begrijpen, monitoren of beheersen, is deze niet klaar voor gebruik." Tevens stelt het Britse NCSC dat een systeem acties kan ondernemen, maar dat mensen altijd verantwoordelijk blijven voor de beslissing om het uit te rollen, de toegang die het heeft gekregen, de aanwezige beveiligingsmaatregelen en de gevolgen van het gebruik.

"Je moet altijd duidelijk zijn over wie de eigenaar van een agentic systeem is, wie de toegang goedkeurt, wie het gedrag monitort, wie de incidenten bekijkt en uiteindelijk wie het kan stoppen. Deze verantwoordelijkheden moeten duidelijk zijn voordat de agent toegang tot echte systemen en data krijgt." Het Britse NCSC doet ook verschillende aanbevelingen, zoals het niet gebruiken van 'long-lived credentials', ervoor zorgen dat agents alleen strikt noodzakelijke rechten krijgen, monitoring en voorbereid te zijn op eventuele incidenten. Eerder deze maand kwamen diensten uit de Five Eyes-landen met een waarschuwing om AI-agents niet voor gevoelige taken in te zetten.