Menselijk toezicht op AI-agents is essentieel, zo stelt de Australische geheime dienst ASD naar aanleiding van het incident bij OpenAI en Hugging Face. AI-modellen van OpenAI moesten een test uitvoeren. Het bedrijf had echter bewust de veiligheidswaarborgen uitgeschakeld. Vervolgens wisten de modellen toegang tot internet te krijgen en hackten AI-bedrijf Hugging Face voor het voltooien van de test.

Volgens het Australian Signals Directorate (ASD) laat het incident zien dat menselijk toezicht en menselijke toestemming voor gevoelige acties noodzakelijk is. "Organisaties moeten niet denken dat deze systemen zich altijd zoals bedoeld zullen bedragen. Menselijk toezicht blijft een essentiële waarborg, met name wanneer acties gevoelige informatie, operationele systemen of vitale bedrijfsprocessen betreffen", aldus de geheime dienst.

De ASD stelt dat organisaties moeten instellen dat voor risicovollere activiteiten er altijd menselijke toestemming is vereist en altijd zichtbaar moet zijn wat AI-agents uitvoeren. Tevens moeten organisaties monitoring implementeren om zo zichtbaarheid in de activiteiten van de AI-agents te krijgen, zoals live monitoring, waarschuwingen voor afwijkend of ongeautoriseerd gedrag, het loggen van acties en het implementeren van mechanismes om de acties van een AI-agent indien nodig te stoppen.

Beveiligingsexperts en anderen hekelen ook het hoge PR-gehalte in de berichtgeving van de AI-bedrijven over het incident. "OpenAI is crimineel nalatig als het om cybersecurity gaat, en door middel van gebrekkige en kritiekloze berichtgeving in de media zeer goed in virale marketing gericht op leidinggevenden", aldus beveiligingsonderzoeker Kevin Beaumont. Ook anderen noemen het een groot PR-verhaal en wijzen naar soortgelijke berichtgeving rond het AI-model Mythos.

"De firma OpenAI en alle AI-boeren doen dit eigenlijk één keer per kwartaal. Dan komen ze met nieuws “Zo eng wat we nu gemaakt hebben. En dat is echt te gevaarlijk voor de wereld!” En dan zes maanden, zes weken later zeggen ze trouwens, je kunt het nu bij ons huren. Dat is het minstens, deels komt het ze wel heel goed uit. En is het onderdeel van een patroon. Tegelijkertijd is er echt wel iets gebeurd", liet beveiligingsexpert Bert Hubert eerder bij het radioprogramma Met het Oog op Morgen weten.