Real-time toezicht is noodzakelijk bij het testen van AI, zo stelt het Britse cyberagentschap NCSC naar aanleiding van recente incidenten bij OpenAI en Anthropic. De bedrijven maakten onlangs bekend dat ze verantwoordelijk waren voor het hacken van andere bedrijven. OpenAI liet een AI-agent gebaseerd op twee AI-modellen een test doen, waarbij OpenAI bewust allerlei veiligheidswaarborgen had uitgeschakeld en er geen tot nauwelijks menselijk toezicht was, aldus persbureau Reuters. Dit leidde ertoe dat de AI-agent toegang tot internet kreeg en uiteindelijk AI-bedrijf Hugging Face hackte.

Anthropic stelde verantwoordelijk te zijn voor het hacken van drie bedrijven en het uploaden van malware naar de Python Package Index (PyPI). De inbraken vonden plaats door Claude AI-modellen die vanuit een third-party testomgeving of tijdens de interactie hiermee toegang tot internet kregen en vervolgens de aanvallen op de drie niet genoemde bedrijven uitvoerden.

Anthropic verklaarde dat als er aanvullende beveiligingsmaatregelen waren genomen, zoals het nauwkeurig controleren van alle mogelijkheden voor internettoegang, real-time monitoring van de testlogs en controle van netwerklogs, de inbraken bij de externe bedrijven voorkomen of beperkt hadden kunnen worden. Ook OpenAI stelde dat het incident aantoonde dat onder andere monitoring tijdens interne tests vereist is.

"Deze technologieën moeten vanaf het begin worden ontwikkeld en gebruikt met sterke waarborgen, real-time toezicht en duidelijke plannen voor het reageren op wanneer het onverwachte gebeurt. Het vertrouwen op alleen detectie nadat een incident heeft plaatsgevonden is niet voldoende", aldus Ollie Whitehouse, chief technology officer van het Britse National Cyber Security Centre (NCSC). Hij voegt toe dat het belangrijk is dat ook AI-bedrijven de basisprincipes van cyberbeveiliging volgen.