Google heeft naar eigen zeggen voor het eerst een zeroday-exploit ontdekt die een aanvaller met behulp van AI ontwikkelde. Het ging om een exploit voor een kwetsbaarheid in een niet nader genoemde open source, webgebaseerde systeembeheertool. Via de exploit was het mogelijk om de tweefactorauthenticatie (2FA) te omzeilen. Misbruik vereist in dit geval wel dat aanvallers over geldige inloggegevens beschikken. Na de ontdekking informeerde Google de leverancier van de oplossing.

Het techbedrijf denkt niet dat de aanvallers bij de ontwikkeling van de exploit Googles AI-model Gemini gebruikten. "Gebaseerd op de structuur en inhoud van deze exploits, zijn we er vrij zeker van dat de aanvaller waarschijnlijk een AI-model heeft ingezet om deze kwetsbaarheid te ontdekken en misbruiken", stelt de Google Threat Intelligence Group. Zo wordt er gewezen naar een overvloed aan 'educational docstrings' in het exploitscript, waaronder een gehallucineerde CVSS-score.

Daarnaast wordt er gebruikgemaakt van een gestructureerd Python-format wat kenmerkend is voor de data waarmee AI-modellen worden getraind, laat Google verder weten. De onderzoekers voegen toe dat het probleem een semantische logicafout betreft en AI-modellen zeer goed zijn in het vinden van dergelijke kwetsbaarheden.