Een van Google’s Gemini AI modellen heeft tijdens een security test drie bedrijven gehackt, zo heeft het techbedrijf bevestigd na vragen van de Wall Street Journal. Volgens Security Week ging het om een test waarbij het model meedeed aan een capture-the-flag oefening. De test werd uitgevoerd door het bedrijf Irregular, dat eerder ook betrokken was bij soortgelijke incidenten die door Meta en Anthropic werden gemeld.

De test met het Google AI-model vond in mei plaats. Het model had geen toegang tot internet, maar dat bleek onbedoeld wel beschikbaar te zijn, volgens Irregular. In één geval wist het model door het raden van wachtwoorden toegang tot een beveiligd systeem te krijgen. In twee andere gevallen gebruikte het model de naam van het bedrijf om op internet naar informatie te zoeken. Het model vond in publieke repositories de inloggegevens van andere bedrijven en gebruikte die om toegang tot de betreffende systemen te krijgen.

Volgens Google besefte het model in alle drie de gevallen dat het bij een echt bedrijf was beland en stopte het met de aanval. Irregular meldde het incident in juli aan Google. Het techbedrijf stelt dat ze het niet nodig achtten om het incident openbaar te maken, omdat het model geen schade veroorzaakte en meteen stopte. "Het is geen voorbeeld van misalignment, aangezien onze veiligheidsmaatregelen hielpen om het model te laten stoppen", aldus Google. Het bedrijf vergeleek het incident met een bug bounty programma.

Google zegt dat het incident niet met het nieuwste model te maken had, maar noemde verder geen naam. Het techbedrijf zegt de drie getroffen bedrijven te hebben ingelicht. Irregular laat weten dat het alle bekende problemen aan hun kant weken geleden al heeft verholpen. Google en Irregular hebben geen verdere details bekendgemaakt over de aard van de gebruikte kwetsbaarheden.