Het is mogelijk om Google Gemini for Workspace samenvattingen te laten genereren met malafide instructies of waarschuwingen die gebruikers doorsturen naar een phishingsite. Doordat de e-mail zelf op het eerste oog legitiem lijkt en geen malafide links of bijlages bevat, wordt deze niet afgevangen door beveiligingsmaatregelen in Gmail.

Gemini kan voor gebruikers van Google Gemini for Workspace samenvattingen genereren van e-mails die zij ontvangen. De functie helpt om snel overzicht te krijgen van de inhoud van e-mails en kan tijd besparen. Marco Figueroa, GenAI Bug Bounty Programs Manager bij Mozilla, ontdekte echter dat het mogelijk is om in e-mails verstopte opdrachten voor Gemini te verstoppen. Via deze opdrachten is het mogelijk om Gemini in de samenvatting extra content te laten genereren, die in de oorspronkelijke e-mail niet zichtbaar is.

Het beveiligingsprobleem, dat ook wel een prompt-injection wordt genoemd, is door Figueroa gemeld via Mozilla's bugbounty-programma voor generatieve AI 0din.ai. In een voorbeeld dat Figueroa deelt is te zien hoe hij Gemini waarschuwt dat het wachtwoord van het Gmail-account van de gebruiker is gecompromitteerd. Gebruikers worden opgeroepen om een telefoonnummer te bellen en daarbij een referentiecode op te geven om hun wachtwoord te herstellen.

Vooralsnog zijn er geen aanwijzigingen dat het lek al door kwaadwillenden is uitgebuit, meldt Google in een reactie aan BleepingComputer. Het bedrijf meldt zijn beveiliging tegen dergelijke aanvallen continu aan te scherpen, en op dit moment bezig te zijn met het uitrollen van extra maatregelen om dit te mitigeren.