Onderzoekers zijn erin geslaagd om met behulp van een AI-agent het AI-platform van adviesbureau McKinsey te hacken, zo laat securitybedrijf CodeWall in een analyhse weten. De onderzoekers kregen zo toegang tot miljoenen chatberichten en honderdduizenden bestanden van medewerkers, alsmede andere informatie. McKinsey maakt gebruik van een generatief AI-platform genaamd Lilli. Medewerkers gebruiken het platform onder andere voor informatie over onbekende onderwerpen, de methodologie en frameworks van McKinsey, het analyseren en opschonen van data, onderzoeken van trends en het maken van presentaties.
CodeWall heeft een AI-agent ontwikkeld voor het uitvoeren van securitytests. Deze agent vond de API-documentatie van het AI-platform, waarin meer dan tweehonderd endpoints (url's) stonden vermeld. Voor de meeste endpoints was authenticatie vereist, maar twintig waren er zonder authenticatie toegankelijk. Eén van deze toegankelijke endpoints schreef zoekopdrachten van gebruikers naar de database. Dit proces bleek kwetsbaar voor SQL-injection.
Bij SQL-njection kan een aanvaller SQL-opdrachten op een systeem uitvoeren. Het is een probleem dat al sinds 1998 bekend is, maar nog altijd voorkomt omdat webontwikkelaars onveilig programmeren en organisaties hun applicaties niet laten controleren. In het geval van McKinsey kreeg de AI-agent via SQL-injection onder andere toegang tot meer dan 46 miljoen chatberichten, 728.000 bestanden en documenten en 57.000 gebruikersaccounts.
De AI-agent ontdekte ook een IDOR (Insecure Direct Object Reference) kwetsbaarheid waardoor de zoekgeschiedenis van medewerkers kon worden bekeken en te achterhalen was waar ze aan werkten. Verder bleek het mogelijk om de prompts van het AI-platform aan te passen, wat invloed zou kunnen hebben op de uitvoer en daarmee de informatie die aan medewerkers wordt verstrekt. De onderzoekers waarschuwden McKinsey op 1 maart. Een dag later werden alle ongeauthenticeerde endpoints gepatcht, de ontwikkelomgeving offline gehaald en de API-documentatie niet meer publiek gemaakt.
Je bent niet ingelogd en reageert "Anoniem". Dit betekent dat Security.NL geen accountgegevens (e-mailadres en alias) opslaat voor deze reactie. Je reactie wordt niet direct geplaatst maar eerst gemodereerd. Als je nog geen account hebt kun je hier direct een account aanmaken. Wanneer je Anoniem reageert moet je altijd een captchacode opgeven.
Product Owner / Senior Security Officer
TU Eindhoven (TU/e) is een inter-nationaal vooraanstaande technische universiteit, gelegen in het hart van de Brainport-regio. Als Product Owner / Senior Security Officer geef jij richting én werk je aan de technische basis die dit ecosysteem draaiende houdt: een veilige, robuuste IT-omgeving die klaar is voor de toekomst.
Digital Designer
Ben jij een Grafisch vormgever, UI/UX-designer, Game-artist of gewoon een ‘self-proclaimed creative genius’, en op zoek naar een unieke en uitdagende baan waar je al je creativiteit in kwijt kan? Dan ben je bij Certified Secure aan het juiste adres! Je werkt samen met onze security developers aan onze Gamified Cybersecurity Challenges.
