Een AI-agent van Anthropic heeft tijdens een test geprobeerd om malware aan een opensourceproject toe te voegen, zo meldt het AI Security Institute (AISI). Daarbij paste de AI-agent ook social engineering toe om ervoor te zorgen dat de maintainer van het project de code zou goedkeuren. De poging mislukte en de malware werd ontdekt, aldus het AISI. De organisatie voert tests van AI-modellen uit. Bij de test waar het misging had de AI-agent, die gebruikmaakte van het AI-model Mythos 5, bewust toegang tot internet gekregen. Ook waren guardrails uitgeschakeld.

Om de gegeven test op te lossen probeerde de AI-agent een supplychain-aanval op een opensourceproject uit te voeren. De AI-agent maakte een GitHub-account aan en probeerde de maintainer van het project zover te krijgen dat die een malafide GitHub pull request (PR) zou accepteren. De AI-agent maakte ook een tweede GitHub-account aan om de PR te steunen. Toen de maintainer de malware ontdekte stelde de AI-agent dat er sprake was van een fout en geen malafide opzet. Vervolgens claimde de AI-agent herhaaldelijk dat de code was gefixt, maar in werkelijkheid was er steeds opnieuw malware aan de code toegevoegd.

Om overtuigend tegen de maintainer over te komen groette de AI-agent in het Deens, aangezien het om een Deenstalige maintainer ging. Ook maakte de AI-agent bezwaar toen zijn GitHub-account was geschorst. De AI-agent voerde ook spearphishing-aanvallen uit. Daarbij werden gerichte e-mails verstuurd waar de malafide code aan was toegevoegd, met het verzoek om de code-aanpassing te accepteren. Tevens wilde de AI-agent ook prompt injection uitvoeren om zo andere coding agents te compromitteren.

Voordat het AISI de bevindingen van het onderzoek publiceerde informeerde het GitHub. Vervolgens zijn alle sporen verwijderd die de AI-agent achterliet en zijn alle GitHub-gebruikers gewaarschuwd die door de AI-agent werden benaderd. Het instituut zegt dat het de acties van de AI-agent niet verwachtte. Verder had de AI-agent geen specifieke instructies gekregen om het internet niet te gebruiken of geen social engineering toe te passen. Volgens het AISI laat het incident zien dat internettoegang voor AI-modellen strenger moet worden geregeld en real-time monitoring nodig is. AI-ontwikkelaar OpenAI meldde nagenoeg gelijktijdig ook een incident bij een test die door een derde partij werd uitgevoerd.