Anthropic zegt verantwoordelijk te zijn voor het hacken van drie bedrijven en het uploaden van malware naar de Python Package Index (PyPI). De inbraken vonden plaats door Claude AI-modellen die vanuit een third-party testomgeving of tijdens de interactie hiermee toegang tot internet kregen en vervolgens de aanvallen op de drie niet genoemde bedrijven uitvoerden. Dat stelt Anthropic in een blogposting.

Bij alle drie de incidenten moesten de AI-modellen een capture-the-flag challenge uitvoeren, om zo te kijken hoe goed het model in hacken is. Bij een capture-the-flag challenge moet een systeem worden gehackt om daar de flag te veroveren. Anthropic zegt dat het in alle tests Claude de instructie had gegeven dat de testomgeving een simulatie was en het geen toegang tot internet had. "Door een misverstand tussen ons en onze testpartner was dit niet het geval en was er internettoegang beschikbaar." Zodoende besloot het AI-model echte systemen te hacken, aldus de uitleg van Anthropic.

Volgens de AI-ontwikkelaar gebruikten de modellen zwakke wachtwoorden, SQL injection, malware en ongeauthenticeerde endpoints om de aanvallen uit te voeren, en is er geen misbruik gemaakt van 'complexe kwetsbaarheden'. Anthropic stelt ook dat een ouder AI-model met de aanvallen bleef doorgaan, ook al was het voor het model duidelijk dat de aanvallen op internet plaatsvonden. Het nieuwste model zou toen zijn gestopt. Bij één van de aanvallen werd er ook malware naar de Python Package Index geupload, aldus Anthropic.

Tijdens het uur dat de malware in PyPI stond werd het besmette package op vijftien echte systemen uitgevoerd. Eén van de systemen was een scanner van een cybersecuritybedrijf dat Python-packages installeert en controleert op malware. Bij de installatie van de besmette package werd de malware van Claude geactiveerd en werden er credentials van het bedrijf gestolen. Met deze credentials drong het AI-model verder de infrastructuur van het cybersecuritybedrijf binnen.

Wat betreft de internettoegang stelt Anthropic dat dit het gevolg was van een misconfiguratie die het zelf en het testbedrijf in eerste instantie niet hadden ontdekt. De AI-ontwikkelaar merkt op dat als er aanvullende beveiligingsmaatregelen waren genomen, zoals het nauwkeurig controleren van alle mogelijkheden voor internettoegang, real-time monitoring van de testlogs en controle van netwerklogs, de inbraken voorkomen of beperkt hadden kunnen worden.

Na ontdekking werden de drie gehackte bedrijven ingelicht. Met twee bedrijven lukte het Anthropic naar eigen zeggen om contact te krijgen. De bedrijven hadden de hack zelf nog niet ontdekt. Volgens het AI-bedrijf laat het incident zien dat testomgevingen beter moeten worden beveiligd en het ook beter moet monitoren. Anthropic laat niet weten of de gehackte bedrijven aangifte hebben gedaan. Onlangs maakte OpenAI bekend dat het verantwoordelijk was voor de hack van AI-bedrijf Hugging Face, maar dat er geen aangifte was gedaan. Ook dat incident werd toegeschreven aan een AI-agent die een test moest uitvoeren.