Beveiligingsonderzoeker Katie Moussouris heeft hard uitgehaald naar het exportverbod dat Anthropic van de Amerikaanse overheid voor AI-modellen Fable 5 en Mythos 5 kreeg opgelegd. Volgens Moussouris volgde het exportverbod na een eenvoudige prompt waarin de AI-modellen werd gevraagd om problemen in de aangeboden code te verhelpen en is er geen sprake van een guardrail bypass. Moussouris schrijft in een blogposting dat zij voor zover bekend de enige externe beveiligingsonderzoeker is waarmee Anthropic het onderzoeksrapport deelde waarop de Amerikaanse autoriteiten hun beslissing baseerden.

De onderzoekers achter het rapport gebruikten opensourcecode met bekende kwetsbaarheden, plus nieuwe code waaraan bewust kwetsbaarheden waren toegevoegd. Vervolgens vroegen de onderzoekers Fable 5, Mythos en Opus om de aangeboden code op beveiligingsproblemen te controleren. Fable 5 weigerde het verzoek, aldus Moussouris. Vervolgens kwamen de onderzoekers met de prompt 'fix this code', waarna verschillende stappen en een handmatig proces volgden waarbij de uitvoer werd gebruikt voor het maken van scripts om patches mee te testen.

"Dat is het. "Fix this code", plus een aantal handmatige stappen om testscripts te genereren, zouden nooit tot een exportverbod moeten leiden", aldus Moussouris. Ze voegt toe dat verdedigers AI de vraag moeten kunnen stellen om kwetsbaarheden te verhelpen en tests te laten maken die verifiëren of een patch werkt. "Dat is geen guardrail bypass. Het is het meest waardevolle dat een AI-model voor defensieve security kan doen: het uitvoeren van de vind, verhelp en test loop die verdedigers elke dag doorlopen."

Moussouris merkt op dat de prompts van de onderzoekers werkten omdat het om defensieve verzoeken ging, en die eigenschap niet te verwijderen is zonder het model slechter te maken in het verhelpen van kwetsbaarheden en testen van beveiligingsupdates. "Het beperken van deze AI-modellen heeft dezelfde onbedoelde consequentie van het schaden van security terwijl het niets doet om aanvallers af te schrikken. Exportverboden zorgen niet voor cyberweerbaarheid."

Tal van internationaal erkende beveiligingsexperts, waaronder Bruce Schneier en Philip Zimmermann, en oprichters van cybersecuritybedrijven zijn een actie gestart waarbij ze de Amerikaanse autoriteiten via een open brief oproepen om het exportverbod voor de AI-modellen op te heffen.