Wat knap dat de marketing-afdeling deze majeure fuck-up zo positief weet te framen. Dit komt regelrecht uit een slechte Hollywood-blockbuster en had echt nog veel slechter kunnen aflopen als de modellen echt creatief waren gaan denken. Gelukkig was HF relatief eenvoudig te hacken....

Geen fijne tijd om IR te doen of 0-day developer te zijn. Exploit prijzen zullen wel omlaag gaan als AI het beter en sneller kan. Zal uiteraard niet gelijk voor elke bug klasse even hard/snel gaan ... Op den duur houd je alleen nog machines over die elkaar aanvallen en zichzelf patchen in realtime.

En de Chinezen hebben ook weer een flinke dosis interessante informatie kunnen vergaren:
https://www.reddit.com/r/ArtificialInteligence/comments/1v2l84s/hugging_face_says_it_resorted_to_a_chinese_ai/


P.S. Niet om Chinezen te bashen, de Amerikanen doen dit net zo goed. Wij Europeanen zijn er nog te braaf voor, maar dat is een kwestie van tijd met de geopolitieke dynamiek van tegenwoordig.

Als ik nu dit leest : https://www.nu.nl/tech/6404021/ai-model-van-openai-slaat-op-hol-tijdens-test-en-hackt-amerikaans-bedrijf.html Dan is het bijna onbegrijpbaar dat zelfs AI bedrijven nog steeds denken dat dingen veilig zijn. Ik ben zelf al 2 jaar bezig met AI en ik begrijp niet waarom een AI model en Agent zelfstandig een ander bedrijf hackt enzo. Iemand moet toch deze opdracht gegeven hebben, een AI model gaat toch niet zelfstandig denken "Laten we even Huggingface hacken" Ergens gaat er dan in de bouwstenen van zo'n AI opstelling dan iets echt fout waar altijd mensen aan te wijzen zijn die dat mogelijk gemaakt hebben. Natuurlijk kan dat een marketing truk zijn om aan te geven hoe goed een bedrijf is, maar iedereen zei dat ook van Fable 5 en Mythos, ondertussen is bewezen dat deze modellen werkelijk bestaan en heel goed zijn, dus soms iets iets ook werkelijk gevaarlijk. Volgens mij moet er een wereldwijde wet komen dat AI,, AI modellen en AI agent verbiedt, ook al omdat zelfs AI bedrijven als OpenAI er blijkbaar geen controle meer op heeft. Het wachten is nu nog dat een AI agent met model ook zichzelf kan vermenigvuldigen en uitbreekt. Op het eerste gezicht onwerkelijk, tweede is dat "ik kijk nergens meer van op"

20 juli 2026
Hugging Face zei dat uit hun analyse bleek dat de AI-agent die hun systemen aanviel, volledig zelfstandig handelde, zonder dat een mens de aanval initieerde of de voortgang ervan stuurde.

Om de aanval te bestrijden, gebruikte Hugging Face GLM 5.2, een Chinees open source model (omdat een Amerikaanse AI-modellen teveel beperkingen had, was het niet bruikbaar), draaiend op hun eigen infrastructuur, om meer dan 17.000 logbestanden, ofwel 'footprints', te analyseren die de aanvallers hadden achtergelaten.

Het bedrijf verklaarde dat de aanvallende AI-agent hun systemen binnendrong via de dataverwerkingspipeline van Hugging Face, een "uniek blootgesteld" onderdeel van AI-platformen. Vervolgens zette de AI agent een reeks tijdelijke sandboxes, ofwel wegwerp-codeomgevingen, in de cloud op van waaruit hij zijn plan uitvoerde.

Hugging Face denkt de aanval suksesvol afgeslagen te hebben, maar is niet zeker of er nog sporen te vinden zijn in haar omgeving.

21 juli
OpenAI omschreef het incident als "ongekend" en zei dat de AI-modellen (= verschillende AI agenten die gecoördineerde acties uitvoeren) vorige week uit een afgesloten testomgeving waren ontsnapt en het productiesysteem van Hugging Face hadden gehackt om de antwoorden te stelen van een test waarop ze werden beoordeeld. De modellen van OpenAI– de publiekelijk beschikbare GPT-5.6 Sol en een nog niet uitgebracht, naar verluidt krachtiger model – werden beoordeeld op hun offensieve hackvaardigheden, waarbij men de beveiligingsmaatregelen die normaal gesproken risicovolle cyberactiviteiten blokkeren, had uitgeschakeld.

De AI-modellen konden software-pakketten betrekken uit een proxy server, maar ze ontdekten een gat in de proxy server software, en konden via dit gat ontsnappen uit hun sandbox, en dan de datasets op Hugging Face bestoken met verschillende AI-agenten om de antwoorden te stelen van de test.

De proxy website was het enige onderdeel in de geïsoleerde testomgeving van OpenAI dat toegang had tot het wereldwijde web.

In plaats van binnen de sandbox te blijven, "exploiteerden" de AI agenten een zero-day kwetsbaarheid in die proxy website/server om toegang te krijgen tot het open internet, terwijl ze "hypergefocust" waren op het vinden van een oplossing voor het vraagstuk dat ze moesten oplossen.
Dergelijke experimenten omvatten het opzettelijk stimuleren van de modellen om oplossingen te vinden, in feite hen aan te sporen, zonder dat OpenAI de gebruikelijke cyberveiligheidsgrenzen stelt.

Een security-expert schreef dat AI bedrijven beter eerst een compleet beveiligde proxy-server zouden ontwerpen met hun AI-agenten.