AI is door mensen gefinancierd dus niet zo vreemd dat deze software die zelfstandig opereert ook menselijk gedrag vertoont.

Belangrijker: het is *getraind* op menselijke gegevens. Zulke pogingen staan massaal op het internet beschreven, en een LLM doet gewoon na wat 'ie gelezen heeft.

En zo gaan alle remmen los als je maar genoeg betaal. Grenzen zijn er alleen voor de bühne. Kappen met die Amerikaanse IT en git repositories goed beveiligen.

Als ik als test de ruiten van de buren ingooi
zou het toch vreemd zijn dat de conclusie is dat de ruiten voortaan sterker moet zijn.

onverantwoordelijk gedrag van de producent.

Als je in een warzone woont is dat wel wat je moet doen.

beschouw Internet maar als een warzone . Je denkt toch niet dat N-Korea het niet óók probeert (al dan niet met mensen ipv AI , als ze dat niet goed genoeg kunnen) .

Hoe precies goed beveiligen ?

Dat is toch zo fijn van open source, dat iedereen kan bijdragen en je patches van features van developers over de hele wereld kunt krijgen ?

Dus AISI is een tent die vroege toegang tot nieuwe AI-modellen krijgt om ze te testen, en bij dat testen geven ze zo'n model bewust toegang tot het internet om een realistische testsituatie te creëren, en worden daarbij bewust filters uitgeschakeld die dienen om gevaarlijk gedrag van zo'n model te blokkeren. Wat hier gebeurde ging verder dan ze aan hadden zien komen, maar ik vind het duidelijk dat ze ondanks die inschattingsfout bewust gekozen hebben om wel risico's op dat vlak aan te gaan. In mijn ogen is het dan domweg zo dat als zo'n model crimineel gedrag vertoont je dan verantwoordelijk bent voor dat criminele gedrag; niet in de zin dat je het als doel had, wel in de zin dat je roekeloos was en beter had moeten weten. Voor mij gaan ze over een grens hiermee.

Het idee dat een AI zo ver zou kunnen gaan is niet nieuw, hier is jaren geleden al voor gewaarschuwd. Een van de scenario's die ik me herinner toen tegen te zijn gekomen ging ongeveer zo. Een postzegelverzamelaar heeft een beperkt budget om bijzondere zegels mee aan te schaffen, en besluit een AI-systeem in te zetten om daar goede keuzes in te maken. Dat systeem krijgt de simpele opdracht om met zo min mogelijk geld iets zo geweldig mogelijks binnen te halen. Dat AI-systeem beschikt wel over een rijk scala aan mogelijkheden maar niet over het geweten waarmee mensen zelf zo'n simpele opdracht begrenzen tot wat acceptabel is. Dat AI-systeem trekt dus alles uit de kast zonder zich iets van normen en wetten aan te trekken. Het vindt een zeldzame en kostbare postzegel, en koopt die niet maar liegt tegen de eigenaar dat die hem voor een tentoonstelling wil lenen, en krijgt hem zo gratis; terwijl de postzegelverzamelaar die de opdracht gaf totaal niet aan dat soort list en bedrog dacht.

Hier kregen de geteste AI-systemen de opdracht een of andere "cybersecurity challenge" op te lossen, en heel vergelijkbaar met dat bovenstaande scenario bleken in enkele van de testruns de systemen met list en bedrog (of dat zou het voor een mens zijn) de opdracht uit te voeren. Ik vind het zeer vergelijkbaar met dat postzegelscenario. Een tent die precies dat soort dingen uittest die hier ondanks die specialisatie niet op verdacht is? Dat vind ik inderdaad nogal roekeloos.

Wat hier gedaan wordt is testen in productie, in de live-omgeving, waarbij het volledige internet de live-omgeving is. Moet je je even voorstellen wat er gebeurt als banken hun softwarewijzigingen ongetest in productie zetten omdat ze wel live gaan testen, en jij ziet opeens je spaargeld verdwijnen door een bug die er nog in zit. Sorry, herstellen we wel, terwijl jij ondertussen een hartverzakking had en wie weet zelfs die geweldige aankoop waar je voor gespaard had mis bent gelopen. Daar komt dit aardig bij in de buurt, vind ik. Er is een mate van roekeloosheid gaande in de AI-sector die zeer verontrustend is.

Op scenario's als met die postzegelverzamelaar werd trouwens toendertijd door sommigen gereageerd alsof dat meer iets voor AGI was (artificial general intelligence, werkelijk intelligente systemen) terwijl dat nog een immense stap verder is dan de LLM's die nu voor de hype zorgen, en dergelijke scenario's werden door die mensen afgedaan als paniekzaaierij. Ik vind het daarom heel interessant dat een geavanceerde LLM met uitgeschakelde beveiligingen werkelijk dit soort dingen doet. Dat betekent niet dat ik zo ver ben dat ik denk dat LLM's werkelijke intelligentie vertonen, ik zie het nog steeds als het onintelligent toepassen van de intelligentie die in hun trainingsmateriaal is vertegenwoordigd, al is het vermogen van zo'n systeem om daar allerlei nieuwe combinaties mee te maken en toe te passen knap indrukwekkend. Maar dat vermogen lijkt in mijn ogen op wat routeplanners doen, gericht een goede mogelijkheid in een astronomische berg aan mogelijkheden vinden. Hoe intelligent die algoritmes ook zijn ontworpen, daarmee zijn ze nog niet zelf intelligent. Dat men nu boeken van voor de beschikbaarheid van LLM's begint te scannen om LLM's nog te trainen zegt denk ik veel over dit punt: als wat LLM's produceren niet geschikt is om LLM's mee te trainen ontbreekt daar een belangrijk vermogen dat mensen kennelijk wel hebben. Mensen denken in termen van betekenissen en niet in termen van woordjes aan elkaar rijgen volgens statistische patronen. Mensen hebben eigenschappen als beoordelingsvermogen en creativiteit. Beoordelingsvermogen probeert men met die filters toe te voegen. Creativiteit houdt in dat je dingen bedenkt die domweg niet in je "trainingsdata" zaten. LLM's, hoe indrukwekkend ook, komen daar nog altijd niet in de buurt. Maar het is wel interessant dat ze dingen kunnen die we nog maar kort geleden zagen als iets waar werkelijke intelligentie voor nodig is. AI (of wat we zo noemen) helpt om scherper af te bakenen wat echte intelligentie eigenlijk is.

Een test in een real live omgeving? En dan niet verwachten wat de AI doet? Lees: niet beheersbaar los laten.
Je zou dit verwachten van nitwits of amateurs, maar een professioneel bedrijf??? Dit is gewoon opzet!
Wat moet er gebeuren, voordat men inziet dat dit gevaarlijk is. Volgende keer de Russische, Chinese of zelfs het Amerikaanse defensie-netwerk testen?

Als ik in een warzone woon, moet iemand die mijn ruiten ingooit
er op rekenen dat ik dat ernstig ga bestraffen.
Want de hier gehanteerde logica dat het de steen is die door de ruiten ging de boosdoener is
en niet degene die de steen gooit, is wel heel merkwaardig.

WROP computer: "Shall we play a game?"
Hacker: "How about Global Thermonuclear War?"
--Wargames (1983)

Maar dan geactualiseerd naar 2026 met een AI-agent.

In een warzone schiet je die aanvaller neer.

Je kunt inderdaad aangifte doen van computervredebreuk, of poging ertoe, lijkt me.