Heb jij een interessante vraag op het snijvlak van privacy, cybersecurity en recht? Stuur je vraag naar juridischevraag@security.nl. Elke week geeft ict-jurist Arnoud Engelfriet in deze rubriek antwoord.

Juridische vraag: Mijn huisartsenpraktijk kondigde recentelijk aan dat ze gebruik willen gaan maken van een chat assistent op hun website om vast te stellen of je vraag dringend is en of je überhaupt een dokter nodig hebt. Ze verzekeren me (natuurlijk) dat het veilig is en dat ze gecertificeerd zijn, maar dat kan ik me moeilijk voorstellen. Is dit zomaar toegestaan, is hier geen (streng) toezicht op?

Antwoord: Met de regelmaat van de klok lees je over gehackte AI-assistents die door promptinjecties plotseling dingen gingen doen die ze niet hadden mogen doen. Dat is een fundamenteel probleem naast het meer algemene probleem van hoe je software veilig maakt.

De AI-verordening (AI Act) zou hier verandering in moeten brengen. Hoogrisico-AI, waaronder triage-apps, moet dan aan hoge cybersecurity eisen voldoen en een CE keurmerk krijgen. Voor gebruikers (zoals huisartsen) makkelijk na te gaan, en de leverancier is onbeperkt wettelijk aansprakelijk als het misgaat. Alleen is door lobbywerk van de AI-industrie deze wet uitgesteld tot december volgend jaar, en voor medische apps zelfs tot najaar 2028.

Het meer algemene probleem is dat "het gaat elders vaak mis" geen juridisch argument is om ineens strenger te zijn tegen dingen die hier legaal zijn. Daarvoor moet je bij de wetgever zijn, en dan krijg je dus dingen als de Cyber Resilience Act voor slimme producten of de AI-verordening voor AI tools. Alleen laten die dan weer nog jaren op zich wachten.

Arnoud Engelfriet is ict-jurist, gespecialiseerd in internetrecht waar hij zich al sinds 1993 mee bezighoudt. Hij werkt als chief knowledge officer bij juridisch adviesbureau ICTRecht en blogt dagelijks over internetrecht. Hij schreef onder meer de boeken ICT&Recht en AI&Algorithms, en verzorgt de opleiding tot Certified Cybersecurity Compliance Officer.