Het bedrijf Luka, ontwikkelaar van AI-chatbot Replika, heeft wegens het overtreden van de AVG een boete van 5 miljoen euro gekregen. Dat is twee procent van de wereldwijde omzet. Replika is een op generatieve AI-gebaseerde chatbot die emotionele ondersteuning en vriendschap moet bieden, aldus de ontwikkelaar. Mozilla deed eerder onderzoek naar de app en stelde dat die tekort schiet op het gebied van security en privacy.

Replika kwam negatief in het nieuws omdat het schadelijk voor minderjarigen zou zijn. Daarop besloot de Italiaanse privacytoezichthouder GPDP een onderzoek in te stellen. Begin 2023 mocht Replika uit voorzorg van de GPDP geen gegevens meer van gebruikers in Italië verwerken. Een aantal maanden later werd het verbod opgeheven, op voorwaarde dat Replika maatregelen zou treffen om de gegevensverwerking aan de AVG te laten voldoen. Zo moest er effectieve leeftijdsverificatie worden toegepast om te voorkomen dat minderjarigen de chatbot zouden gebruiken.

De GPDP heeft nu het onderzoek afgerond en stelt dat Replika verschillende bepalingen van de AVG heeft overtreden. Zo werd er geen geldige grondslag voor het verwerken van persoonlijke gegevens gemeld, werd niet duidelijk gemaakt dat met de gegevens van gebruikers AI-modellen werden getraind, was het privacybeleid alleen beschikbaar in het Engels, werd niet duidelijk gemaakt dat de chatbot alleen voor volwassenen was bedoeld en zorgde het ontbreken van een goede leeftijdscontrole ervoor dat ook data van minderjarige werd verwerkt.