Het grootste probleem is natuurlijk dat de conclusies die getrokken worden uit de onderzoeken heel gemakkelijk worden omgekeerd. Een koe is een dier maar een dier is geen koe. Dus bijvoorbeeld de gemeten data "de meeste criminelen zijn Marokkaan" wordt omgekeerd naar "de meeste Marokkanen zijn crimineel". Dat is natuurlijk niet leuk als je Marokkaan bent en niet crimineel.

Dat zag je ook bij die kinderopvangtoeslagaffaire: op zich was het juist dat er binnen de "doelgroep" bovengemiddeld vaak gefraudeerd werd, maar dat werd omgekeerd naar het in de gaten houden van heel die groep, van wie wellicht het overgrote deel niet fraudeerde. Hoewel al snel bleek dat er rond de compensatieregeling ook weer gefraudeerd wordt, dus helemaal fout was dat beeld toch ook weer niet.

Een ander verhaal wat er meestal door tegenstanders aangehangen wordt is dat weergave van de feiten er toe kan leiden dat de betreffende situatie versterkt wordt doordat de autoriteiten meer op die groep gaan letten en de betreffende feiten daardoor nog sterker naar boven komen.
Bijvoorbeeld als een groep van bepaalde afkomst bovengemiddeld crimineel is dan wordt die groep meer in de gaten gehouden en valt er criminaliteit op die anders onder de radar was gebleven, met het gevolg dat het beeld nog verder doorslaat in de richting "die groep is crimineel". Wellicht zou het gevolg zelfs kunnen zijn dat leden van die groep denken "nou ze denken toch al dat we crimineel zijn dus kunnen we het net zo goed echt worden".

Of dat zo werkt hangt denk ik sterk af van de soort criminaliteit. Wellicht geldt het enigszins voor zaken waar je echt op moet letten, maar het lijkt me toch dat bij zaken waarbij er slachtoffers zijn die zelf aangifte doen (berovingen, straatcriminaliteit e.d.) dit niet speelt.

Dus ik denk dat het vaak een afspiegeling van de werkelijkheid is die ongemakkelijk is en die men niet wil zien, maar dat je wel moet oppassen dat wat je gemeten hebt niet te gemakkelijk ge-extrapoleerd wordt naar een vermoeden wat niet klopt.

Een voorbeeld van een algoritme is:


Stel je wilt, op het moment dat iemand een bijstanduitkering aanvraagt, het risico op bijstandfraude inschatten, om dan (als jouw algoritme dat aangeeft), iemand verder uit te horen of door eerst inspecteurs de woonsituatie en/of autobezit te laten vaststellen. En stel dat gemiddeld bijstandfraude jouw gemeente 10.000 Euro per jaar kost. Dan hoef je alleen nog de kans in te schatten. En dat is lastig.

De verleiding is dan enorm om naar historische gegevens te kijken. Bijvoorbeeld door gebruik te maken van een tabel met bijstandfraudecijfers per postcodegebied.

Het gevolg is dat in wijken met historisch weinig bijstandfraude niet gecontroleerd wordt. De beslissing om wel of niet te controleren is dan gebaseerd op vooroordelen, en de pakkans van fraudeurs zou, gezien de inzet van inspecteurs, wel eens optimaal kunnen zijn. Maar je kunt deze aanpak gewoon discriminatie noemen.

M.i. zijn niet algoritmes de oorzaak van racisme of biassen, maar in de eerste plaats de bedenkers ervan, en op plaats twee degenen die de input aanleveren.

Als je vindt dat je elk individu, indien je nog geen relevante gegevens van dat individu zelf hebt (denk ook aan gegevens die als niet bruikbaar meer moeten worden beschouwd, zoals een uitgezeten gevangenisstraf), neutraal moet bejegenen, mag je geen oordeel vellen op basis van groepsgegevens of andere voordelen.

Dan zijn hooguit algoritmes bruikbaar die in databases zoeken naar relevante, nog bruikbare, gegevens van dat individu. Door systemen van steeds meer instanties te koppelen, werken die algoritmes beter - en discrimineren niet. Of toch? Je "pakt" dan namelijk die mensen van wie de (vaak opzichtige) misstappen, al dan niet toevallig en/of met vooringenomenheid, zijn geregistreerd in andere systemen - mogelijk voor een heel ander doel.

Het is m.i. net als malware: pas je voortdurend aan om de pakkans te verkleinen. Criminaliteit pleeg je bijvoorbeeld zoveel mogelijk gebruikmakend van de identiteit van een ander. Dat die ander vervolgens onhoogborrelt uit algoritmes, zal jou een biet zijn.

Die vaststelling kan je geen racisme noemen. Dat is gewoon statistiek. Als je de oorzaak daarvan legt bij de kleur van de pleger dan is het racisme. Als je de oorzaak legt bij een kansarme omgeving dan niet.

Er is een verschuiving gaande van wat eigenlijk bedoeld wordt met de term "racisme". Het gaat tegenwoordig lang niet altijd meer over de intentie die erachter zit maar veel meer over het effect van allerlei dingen die vaak onbewust in de samenleving zijn verankerd.

Heel verhelderend zijn proeven die gedaan zijn met peuters met verschillende huidskleuren, die poppen aangeboden kregen om mee te spelen die ook verschillende huidskleuren hadden. Zelfs kinderen met een donkere huid bleken gemiddeld een voorkeur te hebben voor poppen met een lichte kleur. Dat suggereert dat alle boodschappen die die jonge kinderen in de media en de buitenwereld zien al een voorkeur voor een andere huidskleur dan hun eigen opleveren. Die kinderen kan je moeilijk van tegen zichzelf gekeerd racisme beschuldigen, er zitten helemaal geen bewuste bedoelingen achter. Maar toch sluipen dit soort dingen erin.

Dat soort associaties kunnen bij volwassen ertoe leiden dat bijvoorbeeld iemand met een donkere huid die goed gekleed in een dure auto zit opmerkelijk vaak wordt staande gehouden door de politie. Dat hoeft helemaal geen bewust racisme te zijn, daar hoeven helemaal geen nare bedoelingen achter te zitten, er kan net als bij die peuters iets gebeuren dat onbedoeld en onbewust toch de vervelende consequentie hebben dat iemand overmatig vaak staande wordt gehouden die niets anders misdaan heeft dan een goede baan te hebben.

In dat soort situaties heb je racisme als praktisch effect zonder dat er racistische intenties achter zitten. Want reken maar dat iemand die keer op keer opnieuw verantwoording moet afleggen zonder iets misdaan te hebben dat op een gegeven moment grondig de strot uitkomt.

Een spiegel van de maatschappij, voor een heel belangrijk deel, maar meer op de manier die ik net uitlegde dan de manier die jij bedoelde.

Het lastige van historische data is dat de pakkans van mensen die dingen verkeerd doen niet alleen afhangt van welk percentage van een bevolkingsgroep foute dingen doet maar ook van hoeveel aandacht de politie en andere handhavers op die bevolkingsgroep richten. Stel dat de criminaliteit onder bijvoorbeeld Surinamers feitelijk niet hoger is dan bij de gemiddelde kaaskop, maar die groep wel veel vaker gecontroleerd wordt. Dan is de pakkans onder die groep veel hoger, domweg door de intensere controles, en dan worden er ook werkelijk meer mensen gepakt. Dat kan stuk voor stuk volkomen terecht zijn omdat degenen die gepakt worden ook werkelijk wat hebben misdaan, maar het effect is wel dat ook de mensen die niets verkeerd doen uit die groep veel vaker met vervelende controles te maken krijgen, én daarnaast duikt die groep door die grotere aandacht ook nog eens op in de statistieken als een groep waar veel mee aan de hand is, want met een grotere pakkans worden er meer gepakt.

Als je dan vervolgens je AI-systeem voedt met die nieuwe statistieken "ziet" dat systeem daarin alleen maar aanleiding om die groep vaker te blijven controleren, wat weer de pakkans hoog houdt, en zo houdt het zichzelf in stand.

Het is in mijn ogen niet zo zinvol om het zelflerende algoritme als oorzaak van dit soort racistische effecten te bestempelen. Het probleem is veel meer dat de de beschikbare gegevens waarmee het leerproces wordt gevoed al een bias ingebouwd kunnen hebben, die dan netjes door het systeem gereproduceerd wordt. Het is maar zeer de vraag of het goed mogelijk is om dat te onderscheiden en eruit te filteren als mensen het bij zichzelf al niet kunnen onderscheiden. Het is in ieder geval duidelijk dat dat in de praktijk echt niet altijd goed gebeurt. Wat ook een probleem is is dat wat een computer uitspuugt vaak opmerkelijk veel invloed heeft omdat mensen het behandelen alsof het exact en betrouwbaar is. Juist dit soort algoritmes zijn verre van exact in hun resultaten, omdat de uitkomsten niet door het feitelijke generieke algoritme worden bepaald maar door de data waarmee het getraind is.

Het probleem is het blind vertrouwen in het algoritme de interpretatie van de data binnen statistieken en de interne druk om targets te halen bij de overheid.

Data is altijd biased daar ontkom je simpel weg niet aan je kunt het echter inperken maar dan moet je wel veel tijd aan besteden bij hertraining van je datasets en tegelijk intiem het algoritme snappen in plaats van doodleuk een model template erover heen te knallen.

Maar lost van het algoritme is er nog een probleem. Ieder die ooit heeft gewerk met statistieken weet hoe gevoelig en makkelijjk de data in een ander jasje gegoten kan worden door het aanpassen van enkel de weergave.

Je kunt de gevoelens van mensen simpelweg beinvloeden door specifieke kleuren te gebruiken lijnen en cijfer marges breder of smaller maken en gebruik van onnodig ingewikkelde formule notering naast legenda om de indruk te wekken dat het een belangrijkere uitkomst is. En zo zijn er nog tig van truukjes die overal worden toegepast om je te sturen naar een bepaalde conclusie.

Zodra enig iemand begint met een argument en statistieken erbij gooit maar niet de raw data beschikbaar stelt dan kun je met bijna 100% zekerheid ervan uitgaan dat je gemanipuleerd wordt en iemand je naar bepaalde interpretatie zit te duwen. Onderzoekbureaus en voornamelijk de mainstream news, media is hier vaak schuldig aan.