Politie stopt met gewraakt algoritme dat ‘voorspelt’ wie in de toekomst geweld gebruikt
Heb jij een interessante vraag op het snijvlak van privacy, cybersecurity en recht? Stuur je vraag naar juridischevraag@security.nl. Elke week geeft ict-jurist Arnoud Engelfriet in deze rubriek antwoord.
Juridische vraag: De politie stopt ‘per direct’ met het algoritme waarmee ze voorspelt of iemand in de toekomst geweld gaat gebruiken, las ik bij FTM. Dit soort systemen zien we steeds vaker bij de opsporing, is dit nu juridisch toegestaan?
Antwoord: “AI snake oil”, noemt professor Arvind Narayanan van Princeton het. Uitspraken over gedrag of verwachtingen omtrent personen, aangekleed met “Artificial Intelligence” versieringen en zogenaamd perfect werkend. Haarlemmer AIoli, zou ik het haast noemen. Het komt er altijd op neer dat men een niet direct verifieerbare uitspraak doet op basis van een brokje data en een black box model, die dan heel precies klinkt en daarom vaak wordt overgenomen.
Bij een spamfilter dat een verkeerde classificatie maakt, of een AI-biometrie die je niet binnenlaat, krijg je vrij direct feedback dat het niet werkt. Een algoritme dat voorspelt of iemand gaat recidiveren of geweld gebruiken is een heel stuk lastiger – net zoals met alle juridische afwegingen, van het automatisch afwegen van een bezwaar in het bestuursrecht tot een strafvonnis genereren.
Natuurlijk handelde de politie niet blind op de uitkomst van het RTI-G, maar ‘het risicoprofiel dient te worden gezien als aanwijzing dat een strafbaar feit gepleegd gaat worden.’ En daar wordt dan wél op geageerd: een van de mensen die met FTM sprak, kreeg een schriftelijk bevel een half jaar lang op ieder gewenst moment mee te werken aan fouillering en doorzoeking van de auto. Het Hof Den Haag floot de politie terug:
De rechtspraak gaat uit van een concrete aanleiding dan wel feitelijke omstandigheden kort voorafgaand aan dan wel ten tijde van de inzet van de bevoegdheden op basis van deze artikelen. Daarvan is geen sprake als [geïntimeerde] alleen op basis van zijn aanwijzing als veiligheidsrisicosubject aan een fouillering of doorzoeking van zijn auto wordt onderworpen.
Desondanks blijft de vraag gerechtvaardigd: hoe kwam dat systeem dan tot haar conclusies? Op basis van welke gegevens en algoritmes kon men deze uitspraak doen en hoe is dat te rechtvaardigen? Ik zet het even op een rijtje uit het FTM artikel:
- Iemands verleden in de politiesystemen, bijvoorbeeld betrokkenheid (dader, getuige, aangever) bij geweldsdelicten, eventuele aangetroffen wapens en de optelsom van andere delicten wegen ook mee.
- Hoe groter het aantal registraties van (vermoedelijke) delicten bij de politie, gewogen naar de vermoedelijke samenhang met geweld.
- Geslacht en leeftijd; mannen meer dan vrouwen en mensen die jong een eerste delict pleegden meer dan latere plegers.
- Etniciteit, wat er in 2017 uitgehaald is omdat het ‘een beperkt maar toch nadelig effect op de interne beeldvorming [gaf] voor een individu.’ Een Antilliaanse achtergrond telde daarbij zwaarder mee dan een Marokkaanse of Somalische.
Afgaande op het meegepubliceerde screenshot gaat het hier om een ‘klassiek’ beslissysteem, namelijk een veredelde Excelsheet die aan elke factor punten geeft en een totaalsom maakt:
Hoogleraar digitale surveillance Marc Schuilenburg is vernietigend: de resultaten zijn ‘uit de lucht gegrepen’, er is geen enkele validatie laat staan een feedbacksysteem om fouten te corrigeren.
Volgens hem is Nederland een ‘voorzorgsmaatschappij’ geworden. ‘In de politiek en de samenleving gaat het om het voorkomen van potentiële risico’s,’ aldus Schuilenburg. ‘Vroeger was er eerst een verdenking en dan pas surveillance. Nu is er eerst surveillance en dan pas een verdenking.’
Het ergerlijke voor mij is vooral dat de uitkomsten van die surveillance worden aangekleed met een sausje van juistheid: kijk maar, het getal rechtsonder is 970 dus dit klopt echt, en ik zie ook vijf donkerrode vlakken dus het is ernstig ook. (Dit staat bekend als “precision bias” in het vakgebied.) Maar garbage in, garbage out: hoe weet je of het klopt?
En nee, het is nu te makkelijk om te zeggen “door gewoon die mensen te fouilleren en te zien of ze wapens hebben”. Even los van wat de wet daar dus over zegt, als je handelt vanuit een foute aanname dan komt daar nooit een goed resultaat uit. Ja, misschien vind je een wapen en misschien zelfs vaker bij Antilliaanse verdachten dan bij Nederlandse boerenzonen. Maar bewijst dat dat je startpunt klopte?
Arnoud Engelfriet is Ict-jurist, gespecialiseerd in internetrecht waar hij zich al sinds 1993 mee bezighoudt. Hij werkt als partner bij juridisch adviesbureau ICTRecht. Zijn site Ius mentis is één van de meest uitgebreide sites van Nederland over internetrecht, techniek en intellectueel eigendom. Hij schreef twee boeken, De wet op internet en Security: Deskundig en praktisch juridisch advies.
Als er iemand op straat is doodgeschoten of -gestoken dan krijg je altijd de verhalen van "het was toch zo'n lieve jongen, hij deed nooit iemand kwaad" maar is dat ook echt wel zo? Of komen de mensen die op straat worden neergeschoten misschien toch uit een bepaalde groep?
Tuurlijk het "deugt" hardstikke om te zeggen dat er niks aan de hand is, en dat er nergens relaties zijn. Maar is dat ook echt zo?
In een rechtsstaat moet je bewijzen dat die relatie er wèl is, voordat je van overheidswege op die grond in iemands leven mag ingrijpen. Er moet sprake zijn van een concrete verdenking.
Als er iemand op straat is doodgeschoten of -gestoken dan krijg je altijd de verhalen van "het was toch zo'n lieve jongen, hij deed nooit iemand kwaad" maar is dat ook echt wel zo? Of komen de mensen die op straat worden neergeschoten misschien toch uit een bepaalde groep?
Tuurlijk het "deugt" hardstikke om te zeggen dat er niks aan de hand is, en dat er nergens relaties zijn. Maar is dat ook echt zo?
Er zijn verschillende soorten "relaties" denkbaar (dat woord moet niet worden misbruikt als een containerbegrip). Je hebt bijvoorbeeld causaliteit (oorzaak-gevolg-relatie) en synchroniteit (gelijktijdigheidsrelatie, als twee verschijnselen zich gelijktijdig voordoen).
Het vaststellen van causaliteit is vaak enorm moeilijk. Klassiek voorbeeld: veel jongeren van etnische groep X vertonen crimineel gedrag. Mogelijk is dat veroorzaakt doordat ze opgroeien in armoede. Mogelijk is die armoede veroorzaakt door discriminatie op de arbeidsmarkt. Die is mogelijk weer veroorzaakt door vooroordelen van etnische groep Z over huidskleur, taalaccent e.d.
Het is dan uitermate onrechtvaardig om een excel-sheetje te maken (zoals Arnoud Engelfriet ook aangeeft), waarin bijvoorbeeld de kenmerken "huidskleur" en "armoede" zijn opgenomen, waardoor mensen met een laag inkomen op straat vaker worden gefouilleerd dan mensen met een hoog inkomen.
Wat moet de politie dan tegen iemand van etnische groep X zeggen? Iets van: "Ja, dat is vandaag al de derde keer dat ik je fouilleer. Als je graag minder gefouilleerd wilt worden, dan zou ik maar snel zorgen dat je meer geld gaat verdienen."
"Oké," denkt die iemand van etnische groep X dan. "Ik wil graag minder gefouilleerd worden, maar dan moet ik eerst heel wat meer verdienen. Laat ik maar een kraak gaan zetten."
Die kraak komt dan weer in de statistieken terecht en leidt dan tot nog weer een zwaardere nadruk op etnische groep X als risicofactor op die excelsheet.
Je krijgt dan dus een vicieuze cirkel. Het systeem dat bedoeld is om risico's alleen in kaart te brengen, draagt dan zelf bij aan het creëren en versterken van risico's.
Dit alleen even als summier en kort-door-de-bocht voorbeeldje, ter illustratie van het probleem.
M.J.
Blijft dat het "vervelend" is als je door het algorithme als verdacht wordt aangemerkt omdat je kenmerken van een groep hebt, maar niet het gedrag van de leden van die groep vertoont.
Afhankelijk van de cohesie in die groep kan het eventueel nog verbetering geven. Als de goede jongen het slechte neefje eens gaat uitleggen dat zijn criminele gedrag afstraalt op de hele groep, en dat ie daar eens een keer moet ophouden omdat er een samenleving ontstaat waarin iedereen vindt dat de groep maar slecht is. Waar niet alleen de goeden maar ook de slechteren van hebben te lijden.
Het punt is, als je de situatie wilt doorbreken dan MOET je wel selectief te werk gaan. Als je om het geweld en de criminalteit op straat tegen te gaan wilt gaan fouilleren op het dragen van wapens dan kun je wel tijd gaan verspillen aan het fouilleren van oma, maar die tijd had je beter kunnen besteden.
Dan denk ik dat selectie met een algorithme nog voordelen heeft boven "selectie door aanvoelen door de agent". Dan ligt discriminatie nog meer op de loer.
-Minority Report
Ik vindt het persoonlijk allemaal zeer eng, en het maakt menselijk gedrag zeer zwart en wit, terwijl dat juist iets is dat niet zomaar zwart op wit kan zijn.
Als er iemand op straat is doodgeschoten of -gestoken dan krijg je altijd de verhalen van "het was toch zo'n lieve jongen, hij deed nooit iemand kwaad" maar is dat ook echt wel zo? Of komen de mensen die op straat worden neergeschoten misschien toch uit een bepaalde groep?
Tuurlijk het "deugt" hardstikke om te zeggen dat er niks aan de hand is, en dat er nergens relaties zijn. Maar is dat ook echt zo?
Gevalletje Psychohistorie
Statistisch is er misschen wel iets af te leiden uit de gegevens van de politie icm de gehele bevolking.
Maar dat vertelt je alleen maar dat er een grotere kans is dat type misdaad a ergens de komende tijd vaker zal plaats vinden (als de sterren goed staan, of de goden je gunstig gezind zijn)
Meer niet.
Het kan niet voorspellen dat een persoon specifiek op plaats a en moment b in de toekomst, misdaad c zal uitvoeren.
Het probleem is namelijk dat het maar een model is. Met een beperkte set gegevens.
Daarmee introducer je ook meteen een bias.
Geef een computer een weredlbeeld van alleen maar criminelen, en elke handeling van iedereen wordt als crimineel gezien. In de trand van: Misdadigers kopen een mes. Dus iedereen die een mes koopt, is een misdadiger.
Wil je de toekomst (exact) voorspellen, dan zul je alle gegevens van iedereen aan dat model moeten toevoegen.
Waardoor het model onwerkbaar wordt. Als je al de tijd en mankracht zou hebben.
Het model wordt dan namelijk net zo complex en gedetailleerd als de werkelijkheid die je probeert te modelleren.
En probeer jij maar eens alles van de werkelijkheid te beschrijven voor iedereen, in realtime. Dat is onmogelijk.
Laat staan dat je dan nog tijd hebt om er aannames op los te laten voor de toekomst.
[...]
Tuurlijk het "deugt" hardstikke om te zeggen dat er niks aan de hand is, en dat er nergens relaties zijn. Maar is dat ook echt zo?
Kijk eens naar het eerste punt van de vier boven het plaatje. Daarin kan je lezen dat getuige zijn van een geweldsdelict of er aangifte van doen tot een hogere score leidt. Dat zijn mensen die keurig doen wat je van een verantwoordelijke burger verwacht op dat moment, en dat werkt dus tegen ze. Vind je dat deugen?
En voor je dit weer te zwart/wit opvat: ik zeg niet dat er meteen helemaal niets in die tool zit waar wat voor te zeggen is, er zitten gradaties tussen helemaal goed en helemaal fout. Het gaat erom dat de betrouwbaarheid niet voldoende is om wat ze ermee doen te rechtvaardigen.
Verder kan je in de uitspraak lezen dat als die relaties die je noemt er zijn die niet als aanwijzing gebruikt mogen worden. De memorie van toelichting van de Wet wapens en munitie geeft aan dat de bevoegdheid die hier is toegepast vereist dat er een concrete aanwijzing is voor wapengebruik of dreiging daartoe. Een kansberekening die hoog uitvalt is geen concrete aanwijzing. Een concrete aanwijzing is zoiets als een tip dat er een vuurwapen en een plan voor iets heftigs zijn.
Kijk eens naar het eerste punt van de vier boven het plaatje. Daarin kan je lezen dat getuige zijn van een geweldsdelict of er aangifte van doen tot een hogere score leidt. Dat zijn mensen die keurig doen wat je van een verantwoordelijke burger verwacht op dat moment, en dat werkt dus tegen ze. Vind je dat deugen?
Ik weet dat er hier een club is die "de rechtstaat" als een onveranderlijk systeem ziet, maar ik ben het daar niet mee eens. Ik vind dat een rechtstaat aangepast moet worden aan de dreigingen die er heersen, ook als dat de rechten van criminelen een beetje schendt.
Ik weet dat er hier een club is die "de rechtstaat" als een onveranderlijk systeem ziet, maar ik ben het daar niet mee eens. Ik vind dat een rechtstaat aangepast moet worden aan de dreigingen die er heersen, ook als dat de rechten van criminelen een beetje schendt.
We kunnen de wetgeving aanpassen. twerigaan naar oog om oog.
Jij schiet iemand neer, dan wordt je zelf ook neergeschoten.
Jij rijdt iemand lam. dan wordt jij ook lam gereden.
Jij steelt veel geld. dan wordt geld van jou afgenomen
etc etc.
Geen tussenkomst van rechters of rechbanken. Geen advocaten.
Sta je op de camera, dan speelt de politie of de buurt wel voor eigen rechter.
Het is een lompe manier om de jungle waar je het over hebt, weer netjes sociaal gedrag te laten vertonen. (let wel: vertonen)
Maar we kunnen het een tijdje proberen,
Durf jij het aan?
Gedraag jij je altijd netjes naar je medemens toe?
Overal en altijd?
Zeker weten?
Het vertrouwen zijn ze al een tijdje kwijt.....
Dat speurneuzen speuren is prima. Dan kunnen ze weten waar ze moeten speuren. Om daarna bewijs te verzamelen.
Wat beklagenswaardig is, is dat men niet beseft dat wat er op het scherm verschijnt niet waar kan zijn, of onvolledig.
Dat speurneuzen speuren is prima. Dan kunnen ze weten waar ze moeten speuren. Om daarna bewijs te verzamelen.
Wat beklagenswaardig is, is dat men niet beseft dat wat er op het scherm verschijnt niet waar kan zijn, of onvolledig.
Dit kun je heel makkelijk aangeven in een waarschijnlijkheidsgetal 0-10. 10 is bevestigd waar, 0 - roddel.
Maar goed daar zijn knappe koppen voor.
S8-E4 - is Gun Crime a Virus?
Beschikbaar op Discovery Science.
Een ieder die vrijwillig 0900-8844 na het zien van deze documentaire wil bellen, is bij deze door mij van harte uitgenodigd.
Geen huiswerk, maar bureauwerk, tenmiste betaald.
De Wiskunde is bewezen.
In Your Face!
Deze posting is gelocked. Reageren is niet meer mogelijk.
Cybersecurity Trainer / Full Stack Developer
bij Certified Secure
Ben je toe aan een nieuwe nieuwe job waarmee je het verschil maakt? Wil jij je security kennis graag delen en hands-on laten zien hoe cybersecurity in de praktijk echt werkt? Werk je net als wij graag samen met enthousiaste en gedreven collega's? Bij ons geen bureaucratie maar open communicatie en een werkomgeving gericht op samenwerking.
Junior DevOps Engineer
Certified Secure is op zoek naar een Junior DevOps Engineer. Deze functie is een stuk interessanter dan de term doet vermoeden! Om jou als potentiële nieuwe collega meteen te laten zien wat we doen hebben we speciaal voor jou een selectie gemaakt van een aantal leuke security challenges. Are you ready for a challenge?