Nieuws
image

Burgerrechtenbeweging hekelt gezichtsherkenning Amazon

vrijdag 27 juli 2018, 12:05 door Redactie, 3 reacties

De Amerikaanse burgerrechtenbeweging ACLU heeft uitgehaald naar de gezichtsherkenning van Amazon omdat die niet goed zou werken, maar de internetgigant stelt dat er verkeerd is getest. De ACLU deed onderzoek naar de nauwkeurigheid van Amazons gezichtsherkenning genaamd "Rekognition".

Voor de test creëerde de ACLU een database met 25.000 openbare arrestatiefoto's. Vervolgens werden foto's in de database vergeleken met foto's van alle huidige Congresleden. Hierbij werd volgens de ACLU de standaardinstelling van de gezichtsherkenningstechnologie gebruikt. In totaal werden 28 Congresleden ten onrechte aangezien voor iemand die wegens een misdrijf is opgepakt.

Bijna 40 procent van de verkeerde beoordelingen in de test betrof gekleurde mensen, ook al vertegenwoordigt deze groep 20 procent van de Congresleden. Volgens de burgerrechtenbeweging kunnen verkeerde matches grote gevolgen voor mensen hebben. Amazon stelt in een verklaring dat als de ACLU bepaalde instellingen had aangepast er minder verkeerde matches zouden zijn geweest. Verder zou de technologie alleen als aanvulling worden gebruikt en zijn het mensen die de uiteindelijke beslissing maken.

Reacties (3)
27-07-2018, 15:07 door Anoniem
Hmm interessant:

Amazon: als je afwijkt van de standaard instellingen doet hij het beter

Waarom zijn die betere instellingen dan niet standaard?

Amazon: is alleen aanvulling, de mens maakt uiteindelijk de beslissing

Na 9/11 waren er in de US no-fly lijsten die op basis van algoritmen zijn samengesteld (dus zonder dat een mens de beslissing neemt). Als je daar op kon je niet meer vliegen. Maar ook stond mocht je dat niet weten, en er was geen manier om er af te komen als het onterecht was. Fijn zo'n automatisch systeem waar de mens zou moeten beslissen maar voor het gemak buitengehouden is...
27-07-2018, 19:41 door karma4
Op zich is de denkfout dat je de computer alles snapt makkelijk in te zien.
25.000 mensen als opsporingsbericht uitsturen dat geen mens iets mee kunnen doen. Dat is te snappen. Het inzetten van techniek kan dan heel nuttig zijn. Alleen je moet niet enkel kijken of je op de betreffende gezichten voldoende hits (correcte positieven) krijgt waar de handhaver mee verder kan. Je moet hem ook niet te veel false positieven geven.
Met een aantal van valse postives van 20% heb je een nette lift aan die kant.

Een test uitvoeren op een populatie waar geen correcte positieve bij zitten toont dat je bewust bezig bent de boel te belazeren. Sorry ACLU jullie framen, een hit-score van 100% correct gemarkeerd is ook te bereiken als je de populatie zorgvuldig kiest.


Let even op het volgende: "Finally, it is worth noting that in real world scenarios, Amazon Rekognition is almost exclusively used to help narrow the field and allow humans to expeditiously review and consider options using their judgement (and not to make fully autonomous decisions), "
Dat is voor de meeste bij organsiaties als ACLU onbegrijpelijk. Die willen perse computer zegt ja/nee terwijl dat niet zo is.
30-07-2018, 12:56 door Anoniem
Dat is voor de meeste bij organsiaties als ACLU onbegrijpelijk. Die willen perse computer zegt ja/nee terwijl dat niet zo is.
Omdat de ACLU weet dat menig ambtenaar van het type 'computer says no' is en dús volledig afhankelijk is van wat zijn systeem hem zegt (lees: opdraagt). En ook al maakt het systeem alleen een 'selectie', dan nog duwt hij de gebruiker een bepaalde richting in. Mensen van buiten de set worden niet getoond en 'het systeem zal niet zomaar deze personen tonen' dus krijg je vooringenomenheid.
Een test uitvoeren op een populatie waar geen correcte positieve bij zitten toont dat je bewust bezig bent de boel te belazeren.
Dus als er maar lang genoeg geen 'hits' voorbij de camera lopen, gaat het systeem maar willekeurig mensen flaggen, want ja, 'hij móet nu toch wel op rood/zwart vallen?!' (gambler's fallacy). Dit systeem is duidelijk niet klaar voor deployment in het veld.
Reageren

Deze posting is gelocked. Reageren is niet meer mogelijk.

Zoeken
search