image

EFF slaat alarm over valse beschuldigingen Googles fotoscan-algoritme

dinsdag 23 augustus 2022, 10:30 door Redactie, 18 reacties

De Amerikaanse burgerrechtenbeweging EFF slaat alarm over de valse beschuldigingen van Googles fotoscan-algoritme en de schadelijke gevolgen die dit kan hebben. Aanleiding is het bericht van een Amerikaanse man die een foto van zijn kind naar een arts stuurde en door het algoritme en een medewerker van Google ten onrechte werden beschuldigd van het verspreiden van kindermisbruikmateriaal. Daarnaast besloten twee politiekorpsen een onderzoek naar de man in te stellen en raakte hij al zijn bij Google opgeslagen e-mails, foto's en documenten kwijt.

Gezien de grote hoeveelheid data die Google verwerkt en scant vermoedt de EFF dat mogelijk honderden tot duizenden andere gebruikers ook slachtoffer van Googles algoritme zijn geworden. Iets wat zeer schadelijke gevolgen kan hebben. Bij het doorzoeken van bestanden van gebruikers die ten onrechte zijn aangemerkt voor het versturen van kindermisbruikmateriaal kan politie ook andere zaken vinden die daar niets mee te maken hebben en besluiten om personen voor deze ongerelateerde misdrijven te straffen, zonder dat ze daar in eerste instantie van werden verdacht.

Het systeem van Google zou gebruikers ook kunnen rapporteren bij autoriteiten in autocratische landen, of gebieden met corrupte politie waar ouders geen eerlijk proces te wachten staat. Daarnaast blijkt uit verschillende onderzoeken dat de algoritmes die techbedrijven gebruiken zeer onnauwkeurig zijn. Een onderzoek van Facebook naar 150 accounts die werden verdacht van het versturen van vermeend kindermisbruikmateriaal liet zien dat 75 procent niets strafbaars had gedaan. In de tweede helft van vorig jaar rapporteerde LinkedIn 75 accounts bij de autoriteiten. Zestig procent bleek onschuldig.

Desondanks pleiten steeds meer overheden voor het invoeren van scanning-algoritmes. Zo wil de Europese Commissie chatdiensten en andere techbedrijven verplichten om alle berichten en andere content van gebruikers op kindermisbruik te scannen, waarbij ook gebruik van algoritmes moet worden gemaakt. De Amerikaanse burgerrechtenbeweging stelt dat echte privacy de oplossing is, naast zaken als betere rapportagemogelijkheden.

"Het antwoord voor een beter internet is niet om met de beste scansoftware te komen. Het is niet mogelijk om mensenrechten te beschermen wanneer een AI de berichten van iedereen scant om boosdoeners te vinden. Het echte antwoord staat recht voor ons: opsporingsdiensten en gekozen leiders die ervoor kiezen om naast sterke encryptie en privacy te bestaan, niet om die af te breken."

Reacties (18)
23-08-2022, 10:38 door Anoniem
Ja als je een beleid hebt met info preferentie vastgesteld door bepaalde overheden en grote multinationale spelers krijg je dit.
Een beetje als de Inquisitie in de ME. Als je info uit Rusland al blokkeren wil etc. We hebben net nog geen Internet Kammer.
Corporatoneel fascisme of marxisme, in ieder geval nu vanuit het grootkapitaal aangezwengeld.
23-08-2022, 10:45 door Anoniem
Een bijkomend probleem van al deze false positives is dat hashes van de bestanden in kwestie worden toegevoegd aan een wereldwijde database. Die database bevat dus steeds meer false positives wat de kans op false positives doet toenemen. Dat zorgt voor een steeds verder vervuilde database die vervolgens ook zal worden gebruikt voor AI learning, en zo verder. De mate van vervuiling en de false positivegraad stijgt zo steeds meer. Hashes moeten sowieso nooit op basis van AI worden toegevoegd.

Het overmatige vertrouwen dat we (lees: techbedrijven met een perverse prikkel om geld te besparen) kennelijk hebben in AI wordt alleen overtroffen door de slordigheid en ontoerekenbaarheid waarmee menselijke controleurs te werk gaan.
23-08-2022, 10:55 door bart_hGn4mQe
Dat het algoritme af en toe (ok, nog best vaak) een fout maakt zou niet zo'n probleem zijn als die bedrijven zelf er niet zulke zwaarwegende conclusies aan zouden verbinden. Dat iemand vrijgesproken wordt door de politie en alsnog alles kwijtraakt omdat Google een muur is die je nooit met argumenten kunt overtuigen is wat mij betreft een groter probleem dan het feit dat er wat data van achteraf gezien onschuldige mensen naar de politie gaat voor onderzoek.

Dat je algoritme niet 100% goed werkt zou een stuk minder erg zijn als je een goed proces hebt om met false-positives om te gaan.
23-08-2022, 10:59 door Anoniem
Door bart_hGn4mQe: Dat het algoritme af en toe (ok, nog best vaak) een fout maakt zou niet zo'n probleem zijn als die bedrijven zelf er niet zulke zwaarwegende conclusies aan zouden verbinden. Dat iemand vrijgesproken wordt door de politie en alsnog alles kwijtraakt omdat Google een muur is die je nooit met argumenten kunt overtuigen is wat mij betreft een groter probleem dan het feit dat er wat data van achteraf gezien onschuldige mensen naar de politie gaat voor onderzoek.

Dat je algoritme niet 100% goed werkt zou een stuk minder erg zijn als je een goed proces hebt om met false-positives om te gaan.

Dat algoritme slaat helemaal nergens op. Daarnaast je zou maar een viespeuk hebben die daar die foto’s bekijkt en er zelf foto’s van maakt. Foto’s van jouw kinderen.
23-08-2022, 11:13 door Anoniem
"Lang leve de Cloud"

Mag ik vooral adviseren om ook een backup op een lokale harde schijf te maken.
23-08-2022, 11:28 door Anoniem
Google als rechtbank, als rechter, als openbare aanklager en beul.
Leuker kunnen we het niet maken...
23-08-2022, 11:29 door [Account Verwijderd]
Hier zie je ten voeten uit het probleem van té groot gegroeide bedrijven die daardoor de individuele belangen kunnen schaden omdat zij niet meer in staat zijn anders dan door algoritmische controle die belangen in samenhang met hun gebruiksvoorwaarden te controleren.

Bijgevolg maar niet minder alarmerend is het feit dat bij constatering dat het algoritme, gepersonifieerd gesteld: 'fouten' heeft gemaakt, de complexiteit van het geautomatiseerde IT systeem niet meer de mogelijk biedt deze fouten substantieel te herzien zodat het individuele belang weer zoals voorheen gecontinueerd kan worden. In dit geval: herstel van het account.

Hoe dit tij te keren? Voor de gebruiker van Cloud diensten: Minimaliseer het gebruik daarvan zoveel als mogelijk. Iets anders weet ik niet te bedenken.
23-08-2022, 11:58 door Anoniem
Door Anoniem: "Lang leve de Cloud"

Mag ik vooral adviseren om ook een backup op een lokale harde schijf te maken.

De kern van het probleem is hier het woord "ook"

Android telefoons syncen nagenoeg standaard alle fotos die je maakt, download van facebook of opent via WhatsApp naar de cloud. Je krijgt er misschien de aller eerste keer éénmalig een vraag over of je dat wil, maar zonder de bijsluiter van de gevolgen. "dit is goed, want dan raak je je foto's niet meer kwijt" - "oh, okee!" En tot zover je privacy.

Je backup hoort primair naar je eigen laptop, PC of NAS en om het verlies van die foto's te voorkomen, daarna eventueel met hulp van een backup tooltje in een versleutelde backup file in de cloud op te bergen. Alleen dan heb je een redelijke kans dat je niet door dit soort willekeur gepakt wordt.

En ja, dat hebben de professionele misbruikers vast ook allang bedacht, waardoor dit soort inbreuk op de privacy door big-tech, hoe terecht de intenties misschien ook kunnen zijn - kindermisbruik is echt wel giga probleem, eigenlijk al compleet kansloos is.
23-08-2022, 12:02 door Anoniem
Het probleem hierbij is dat AI jou als schuldig bestempeld heeft...
En je dus moet bewijzen dat je onschuldig bent...
Dat is in strijd met ook de aftandse wetgeving in de VS...
Gelijk dat EFF hier over begint maar ze steken het verkeerd in.

Zoals een interviewer van Snowden ooit zij, jij vertelt wel allemaal leuk dingen enzo, maar het doorsnee publiek snap dat gewoon niet... Je moet gewoon dingen zeggen als 'jouw dickpicks liggen op straat'... ipv via programma x van divisie y op lokatie z via glasvezeltap q van bedrijf G ligt een rechtstreeks lijntje naar de NSA..
Nee, gewoon 'jouw dickpicks liggen op straat'... of 'jouw badpakfoto's liggen onder gekwijld te worden door NSA-ers.'..

Het gewone volk is te dom is er niet mee bezig om dit te snappen.

In dit geval dus niet 'AI maakt veel fouten en controle is brak'....
Nee..

Google bezorgd bezorgde ouders illegaal de status pedofiel en KPron materiaal maker.
Dat de politie je vrijspreekt wil niet zeggen dat je ooit nog onschuldig bent.... je bent voor de rest van je leven schuldig...
dat je wat E-Mails kwijt bent, daar ga je niet dood van. Maar dat je nergens meer een baan kunt krijgen, geen hypotheek, leaseauto enz... daar ga je wel dood aan.
23-08-2022, 12:36 door Anoniem
We hebben net nog geen Internet Kammer.
Misschien even verder kijken dan het westen, er is wereldwijd best wel e.e.a. aan politieke censuur gaande, waar de Google's, Apple's en peers omheen proberen te manoeuvreren.

Krijg jij bijvoorbeeld nog alle videocontent van RT ..? Of moet je het doen met wat NU.nl citeert als false flag?
https://www.nu.nl/spanningen-oekraine/6219171/defensie-expert-ko-colijn-over-false-flags-in-de-oekraineoorlog.html
23-08-2022, 12:55 door Anoniem
Ook geeft het belang aan van niet delen wat je niet met de hele wereld en de gootsteen wilt delen.
23-08-2022, 13:18 door Anoniem
Dit maakt het algoritme van Google in één klap waardeloos.
Als het dat al niet was.
Criminelen en andere misbruikers zullen de diensten van Google niet gebruiken en de brave burgers die niets te verbergen hebben zullen nu inzien dat privacy van levensbelang is.
Bescherm je privéleven en je gegevens zoveel als mogelijk tegen criminelen en tegen de techbedrijven.
23-08-2022, 14:02 door Briolet
Door Anoniem: Het probleem hierbij is dat AI jou als schuldig bestempeld heeft...
En je dus moet bewijzen dat je onschuldig bent....

Het probleem is niet de AI omdat Google ook wel weet dat AI niet feilloos werkt.

Het probleem zit hem in de mensen die de uiteindelijke controle doen. Die zijn overbelast en waarschijnlijk niet goed opgeleid. Ze krijgen niet de tijd om een gedegen onderzoek te doen naar de context van de gevonden foto. Bij de foto die de aanleiding is van deze discussie gaat het nu juist om de context die bepaald of het kindermisbruik is of juist niet.
23-08-2022, 14:24 door Anoniem
Het handige van een AI is natuurlijk dat die zelfstandig beslissingen kan nemen en handelen, maar geen rechtspersoon is. Dus niet aansprakelijk, niet vervolgbaar und wir haben es nicht gewusst.

Handig en zeker als je al zoveel mega boetes voor je kiezen hebt gehad, zeker het proberen waard.
23-08-2022, 15:13 door Anoniem
Burgers (gebruikers) kunnen het tij keren,
door het niet meer aan te schaffen of te gebruiken.

Techbedrijven en Overheden veranderen pas mee
als de burgers "de samenleving" het niet meer wilt.

Jonge generaties programmeurs kunnen het tij keren.
Ervaren programmeurs kunnen het tij keren.

Programmeurs willen straks niet meer werken
voor organisaties die onze privacy en vrijheden
verder aantasten,en zullen alternatieven bedrijven komen
die anders zullen programmeren,en die zijn in opmars

The Matrix
23-08-2022, 17:05 door Anoniem
Door Anoniem:
Door bart_hGn4mQe: Dat het algoritme af en toe (ok, nog best vaak) een fout maakt zou niet zo'n probleem zijn als die bedrijven zelf er niet zulke zwaarwegende conclusies aan zouden verbinden. Dat iemand vrijgesproken wordt door de politie en alsnog alles kwijtraakt omdat Google een muur is die je nooit met argumenten kunt overtuigen is wat mij betreft een groter probleem dan het feit dat er wat data van achteraf gezien onschuldige mensen naar de politie gaat voor onderzoek.

Dat je algoritme niet 100% goed werkt zou een stuk minder erg zijn als je een goed proces hebt om met false-positives om te gaan.

Dat algoritme slaat helemaal nergens op. Daarnaast je zou maar een viespeuk hebben die daar die foto’s bekijkt en er zelf foto’s van maakt. Foto’s van jouw kinderen.

Waarom slaat dat algorithme nergens op? Het heeft toch een foto van het geslachtsdeel van een jonge jongen als
zodanig herkend en alarm geslagen? Dat is gewoon het doel van het algorithme en dat heeft goed gewerkt.

Waar het fout is gegaan dat is dat het algorithme het doel van de foto niet meeneemt en dit wel had moeten gebeuren
tijdens de verdere verwerking van het alarm. Er is kennelijk niet onderzocht of de foto van het kind van de maker is
en met welk doel die gemaakt is. Als dat wel gebeurd was dan was het allemaal 100% OK wat hier gebeurd is.

Daarnaast vind ik:

vermoedt de EFF dat mogelijk honderden tot duizenden andere gebruikers ook slachtoffer van Googles algoritme zijn geworden
(uit het artikel) ook niet bepaald sterk want er zijn toch verder geen meldingen van vergelijkbare situaties geweest?
Hoe kan EFF nou berekenen hoe vaak het fout gaat als die fouten niet (op zijn minst bij hen) gemeld zijn?
Maar dat doet EFF wel vaker, een beetje wild speculeren en extrapoleren zonder daadwerkelijke basis.
23-08-2022, 22:05 door Anoniem
En terecht! Tijdens die corona ellende werd mij ook verzocht een foto te maken van mijn kind om een huiduitslag bij de geslachtsdelen vast te stellen door de huisarts.

Ik heb even gevraagd of betrokken huisarts wel helemaal lekker bij zijn hoofd was. Corona of niet, ik heb een bezoek aan de huisarts afgedwongen door er direct naar toe te rijden en gewoon naar binnen te lopen. Vervolgens heb ik precies het argument dat dit soort idiote acties valt onder verspreiden van kinderporno ondubbelzinnig duidelijk gemaakt aan betrokken huisarts.

Als ouder ben je ook gek, naïef, of zo dom als een achter end van een varken als je hier WEL medewerking aan verleend! En niet alleen om een algoritme maar ook zeker de IT systemen van de huisartsen liggen dagelijks onder vuur. Zo'n foto vind hoe dan ook zijn weg naar buiten en in de handen van zieke personen!
24-08-2022, 11:14 door Anoniem
Door Anoniem: En terecht! Tijdens die corona ellende werd mij ook verzocht een foto te maken van mijn kind om een huiduitslag bij de geslachtsdelen vast te stellen door de huisarts.

Ik heb even gevraagd of betrokken huisarts wel helemaal lekker bij zijn hoofd was. Corona of niet, ik heb een bezoek aan de huisarts afgedwongen door er direct naar toe te rijden en gewoon naar binnen te lopen. Vervolgens heb ik precies het argument dat dit soort idiote acties valt onder verspreiden van kinderporno ondubbelzinnig duidelijk gemaakt aan betrokken huisarts.

Als ouder ben je ook gek, naïef, of zo dom als een achter end van een varken als je hier WEL medewerking aan verleend! En niet alleen om een algoritme maar ook zeker de IT systemen van de huisartsen liggen dagelijks onder vuur. Zo'n foto vind hoe dan ook zijn weg naar buiten en in de handen van zieke personen!

Conclusie: Het internet is feitelijk onveilig en onbruikbaar?
Reageren

Deze posting is gelocked. Reageren is niet meer mogelijk.