Nieuws
image

Trainingsdata ChatGPT door middel van eenvoudige aanval te achterhalen

vrijdag 1 december 2023, 14:50 door Redactie, 4 reacties

Onderzoekers hebben een manier gevonden om trainingsdata van ChatGPT op een eenvoudige manier te achterhalen, waaronder e-mailadressen en telefoonnummers. Hiervoor lieten de onderzoekers van Google DeepMind en verschillende universiteiten de chatbot een bepaald woord een oneindig keer herhalen, waarbij er opeens ook trainingsdata als antwoord werd gegeven.

"De kwetsbaarheid is dat ChatGPT een groot deel van de trainingsdata onthoudt, misschien omdat het overtraind is of voor een andere reden", zo stellen de onderzoekers in een rapport. De aanval zorgt ervoor dat het onderliggende model afwijkt en zijn trainingsdata prijsgeeft. De onderzoekers denken dat het mogelijk is om op deze manier wel een gigabyte aan trainingsdata te achterhalen.

Data gebruikt voor het trainen van ChatGPT is afkomstig van het openbare internet, maar de trainingsdata zelf is niet openbaar. "Hoe gevoeliger of origineler je data is, hoe belangrijker je extractie van trainingsdata vindt", aldus de onderzoekers. Die waarschuwden OpenAI op 30 augustus van dit jaar en gaven de chatbot-ontwikkelaar negentig dagen de tijd om het probleem te verhelpen voordat het openbaar zou worden gemaakt. De specifieke aanval mag dan zijn verholpen, de onderliggende kwetsbaarheid niet, zo waarschuwen de onderzoekers.

Image

Reacties (4)
Reageer met quote
01-12-2023, 15:56 door Anoniem
LOL, ja dat is ook een kwetsbaarheid.

Gelukkig is dit allemaal openbare informatie, toch? :/
Reageer met quote
01-12-2023, 22:08 door Anoniem
AI bestaat dan ook niet. Het is eerder CAI oftewel Controlled AI. Het leert wat het gevoerd krijgt. En als AI al 'zelf' zou leren, dan zou de controlerende mens al snel door de mand vallen.
Reageer met quote
02-12-2023, 12:25 door Anoniem
Door Anoniem: AI bestaat dan ook niet. Het is eerder CAI oftewel Controlled AI. Het leert wat het gevoerd krijgt. En als AI al 'zelf' zou leren, dan zou de controlerende mens al snel door de mand vallen.
Het onderzoeksveld wordt ook AI genoemd, en large language models als GPT zijn vertonen zeker geen echte intelligentie maar kunnen wel een belangrijke component gaan worden van eventuele toekomstige systemen die wel echt intelligent zijn. Men heeft een manier gevonden om gewone mensentaal te representeren op een manier waar betekenisvolle dingen mee gedaan kunnen worden.

Wat zelf leren betreft is AlphaGo Zero interessant. Dat systeem begon met alleen kennis van de spelregels van Go en leerde het spel op steeds hoger niveau te spelen, uitsluitend door tegen zichzelf te spelen. Het is dus niet gevoerd met door mensen gespeelde spellen om van te leren. Het had slechts enkele dagen nodig om het niveau van de beste menselijke spelers te overtreffen. Dat was in 2017.

Is de term "Controlled AI" er een die je zelf hebt bedacht? Als ik ernaar zoek blijkt de afkorting CAI in relatie tot kunstmatige intelligentie te staan voor Computer Assisted Instruction.
Reageer met quote
03-12-2023, 18:08 door Anoniem
De bescherming van de mens zou hierbij wel absoluut prioriteit moeten krijgen, maar gebeurt dat wel voldoende?

Bits of Freedom maakt zich hier sterk voor.

AI kan een zegen zijn, maar ook veranderen in een vloek.
Net als een overheid voor of tegen haar onderdanen werkt.

Wat wordt het? Iemand?
Reageren
Ondersteunde bbcodes
Bold: [b]bold text[/b]
Italic: [i]italic text[/i]
Underline: [u]underlined text[/u]
Quote: [quote]quoted text[/quote]
URL: [url]https://www.security.nl[/url]
Config: [config]config text[/config]
Code: [code]code text[/code]

Je bent niet en reageert "Anoniem". Dit betekent dat Security.NL geen accountgegevens (e-mailadres en alias) opslaat voor deze reactie. Je reactie wordt niet direct geplaatst maar eerst gemodereerd. Als je nog geen account hebt kun je hier direct een account aanmaken. Wanneer je Anoniem reageert moet je altijd een captchacode opgeven.

Zoeken
search