image

Ideaal spamfilter kent spammers en vrienden

zaterdag 21 februari 2004, 10:24 door Redactie, 3 reacties

Twee Amerikaanse onderzoekers hebben een eenvoudig en makkelijk te implementeren methode voor het bestrijden van spam ontdekt. De techniek gebruikt de structuur van sociale netwerken om te bepalen of een bepaald bericht van een vriend of spammer afkomstig is. Deze methode werkt alleen voor de helft van alle ontvangen e-mails, maar in die gevallen weet het systeem wel de mail in de juiste categorieen te sorteren. Het systeem omzeilt een aantal problemen waar de meeste spamfilters vandaag de dag mee te maken hebben. Het is snel, eenvoudig en lijkt nooit legitieme berichten voor spam aan te zien. Is het ideale spamfilter dan eindelijk gearriveerd? Dit artikel gaat dieper op de uitvinding van P. Oscar Boykin en Vwani Roychowdhury in.

Reacties (3)
21-02-2004, 13:36 door Anoniem
Lijkt nooit legitieme berichten voor spam aan te zien.
Lijkt, het systeem kan niet met bcc berichten overweg omdat
er dan vaak geen ligitieme ontvangers in lijken te staan.
Tot zover deze ideale spamfilter.
21-02-2004, 13:43 door Anoniem
Valt nog bij op te merken dat er nog onderzocht moet worden
welke filter eerst moet worden toegepast. Indien het de
bedoeling is dat eerst deze nieuwe filter op de mail wordt
losgelaten en vervolgens de welbekende, dat er een probleem
ontstaat waar er dan gefilterd moet worden. Ik kan mij
voorstellen dat niet veel mensen blij zijn dat ze hun
adresboek op een server van de isp moeten onderhouden of
anders de hele filtering voor eigen rekening moeten gaan nemen.
23-02-2004, 13:13 door Anoniem
Je kan spammers er niet uithalen met deze methode, omdat spammers altijd
verschillende 'joe' from adressen gebruiken. Dit betekend dat alle mail die niet
eerder gezien is, automatisch in de spam-categorie terecht komt, ook al zit je
er wel op te wachten (of het word gecatalogiseerd als 'might be spam').

Het enige verschil tusen deze methode, en het normale white-listing, is dat
het niet alleen gebruik maakt van jouw white-list, maar ook die van je
vrienden. Zie het maar als een friendster/orkut variant op spam-filtering.

Je hoeft je adressboek niet te uploaden, omdat ie gewoon gebruik maakt
van eerdere mail die verstuurd is. Als je vaak mail krijgt van een persoon,
wordt deze persoon automatisch opgenomen in jouw 'social network'.
Dit natuurlijk alleen als deze persoon ook wel eens mail stuurd naar andere
vrienden, zodat de engine weet dat ie ook werkelijk deel is van jouw netwerk,
en weet dat er een relatie is tussen verstuurder en ontvanger.

Er is trouwens een manier die spammers kunnen gebruiken om deze
methode te verslaan:

Als spammers hun spam-runs op elkaar afstemmen, door dezelfde
adresslijst te gebruiken, en dezelfde manier om te bepalen naar welke
adressen een message gaat, dan creeren ze hiermee zelf een mini-sociaal
netwerk. In hun sociale netwerk zit jij dan altijd gelinkt met pietje@provider1,
en jantje@provider2, etc. Het lijkt dan voor het systeem dat jij onderdeel
bent van dat sociale netwerk, en de spam komt er keurig doorheen (het wordt
zelfs ge-white-listed !). Hier hoeven providers zelfs niet eens voor samen te
werken. Een enkele spammer kan dit doen. Dit is vergelijkbaar met het
opzetten van een linkfarm, om meer credabiliteit te krijgen (wordt gebruikt
tegen google's sort algorithme).

Om dit tegen te gaan, zou je echt zelf een methode moeten hebben om te
communiceren met je spam-rules, om te zeggen dat een adress geen deel
uitmaakt van je kennisen-group. (Nee Pietje, Klaas is geen vriend van me.
sterker nog: ik heb hem nog nooit eerder gezien).

Het hele onderzoek staat trouwens op:
http://www.arxiv.org/abs/cond-mat/0402143

Dit systeem kan trouwens wel dienen als EXTRA rule voor een rule based
system, zoals Spam-assassin.

IMHO is de beste manier om spam te verslaan een combinatie van factoren,
waaronder legale actie, duurder maken om spam te versturen, betere spam-
filers, whitelist-systemen, betere voorlichting, etc, etc.

Op een gegeven moment hebben we dan hopelijk de situatie dat er
nauwelijks meer opdrachtgevers zijn die het aandurven, die bovendien
zoveel moeten betalen om zo weinig orders binnen te krijgen, dat het meer
lonend is om een normale advertentie te zetten.

Ik ben alleen bang dat spam nooit helemaal zal verdwijnen, omdat anti-spam
methoden altijd een stapje voor blijven op de tegenmaatregelen, net zoals
er altijd eens in de zoveel tijd een virus opduikt dat resistent is tegen alles
wat we ertegen kunnen gooien.

Vergelijk het met methoden tegen het HIV-virus (of gewoon griep! ):

Er is geen killer-medicijn tegen een virus dat snel evalueerd. Het enige
wat enig effect heeft, is een cocktail van medicijnen. Alleen een virus dat
ze allemaal kan omzeilen kan overleven, maar dit is niet iets wat makkelijk
veel voorkomt.


=tifkap
Reageren

Deze posting is gelocked. Reageren is niet meer mogelijk.