image

Ultiem spamfilter stopt 99,89% alle spam

dinsdag 1 december 2009, 11:11 door Redactie, 11 reacties

Een gecombineerd spamfilter van meerdere aanbieders weet 99,89% van alle spam te stoppen, wat volgens Virus Bulletin aantoont dat spambestrijders beter moeten samenwerken. Het testorgaan controleert al enige tijd spamfilters en wilde eens weten of het draaien van meerdere spamfilters tot een beter resultaat leidt. Daarvoor stuurde het 200.000 e-mails naar 14 verschillende filteraars, die de berichten als spam of ham classificeerden. Geen enkele legitieme e-mail (ham) werd door meer dan vier producten geblokkeerd. Na de test bedacht Virus Bulletin een hypothetisch spamfilter dat e-mail pas als spam beoordeelde als tenminste vijf van de veertien producten dit deden. In tegenstelling tot de losse spamfilters, sloeg het hypothetisch filter geen één keer vals alarm. Naast de 0% false positives, wist het 99,89% van alle spam te blokkeren. Meer dan de filters los van elkaar kunnen stoppen.

Volgens "Anti-Spam Test Director" Martijn Grooten, laat dit zien dat als het filteren van spam belangrijk is, het gebruik van meerdere spamfilters een goede optie kan zijn. "De anti-spam industrie moet daarnaast de voordelen van samenwerken en het delen van informatie overwegen, en zou daardoor beter in staat zijn om onze inboxen te beschermen." Uit de test van november blijkt dat alle producten boven de 97% filteren, maar met dagelijks miljarden spamberichten, kan zelfs een zeer klein percentage een groot verschil maken.

Reacties (11)
01-12-2009, 11:24 door Chip Zero
Die 99.89% is dus totaal niet boeiend. De gecombineerde spamfilter die ik nu gebruik haalt ook zeker >97%. Die van GMail ook. Die 0% false positives, die is interessant. Dat is wat spam zo frustrerend maakt: legitieme mails verdrinken in spamboxen.
01-12-2009, 12:06 door Anoniem
Ik gebruik zelf greylisting, anti-spam features van postfix (zoals o.a. rfc-conformance forceren, throttlen van verbindingen) en real-time blacklists en dit houd al 99% en meer van alle spam tegen (zonder false positives). Daarna doen amavis (en SpamAssassin) de rest.

Dus nee, het is niet boeiend. Spam stoppen is geen rocket science. :)
01-12-2009, 14:35 door Anoniem
Ik gebruik GMail sinds 2004. Helemaal in het begin was het Spam filter nog niet zo goed als nu. De laatste 3 jaar heb ik ongeveer 5 mailtjes gehad welke false positive zijn en 10-15 die ik zelf nog als Spam moest classificeren.

En dan heb ik tijden gehad dat ik er 500 per dag kreeg, de laatste tijd ben ik niet ontevreden met 8-12 Spam mails per dag :)
01-12-2009, 15:19 door Anoniem
geen false positives, das interesant.
maar dan wil ik wel weten
zaten hier ook nieuwsbrieven, mail van forums en andere sites/diensten
soms stuur ik een url naar mezelf om later (thuis) te kunnen kijken.
ook die mag niet tussen de spam belanden.
01-12-2009, 16:14 door Anoniem
Mijn spam filter haalt 99.7% zonder gebruik te maken van DNSBL's of SMTP-level checks.

Ik ben het eens met Chip Zero over het belang van false positives. Je kunt nog zo'n hoge detectiegraad hebben, als je dan nog handmatig moet gaan controleren, gaat er iets niet goed.

@Anoniem 12:06: Beweren dat er geen false positives zijn doet mij denken aan peuters die denken dat je ze niet kan zien als ze zelf een zakdoek over het hoofd hebben. Connecties weigeren, RFC starheid en DNSBL's zorgen 100% zeker voor false positives.

@Anoniem 14:35: Gmail geeft relatief veel false positives als je over spam berichten praat. Het zal ongetwijfeld een stuk minder false positives opleveren in normale mail.
01-12-2009, 19:48 door spatieman
fijn.
toch blijf ik bij mailwasher, lekker tweakbare filters voor ieder soort shit.
02-12-2009, 21:12 door Anoniem
Door Anoniem: Ik gebruik zelf greylisting, anti-spam features van postfix (zoals o.a. rfc-conformance forceren, throttlen van verbindingen) en real-time blacklists en dit houd al 99% en meer van alle spam tegen (zonder false positives). Daarna doen amavis (en SpamAssassin) de rest.

Dus nee, het is niet boeiend. Spam stoppen is geen rocket science. :)

Goede config, helemaal toppie inderdaad. Zouden er meer moeten doen. Met vrijwel hetzelfde op zeer grote schaalgrootte ook dezelfde ervaring. Maar ja, allemaal open source, dat blijft toch een taboe, niewaar?
03-12-2009, 07:35 door toor
Door Anoniem: Ik gebruik zelf greylisting, anti-spam features van postfix (zoals o.a. rfc-conformance forceren, throttlen van verbindingen) en real-time blacklists en dit houd al 99% en meer van alle spam tegen (zonder false positives). Daarna doen amavis (en SpamAssassin) de rest.

Dus nee, het is niet boeiend. Spam stoppen is geen rocket science. :)

Het is tegenwoordig zeker geen rocketscience nee. Maar... Je kan er op wachten tot spammers ook uitgaande mail gaan queuen, en dan werk greylisting niet meer. DNSBL zal nog lang blijven werken, maar eingelijk moet dat hele SMTP protocol op de schop natuurlijk.

En gmail is natuurlijk geen optie. Dat google erg goed spam filtert heeft enigsinds met de kern van dit verhaal te maken (grote volumes mail stelt je in staat om nauwkeuriger te filteren) - maar ik geef mijn mail liever niet aan een derde partij zeg.
03-12-2009, 16:21 door Anoniem
Jammer dat ze het enige echte pro-aktieve product IronPort niet hebben getest!
07-12-2009, 14:54 door Anoniem
Door Anoniem: Ik gebruik zelf greylisting, anti-spam features van postfix (zoals o.a. rfc-conformance forceren, throttlen van verbindingen) en real-time blacklists en dit houd al 99% en meer van alle spam tegen (zonder false positives). Daarna doen amavis (en SpamAssassin) de rest.

Dus nee, het is niet boeiend. Spam stoppen is geen rocket science. :)

Greylisting werkt al niet meer. (botnets lopen net zolang te rammen op smtp-servers tot ze een ok krijgen, ongeacht wat je ze verteld.
Ik gebruik zelf fail2ban om botnet systemen die op de pbl staan, en desondanks niet begrijpen dat nee nee is, in de fw de duwen.

En hoe weet je dat er geen false positives tussen zitten als je ze blocked?
08-12-2009, 13:13 door Anoniem
Door Anoniem:
Greylisting werkt al niet meer. (botnets lopen net zolang te rammen op smtp-servers tot ze een ok krijgen, ongeacht wat je ze verteld.
Ik gebruik zelf fail2ban om botnet systemen die op de pbl staan, en desondanks niet begrijpen dat nee nee is, in de fw de duwen.

En hoe weet je dat er geen false positives tussen zitten als je ze blocked?

Greylisting werkt wel. Omdat veel van de spammers nog steeds via proxies spamt, en die retryen gewoon niet. Als ik mijn logs bekijk (en de inhoud van mijn greylisting-tuple database), zie ik 99% van alle bots die connecten niet meer terugkomt. Hoe weet ik dat het bots zijn? Omdat het heel vaak dial-up hosts zijn (en dat is makkelijk te zien aan de FDQNs die verbinden, want er staat iets van pool, adsl, ppp of dyn(amic) in de hostname).
Reageren

Deze posting is gelocked. Reageren is niet meer mogelijk.