In een onderzoek dat is uitgevoerd door een internationaal onderzoeksbureau in opdracht van meerdere consumentenorganisaties, waaronder de Nederlandse en Belgische Consumentenbond, komt het Duitse G Data als beste uit de bus. "G Data is het beste pakket en een van de goedkoopste bovendien," zo luidt de conclusie (leden only). De bond mag het onderzoek dan zelf niet hebben uitgevoerd, de kritiek op het testveld is er niet minder om. "Lachwekkend" is de omschrijving van zeven suites die zoveel malware doorlaten dat het eigenlijk geen beveiligingssoftware meer is.

Met name CA en Microsoft moeten het ontgelden en zijn volgens de onderzoekers "zo lek als een mandje." CA liet 30% van alle Trojaanse paarden door en maar liefst 70% van alle bootvirussen. Microsoft onderschepte minder dan een op de tien macrovirussen. Dat de softwaregigant hierop wordt afgerekend is toch wel bijzonder, zo vaak komen macrovirussen niet meer voor. Ook Kaspersky krijgt ervan langs omdat de firewallbescherming standaard op 'laag' staat en, net als Norton, geen perodieke malwarescan heeft ingepland. Avira krijgt het verwijt geen virussen te scannen die ingepakt zijn. "Al deze zaken zijn aan te passen, maar daar moet je als gebruiker dan maar wel opkomen."

Na G Data scoren Bitdefender en F-Secure het beste, gevolgd door Kaspersky, Avira en Symantec's Norton. Panda, Trend Micro, Microsoft en CA staan helemaal onderaan.

Welke waarde?

De totale testset bestond uit onder meer 543 Trojaanse paarden, 21 rootkits, 346 wormen, 48 macrovirussen, 124 bestandsvirussen, 40 bootvirussen en 35 stuks spyware. In totaal ruim 1709 stuks malware, waarvan 15 nieuwe virussen. Security.NL nam contact op met de Consumentenbond om te vragen wie de test heeft uitgevoerd, maar daar wil het geen antwoord op geven.

Het willekeurig testen van anti-virus software is de industrie een doorn in het oog. Niet alleen wordt er vaak verkeerd getest, gebruikte methoden zijn ondoorzichtig. "Veelal komt het voor dat een tijdschrift een of andere test koopt en publiceert. Zo’n test kan dan een weg vinden naar verschillende magazines en zodoende een grote invloed hebben," zo liet Marius van Oers van McAfee ons onlangs weten. Het opzetten van een goede test is volgens de virusexpert niet eenvoudig. Niet alleen moeten er veel exemplaren aanwezig zijn, ook de kwaliteit speelt een rol. "Veelal is het lastig voor “buitenstaanders” om aan die voorwaarden te voldoen met een kleine, soms vervuilde, collectie test. Om dat tegen te gaan moet er getest worden met een set die representatief en goed is."

De AV-industrie is daarom met erkende testers zoals AV-Test en AV-Comparatives de Anti-Malware Testing Standards Organization (AMTSO) gestart. De organisatie gaat zich bezighouden met het opstellen van regels voor het testen van anti-virus software. Onlangs publiceerden we een artikel over de AMTSO, waarin ook het testen aan bod komt.

Righard Zwienenberg, Chief Research Officer bij Norman laat daarin weten: "Helaas baseren veel mensen zich op de paar goede tests die er zijn. Er zijn goede tests, zoals onder andere van Andreas Marx. Nadeel is alleen dat 20 bladen diezelfde test kopen en het over een tijdsspanne van 6 maanden publiceren, en bijna allemaal zeggen ze dat zij zelf hebben getest. Als je dan als anti-virusbedrijf een slippertje hebt gemaakt, en alle anti-virusbedrijven hebben dat van tijd tot tijd, word je daarvoor dus heel lang gestraft. En voor de publieke opinie lijkt het dus dat een product al langere tijd slechts is door de verschillende tijden van publicatie."