De test van de makers van Hitman Pro waaruit blijkt dat 32% van de computers met een virusscanner toch geïnfecteerd is, is nooit aangemeld bij de AMTSO, toch doet dat volgens Mark Loman, bedenker van Hitman Pro en CEO van SurfRight, niets aan de resultaten af. Ruim 100.000 systemen waarop al anti-virus software aanwezig was, werden als "second opinion" met Hitman Pro gescand. Daaruit blijkt dat een derde van de machines toch besmet is geraakt. SurfRight liet weten dat het de test aan AMTSO had voorgelegd, maar dat die nog geen reactie had gegeven of er ook via de vereiste richtlijnen was gewerkt.

De Anti-Malware Testing Standards Organization (AMTSO) is bezig met het opstellen van regels waar tests van virusscanners aan moeten voldoen. In het orgaan zijn zowel anti-virusbedrijven, alsmede testers en academici betrokken. Dit moet tot betere tests leiden. Security.nl ontving een e-mail van AMTSO waarin de organisatie laat weten dat het geen test en/of testmethode van SurfRight heeft ontvangen. Daarnaast heeft AMTSO nog geen procedures voor het valideren van een test voordat die is uitgevoerd. Ook een mechanisme voor proactieve validatie ontbreekt nog. "De huidige AMTSO richtlijnen zijn meer dan alleen een methodologie en dus is het mogelijk dat een test een kloppende methodologie heeft, maar dat die voor andere redenen niet aan de AMTSO richtlijnen voldoet." Toch is de organisatie blij dat bedrijven en testers hun testen via de AMTSO richtlijnen willen verbeteren.

Intentie
We vroegen Loman om een reactie, die laat weten dat het nooit de intentie van SurfRight is geweest om te doen alsof de test door de AMTSO organisatie gecertificeerd is. Het bedrijf is ook geen lid van AMTSO. "De methode die wij hanteren voldoet volgens ons echter helemaal aan de richtlijnen zoals beschreven in "AMTSO Best Practices for Dynamic Testing", merkt Loman op. In het rapport staat alleen beschreven dat het conform de best practices for dynamic testing van de AMTSO is uitgevoerd. "Juist omdat we niet met 'platte' virussen maar alleen met live infecties werken. Er is volgens ons ook niemand die dit rapport zou kunnen uitgeven, gewoon omdat niemand deze gegevens heeft - wij zijn een second opinion scanner met de breedst mogelijk kennisbank dus we zien alles."

Loman verwacht ook niet dat de AMTSO het rapport zal certificeren. "Dit omdat de AMTSO over teststandaarden gaat en wij aan de basis helemaal geen tests doen maar constateren. We hebben de AMTSO genoemd omdat we er juist wel aandacht aan hebben gegeven: het rapport zou aan een richtlijn kunnen voldoen en we hebben het dus als leidraad gebruikt. Als je de richtlijnen ook leest dan voldoet ons rapport er ook meer dan prima aan." Hij wijst ook naar de inhoud en omvang van de test. De gescande machines waren geïnfecteerd met actieve malware terwijl ze beschermd zijn door een AV product. Infecties die door tenminste twee anti-virusbedrijven waarmee SurfRight samenwerkt, bevestigd zijn. De testgroep bestaat uit ruim 100.000 computers, waardoor de test volgens Loman zowel aan kwantiteit als kwaliteit voldoet.

Onderscheid
"Volgens de AMTSO richtlijn moet er gelet worden dat de geteste virus samples daadwerkelijk functioneren. Ook moet de sample set divers zijn (verschillende typen malware) maar natuurlijk ook relevant en nieuw zijn. Aangezien Hitman Pro 3 schadelijke software aantreft op echte machines klopt ons rapport: er is werkende malware aangetroffen (heeft slachtoffers gemaakt) en zijn al dan niet nog actief aanwezig (functionaliteit). Ook zijn over de 100.000 systemen enorm veel verschillende bedreigingen gevonden waardoor het rapport ook aan het diversiteitscriteria voldoet. De bedreigingen zijn op systemen aangetroffen waarop al een AV product aanwezig was waardoor de ontdekkingen relevant en vaak zero-day zijn (ze zijn niet opgemerkt door het reeds aanwezige AV product) (freshness)."

De bevlogen virusbestrijder erkent dat in tegenstelling tot laboratorium-omgevingen, elke door Hitman Pro gescande PC anders is, iets wat ook in het rapport zelf wordt aangegeven. "Echter, omdat we juist geen onderscheid maken is in principe de omgeving van alle 100.000+ gescande computers hetzelfde: het AV product moet ervoor zorgen dat de PC schoon blijft, ongeacht software updates, programmaversies en gebruikerstypen." Loman besluit door duidelijk te maken dat SurfRight geen virusscanners test, iets waar de AMTSO juist voor is opgezet. "Daar was het rapport ook niet om te doen en daarom hebben we besloten er momenteel ook geen productnamen in te noemen." Wat het bedrijf wel met het rapport wilde bereiken is te onderzoeken welke virusscanners op besmette systemen gebruikt worden en hoe die toch besmet zijn geraakt.