image

Test: 21 virusscanners voor Windows 10 vergeleken

woensdag 25 september 2019, 17:28 door Redactie, 10 reacties

Het Duitse testlab AV-Test heeft 21 virusscanners voor Windows 10 vergeleken en maar liefst elf pakketten werden tot "Top Product" uitgeroepen, waaronder de gratis oplossingen van Avast en Microsoft. De test richtte zich op beveiligingssoftware voor eindgebruikers.

De antiviruspakketten werden beoordeeld op de detectie van malware, prestaties en bruikbaarheid. Voor de drie onderdelen konden de pakketten bij elkaar 18 punten verdienen. Bij de detectie van malware werd gekeken naar 368 "zero-day" malware-exemplaren en 13.500 malware-exemplaren die in de laatste vier weken voor de test werden ontdekt.

Voor de detectie van de zero-day malware, wat in de definitie van AV-Test onbekende, nieuwe malware is, werd er een gemiddelde score van 98,9 procent gehaald. De test met de 13.500 malware-exemplaren leverde een gemiddelde detectiescore van 100 procent op. Slechts vijf scanners, Comodo, Kaspersky, Microsoft Windows Defender, Symantec en Trend Micro, scoren op beide onderdelen 100 procent. Malwarebytes en Protected.net zetten op dit onderdeel de laagste score neer.

Bij het tweede onderdeel, de prestaties, werd naar zaken als het bezoeken van websites, downloaden van bestanden, installeren en draaien van software en het kopiëren van bestanden gekeken en welke invloed de pakketten hierop hadden. Negen van de twintig pakketten scoren de maximale 6 punten. Protected.net eindigt met 4 punten onderaan.

Tijdens het laatste onderdeel van de test, de bruikbaarheid, kwamen de 'false positives' aan bod. In deze gevallen beschouwt de virusscanner schone software als malware of schone websites als besmet. Iets wat als het bijvoorbeeld om systeembestanden gaat vervelende gevolgen kan hebben. Tien van de twintig pakketten halen op dit onderdeel de maximale 6 punten. PC Matic is met 3 punten hekkensluiter.

Uiteindelijk weten Kaspersky, McAfee en Symantec de maximale 18 punten te scoren, gevolgd door acht producten met 17,5 punten. Virusscanners met 17,5 of 18 punten worden door AV-Test als Top Product bestempeld. Het gaat onder andere om de gratis oplossingen van Avast en Microsoft. Microsofts Windows Defender zit daarbij standaard ingebouwd in Windows 10. Malwarebytes en Protected.net eindigen met elk 14 punten onderaan.

Image

Reacties (10)
25-09-2019, 18:00 door Bitwiper
Voor de detectie van de zero-day malware, wat in de definitie van AV-Test onbekende, nieuwe malware is, werd er een gemiddelde score van 98,9 procent gehaald.
Is er iemand die dit soort (vermoedelijk gesponsorde) leugens serieus neemt?

Voorbeeld, uit https://isc.sans.edu/forums/diary/Agent+Tesla+Trojan+Abusing+Corporate+Email+Accounts/25336/:
Agent Tesla Trojan Abusing Corporate Email Accounts
Door Xavier Mertens, Sep 19th 2019
[...]
I found a sample of Agent Tesla spread via a classic email campaign. The sample is delivered in an ACE archive called 'Parcel Frieght Details.pdf.ace' (SHA256:d990171e0227ea9458549037fdebe2f38668b1ccde0d02198eee00e6b20bf22a). You can spot the type error in the file name ('frieght' instead of 'freight'). The archive has a VT score of 8/57[2]. Inside the archive, there is a PE file with the same typo error: 'Parcel Frieght Details.pdf.exe' (SHA256:5881f0f7dac664c84a5ce6ffbe0ea84427de6eb936e6d8cb7e251d9a430cd42a). The PE file is unknown on VT when writing this diary.
[...]
[2] https://www.virustotal.com/gui/file/d990171e0227ea9458549037fdebe2f38668b1ccde0d02198eee00e6b20bf22a/detection
Die archive heeft momenteel een detectiescore van 25/57, maar de malwaremakers hebben die file ondertussen allang aangepast. De exe file wordt nu ook gedetecteerd met 33/67 (https://www.virustotal.com/gui/file/5881f0f7dac664c84a5ce6ffbe0ea84427de6eb936e6d8cb7e251d9a430cd42a/summary), maar ook exact die file wordt natuurlijk niet meer verspreid door de cybercriminelen.
25-09-2019, 18:03 door Anoniem
Lees ook eens het rapport van Gartner:
https://www.gartner.com/doc/reprints?id=1-1OCBC1P5&ct=190731&st=sb

Keer een andere visie op Endpoint Protection....
26-09-2019, 07:56 door Anoniem
Door Bitwiper:
Voor de detectie van de zero-day malware, wat in de definitie van AV-Test onbekende, nieuwe malware is, werd er een gemiddelde score van 98,9 procent gehaald.
Is er iemand die dit soort (vermoedelijk gesponsorde) leugens serieus neemt?

[...] Die archive heeft momenteel een detectiescore van 25/57, maar de malwaremakers hebben die file ondertussen allang aangepast. De exe file wordt nu ook gedetecteerd met 33/67 [...]
Kan je me duidelijk maken waar de leugen precies zit?

Je haalt aan dat er gemiddeld 98,9% van de in de test gebruikte zero-day malware herkend is. Kunnen die exemplaren die jij aanhaalt niet onder de 1,1% vallen die niet herkend wordt, of helemaal niet voorkomen in die 368 "zero day"-exemplaren die ze gebruikt hebben?

Dat je voorbeelden kan geven van malware die lang niet door alle scanners herkend wordt bewijst in mijn ogen niet dat AV-test liegt. Ze claimen namelijk helemaal niet dat 100% van de nieuwe malware herkend wordt, 98,9% is minder dan 100%.

Maar misschien mis ik iets. Kan je uitleggen waarom je voorbeelden een leugen aantonen?
26-09-2019, 08:01 door Bitje-scheef
Door Anoniem: Lees ook eens het rapport van Gartner:
https://www.gartner.com/doc/reprints?id=1-1OCBC1P5&ct=190731&st=sb

Keer een andere visie op Endpoint Protection....

Interessante link, met zeker goede conclusies.
26-09-2019, 08:07 door Bitje-scheef
Door Bitwiper: Is er iemand die dit soort (vermoedelijk gesponsorde) leugens serieus neemt?
Die archive heeft momenteel een detectiescore van 25/57, maar de malwaremakers hebben die file ondertussen allang aangepast. De exe file wordt nu ook gedetecteerd met 33/67 (https://www.virustotal.com/gui/file/5881f0f7dac664c84a5ce6ffbe0ea84427de6eb936e6d8cb7e251d9a430cd42a/summary), maar ook exact die file wordt natuurlijk niet meer verspreid door de cybercriminelen.

Dat is een hele gevaarlijke aanname, want niet ieder "vriendelijk persoon" is een schrijver van malware. Vele kopen namelijk een pakketje malware en gaan vervolgens aan de slag tot het echt niet meer werkt.
26-09-2019, 08:55 door Anoniem
Door Bitwiper:
I found a sample of Agent Tesla spread via a classic email campaign. The sample is delivered in an ACE archive called 'Parcel Frieght Details.pdf.ace'
Zijn er dan nog recente programma's die een ace-bestand kunnen openen?https://www.security.nl/posting/598654#posting598670
26-09-2019, 12:39 door Anoniem
Door Anoniem:
Door Bitwiper:
I found a sample of Agent Tesla spread via a classic email campaign. The sample is delivered in an ACE archive called 'Parcel Frieght Details.pdf.ace'
Zijn er dan nog recente programma's die een ace-bestand kunnen openen?https://www.security.nl/posting/598654#posting598670
WinRAR heeft het uitpakken van .ACE recent uit hun pakket gehaald... en nu neemt u aan dat niemand meer .ACE kan lezen?
Ik neem aan dat u dan met hetzelfde gemak aanneemt dat alle WinRAR en Winzip-gebruikers netjes voor hun software hebben betaald, en het altijd en direct up-to-date houden.
Alleen al het feit dat er schijnbaar virus-/malwaremakers zijn die nog brood zien in het gebruik van deze compressiemethode zou als een bevestiging gezien mogen worden.
26-09-2019, 14:53 door Bitwiper - Bijgewerkt: 26-09-2019, 15:11
Door Anoniem:
Door Bitwiper:
Voor de detectie van de zero-day malware, wat in de definitie van AV-Test onbekende, nieuwe malware is, werd er een gemiddelde score van 98,9 procent gehaald.
Is er iemand die dit soort (vermoedelijk gesponsorde) leugens serieus neemt?
Kan je me duidelijk maken waar de leugen precies zit?
Ja. Het is ONBESTAANBAAR dat zulke hoge scores worden gehaald bij malware op het moment dat jij die als bijlage in jouw mailbox ontvangt, downloadt via een link waar jij op klikt, die door reeds gestarte malware wordt gedownload, of die via een gehackte (of ronduit foute) website wordt gepushed (exploit) of die jij vrijwillig downloadt (nepmelding dat je Flash-player o.i.d. moet updaten, of cracks e.d.).

De reden daarvoor is simpel: cybercriminelen zijn niet gek. Zij weten dat als hun malware meteen door de meeste virusscanners wordt gedetecteerd, hun slachtofferaantal (en dus de winst) laag zal zijn. Daarom maken ze hun malware, telkens opnieuw (soms meerdere keren per dag), niet-detecteerbaar voor de meeste virusscanners voordat ze deze "loslaten".

Er zijn noob-cybercriminelen die virustotal.com gebruiken om te testen door hoeveel virusscanners hun malware wordt gedeteerteerd. Dat is stom, want virustotal deelt geüploade bestanden met alle antivirusboeren en andere onderzoekers (zie bijv. deze PDF file van IBM security: https://www.ibm.com/downloads/cas/O3W1LZAZ, bron: https://www.zdnet.com/article/hackers-looking-into-injecting-card-stealing-code-on-routers-rather-than-websites/).

Er zijn echter ook (betaalde) virustotal-achtige diensten van en voor cybercriminelen, die zeggen gegevens niet te zullen delen (of dat zo is, moet je maar afwachten). De wat meer vermogende malware-ontwikkelaars hebben ongetwijfeld zelf een stel computers en/of VM's draaien, elk met volledig up-to-date virusscanner.

Daar komt bij dat het ontwijken van detectie helemaal niet moeilijk is: het kwaadaardige deel wordt versleuteld en de sleutel wordt ergens in het bestand verstopt. Detectie kan dan op twee manieren:

1) De antivirus software moet de malware in een sandbox gaan uitvoeren om te detecteren of deze iets keaadaardigs gaat doen. Dit is een kat-en-muisspel: een virusscanner mag natuurlijk niet te lang doen over het scannen, dus dat kunnen de makers oprekken. Bovendien is het vaak mogelijk voor de malware, zodra deze in een sandbox wordt uitgevoerd, dat deze ontdekt dat zij niet "vrij" op de PC draait (maar in een sandbox of vm), en zich dan anders gedraagt. Antivirussoftware verliest deze race voortdurend (immers, de criminelen prutsen net zo lang tot er geen of weinig detectie meer plaatsvindt).

2) Iemand vertrouwt het niet en uploadt de malware naar virustotal of zijn antivirusboer. Ook komt het voor dat antivirussoftware verdachte bestanden (die nog niet als malware worden herkend) ongevraagd uploadt naar het antivirusbedrijf voor nader onderzoek (uitvoeren in speciale testomgevingen of handmatig onderzoeken). Nadat is vastgesteld dat het om malware gaat, worden er "definities" voor gemaakt (en soms is een engine-update nodig). Die definities moeten worden getest (ze mogen geen false positives opleveren op systeembestanden, want dat leidt tot boze klanten). Daarna duurt het nog enige tijd voordat jouw virusscanner is voorzien van die nieuwe definities, waarna dit specifieke exemplaar van deze malware zal worden herkend. Hier kan, afhankelijk van de antivirusboer en plaatselijke feestdagen, zomaar een werkdag overheen gaan (in mijn ervaring was Kaspersky vaak relatief snel, denk aan uren, en leek McAfee gesloten op zon- en feestdagen).

Zodra de malwaremakers zien dat te veel virusscanners (naar hun zin) hun versie detecteren, maken ze een nieuwe versie die weer niet of nauwelijks wordt gedetecteerd.

Door Anoniem: Je haalt aan dat er gemiddeld 98,9% van de in de test gebruikte zero-day malware herkend is. Kunnen die exemplaren die jij aanhaalt niet onder de 1,1% vallen die niet herkend wordt, of helemaal niet voorkomen in die 368 "zero day"-exemplaren die ze gebruikt hebben?
In theorie zou je gelijk kunnen hebben, maar nagenoeg alle verse malware die mijn collega's in het veld en ik analyseren, wordt aanvankelijk door enkele of geheel geen virusscanners herkend. En in nagenoeg alle gevallen zie je dat, als je de malware later (halve dag, hele dag, enkele dagen) aanbiedt aan virustotal, dat het aantal scanners toeneemt dat de malware herkent.

Ik heb hier vaak onderbouwing voor geleverd, Google naar: site:security.nl bitwiper virustotal
Voorbeeld: https://www.security.nl/posting/526658/Falen+van+AV+industrie.

Maar je hoeft mij niet te geloven; hou sites als https://isc.sans.edu/ en https://www.bleepingcomputer.com/ in de gaten; zodra daar een hash van verse malware wordt gepubliceerd, copy/paste je die hash naar https://www.virustotal.com/gui/home/search en herhaal dat een aantal keren met een halve of hele dag ertussen. Merk ook op dat sommige virusscanners (ook veelgebruikte zoals Symantec en Trend Micro) sommige malware-exemplaren NOOIT herkennen (dat is meestal niet zo erg; zodra veel scanners een exemplaar detecteren, zal dat vaak niet opnieuw worden ingezet - tenzij bij een targeted attack als de aanvaller weet dat jij net die virusscanner gebruikt).

Door Anoniem: Dat je voorbeelden kan geven van malware die lang niet door alle scanners herkend wordt bewijst in mijn ogen niet dat AV-test liegt. Ze claimen namelijk helemaal niet dat 100% van de nieuwe malware herkend wordt, 98,9% is minder dan 100%.
Sure, maar het is ook wel eens "gemiddeld 100%" geweest, zie https://www.security.nl/posting/525382/Test%3A+18+anti-viruspakketten+voor+Windows+10+vergeleken (en lees de onderste reactie daarop, en check enkele van de virustotal links voor detectie op dit moment van genoemde malware-exemplaren).

Door Anoniem: Maar misschien mis ik iets. Kan je uitleggen waarom je voorbeelden een leugen aantonen?
Ik hoop dat ik je heb overtuigd. Dit soort tests zijn alleen in het belang van makers en verkopers van antimalware-produkten, en zeker niet van hun klanten. Die klanten wordt namelijk de leugen opgedrongen dat een virusscanner voldoende beschermt (1,1% risico is wellicht verwaarloosbaar), ze geen aanvullende maatregelen hoeven te nemen en straffeloos overal op kunnen klikken.
27-09-2019, 00:49 door Anoniem
Door Anoniem:
Door Anoniem:
Door Bitwiper:
I found a sample of Agent Tesla spread via a classic email campaign. The sample is delivered in an ACE archive called 'Parcel Frieght Details.pdf.ace'
Zijn er dan nog recente programma's die een ace-bestand kunnen openen?https://www.security.nl/posting/598654#posting598670
WinRAR heeft het uitpakken van .ACE recent uit hun pakket gehaald... en nu neemt u aan dat niemand meer .ACE kan lezen?
Ik neem aan dat u dan met hetzelfde gemak aanneemt dat alle WinRAR en Winzip-gebruikers netjes voor hun software hebben betaald, en het altijd en direct up-to-date houden.
Alleen al het feit dat er schijnbaar virus-/malwaremakers zijn die nog brood zien in het gebruik van deze compressiemethode zou als een bevestiging gezien mogen worden.
Ik sprak over recente programma's. De nerds die zich in alle bochten wringen om met een oude versie van een Unpacker vanaf Filehippo oid toch noch ace bestanden willen openen en daardoor vatbaar zijn voor deze aanval houd ik imo terecht buiten de vergelijking.
27-09-2019, 20:44 door Bitwiper
Door Anoniem: De nerds die zich in alle bochten wringen om met een oude versie van een Unpacker vanaf Filehippo oid toch noch ace bestanden willen openen en daardoor vatbaar zijn voor deze aanval houd ik imo terecht buiten de vergelijking.
Agent Tesla is een RAT (Remote Access Tool). Meestal worden RATs gebruikt bij targeted attacks. Je bent als aanvaller wel heel stom bezig als je dan een bestandsformaat gebruikt dat de aangevallen organisatie of specifieke gebruiker niet kan openen (een beetje googlen onthult vaak veel interne details). Of het daarbij om "nerds" gaat, lijkt me irrelevant. De keuze voor zo'n oud formaat kan helemaal "verstandig" zijn, d.w.z. voor de aanvaller, als deze weet dat support voor zo'n oud formaat afneemt in virusscanners, helemaal als de aanvaller weet welke virusscanner(s) de organisatie inzet (er zijn malloten die dit onderaan elk mailtje aan de wereld menen te moeten laten weten).

Wellicht was mijn keuze voor één van de recente analyses op isc.sans.edu geen gelukkige, omdat deze keer toevallig het .ACE format werd gebruikt. Dat doet echter niets af aan mijn WEL ON-TOPIC constatering dat virusscanners veel minder goed presteren dan reclameboeren als AV-Test bij elkaar liegen (iets waar ik al meerdere keren steekhoudende argumenten voor heb aangedragen).

Ik stel het op prijs als de Anoniem wiens vraag ik uitgebreid beantwoord heb in mijn vorige bijdrage, het fatsoen heeft om daar alsnog een reactie op te geven.
Reageren

Deze posting is gelocked. Reageren is niet meer mogelijk.