Het Duitse testlab AV-Test publiceerde onlangs de resultaten van een anti-virustest waarbij Windows Defender twee van de 5680 gebruikte malware-exemplaren miste. Hierdoor haalde de virusscanner die standaard in Windows 10 zit ingebouwd niet de maximale score voor de detectie van malware.

Aanleiding voor Microsoft om een uitleg te geven (pdf). Bij de detectie van malware werd gekeken naar 196 "zero-day" malware-exemplaren en bijna 5500 malware-exemplaren die in de laatste vier weken voor de test werden ontdekt. Zero-day malware is in de definitie van AV-Test onbekende, nieuwe malware. Op dit onderdeel miste Windows Defender de twee malware-exemplaren.

Het eerste exemplaar werd door Windows Defender gedetecteerd, maar door een bug die zich in bepaalde gevallen kon voordoen werd de malware niet volledig verwijderd. Het gedrag van de tweede malware werd niet als kwaadaardig beschouwd. Microsoft zegt de bug te hebben verholpen en heeft nieuwe gedragstriggers toegevoegd om malware zoals het tweede exemplaar te detecteren.

Naast de detectie van malware werd Windows Defender ook getest op 'false positives'. In deze gevallen beschouwt de virusscanner schone software als malware of schone websites als besmet. Windows Defender ging in totaal bij zeven schone bestanden de fout in. Al deze bestanden waren niet gesigneerd door de ontwikkelaar en drie ervan waren in maart en april niet bij Windows Defender-gebruikers waargenomen. Twee van de bestanden zijn daadwerkelijk bij zakelijke Windows Defender-gebruikers geblokkeerd. Het ging in totaal om twaalf machines.

Volgens Microsoft hoeft het verkeerd classificeren tijdens een synthetische test niet meteen te duiden op missers in echte scenario's. "We hebben gevallen zien waarbij een klant een schoon programma via de website van de leverancier downloadde. Wanneer een tester echter het bestand een willekeurige naam geeft, het mark of the web verwijdert en het bestand niet downloadt van de website van de leverancier, kunnen onze agressievere machinelearningmodellen bestanden blokkeren dat in het echt niet zou gebeuren", aldus Microsoft.