Archief - De topics van lang geleden

Beveiligingssoftware tests misleiden consument

21-02-2007, 10:59 door Redactie, 18 reacties

De concurrentie in de beveiligingsbranche is moordend, zeker op het gebied van beveiligingssoftware, maar hoe zorg je nu dat de consument jouw software kiest en niet die van de concurrent? Een vraag waar menig aanbieder mee worstelt, want de doorsnee thuisgebruiker interesseert zich niet voor "heuristieke eigenschappen", "rootkit detectie" of "behavior blocking". De consument wil alleen weten welke scanner of suite de beste is, en dat kun je het makkelijkst laten zien via een cijfer.

Nu is er een aantal instanties die bijvoorbeeld alle virusscanners op de markt met elkaar vergelijken, waarna er een keurmerk uitrolt. Voor een aanbieder is het echter interessanter om zich met een bekende, maar slechter presterende concurrent te vergelijken. Zo werd anti-spyware programma Windows Defender eerst door Webroot zwart gemaakt, waarna ook PC Tools de scanner van Microsoft geen goed idee vond. In de test van PC Tools scoorde ook Webroot's software niet echt goed., wat de willekeur van dit soort tests laat zien.

En daar zit meteen het probleem. Het is vaak niet duidelijk waarop de cijfers gebaseerd zijn en met welke malware er getest is. De consument ziet alleen 86% of "VB100" staan en denkt veilig te zijn, terwijl in werkelijkheid dit geen kloppende weergave van de realiteit is. De meeste beveiligingssoftware is traag met het detecteren van nieuwe varianten, of herkent ze gewoon helemaal niet en 100% beveiliging kan natuurlijk geen enkel programma bieden. Onze stelling luidt derhalve: Beveiligingssoftware tests misleiden consument

Reacties (18)
21-02-2007, 11:38 door Anoniem
101% mee eens.
21-02-2007, 11:38 door Walter
Anders gezegd: Een conclusie is simpelweg het punt waarop je besloten
hebt te stoppen met denken.
En wij van WC eend, adviseren WC eend :).
21-02-2007, 12:08 door ctrlaltdelete
Het is vaak niet duidelijk waarop de cijfers gebaseerd zijn en met
welke malware er getest is.

Op http://www.virusbtn.com (VB100) en op http://www.av-comparatives.org staat
duidelijk vermeld wat de testprocedure is.

Wanneer de consument gewoon te beroerd is om dat eens te bekijken....
21-02-2007, 12:25 door Anoniem
"Commerciele Certificaten" zijn altijd misleidend.

"Hacker safe" -- 100% garantie dat de SERVER niet wordt
gehackt.. Maar het logo staat wel op de website.. Zonder dat
er bij staat dat alleen de server wordt gescanned en niet de
website...

Oud artikel, maar zeer intressant:
http://mattfisher.wordpress.com/2006/11/14/scan-alert-still-keeping-web-hackers-safe/

Meer informatie:
http://sla.ckers.org/forum/read.php?3,2662
21-02-2007, 13:07 door Anoniem
Door ctrlaltdelete
Het is vaak niet duidelijk waarop de cijfers gebaseerd zijn en met
welke malware er getest is.

Op http://www.virusbtn.com (VB100) en op http://www.av-comparatives.org staat
duidelijk vermeld wat de testprocedure is.

Wanneer de consument gewoon te beroerd is om dat eens te bekijken....
De test set is niet beschikbaar op VB100 waardoor de test niet zomaar
herhaald kan worden. Hetzelde geldt voor de zoo verameling van av-
comparatives. Daarnaast is de set van virusengines die getest worden
beperkt, voornamelijk comercieel aangeboden virusscanners staan hierin.
21-02-2007, 13:43 door Anoniem
Hmm... Volgens mij had de titel moeten zijn:

Consument wordt misleid door advertorials van security
bedrijven.

Het gaat in dit artikel on "onafhankelijke" toetsing met als
doel het verkopen van een product.

Het is misschien aardig om de advertentiekosten uit te
zetten tegen het marktaandeel.

Mijn simpele combinatie van hiding NAT moden/FW, anti virus,
lokale firewall en antispam en antivirus voor mail van mijn
provider houden me volledig spam en virus vrij. (allemaal
gratis als je bij de goede provider zit :-) )
21-02-2007, 15:09 door Anoniem
Dit is toch logies. Een bedrijf wil zijn software verkopen. Je gaat toch geen
OS ontwikkelen en dat ga je dan vergelijken met Windows, dat vergelijk je
met een of ander gaar exotisch OS.
Opzich als je een test heb waar een stuk of 10-15 virusscanners getest
worden ik denk dat je dan toch wel het oordeel kan geven, dan de beste
die uit de test komt, ook de beste it ( wel eerst kijken door wie de test is
afgenomen, maar dat spreekt voor zich...)
21-02-2007, 15:46 door ctrlaltdelete
Door Anoniem
Door ctrlaltdelete
Het is vaak niet duidelijk waarop de cijfers gebaseerd zijn en
met
welke malware er getest is.

Op http://www.virusbtn.com (VB100) en op http://www.av-comparatives.org staat
duidelijk vermeld wat de testprocedure is.

Wanneer de consument gewoon te beroerd is om dat eens te
bekijken....
De test set is niet beschikbaar op VB100 waardoor de test niet
zomaar
herhaald kan worden. Hetzelde geldt voor de zoo verameling van av-
comparatives. Daarnaast is de set van virusengines die getest worden
beperkt, voornamelijk comercieel aangeboden virusscanners staan
hierin.

De tests op http://www.av-comparatives.org en http://www.virusbtn.com vinden
plaats mét toestemming van de desbetreffende AV fabrikanten, en de
testresultaten worden gepubliceerd mét toestemming van de AV
fabrikanten.

De AV fabrikanten worden voordat de resultaten worden
gepubliceerd op de hoogte gebracht van het resultaat, en zij mogen
dan de test zelf nog eens over doen met dezelfde malwarebestanden
wanneer zij het niet eens zijn met het testresultaat.

Merken die ontbreken hebben geen toestemming gegeven om te
testen of presteren te laag om te worden opgenomen in een test.
Of.... ze vinden de lage score voor hun product niet zo leuk zodat ze
besluiten om niet meer mee te doen.
21-02-2007, 18:59 door Anoniem
Begrijp ik uit de discussie dat er behoefte in de markt begint te ontstaan
aan een hanteerbare en eenduidige metriek (meetbaar en daarmee
absoluut maken van begrippen die relatief worden gebruikt), om
uiteenlopende onderwerpen in de beveiliging op een lijn te krijgen?

Op alle digitale veiligheidsgebieden is er naar mijn mening behoefte aan
een metriek.

Een nader te bepalen eenheid "Shannon informatie" zou bijvoorbeeld
kunnen worden ingezet om op een nader te bepalen schaal eenduidig uit
te kunnen drukken hoe "veilig" gecodeerde informatie is om bijvoorbeeld
de bron, authenticiteit en vertrouwelijkheid van de gecodeerde informatie
zelf te waarborgen dan wel uitgebreid met biometrie, om ook de identiteit
van de eigenaar te waarborgen (of de identiteit zelf). Dr. C.E. Shannon
heeft al een voorzet gegeven. Wie, welk onderzoeksinstituut trapt de bal nu
in het doel?

Een metriek kan eraan bijdragen om tot een eenheid in termen te komen.
Dit zal bijdrage aan de demystificering van het vakgebied, waarmee een
veel bredere betrokkenheid kan worden bereikt van het “gewone”
gebruikerspubliek. Een bijkomend voordeel lijkt mij dat een breder publiek
minder afhankelijk wordt van enkele beschikbare en moeilijk voor een
buitenstaander op kwaliteit te beoordelen “specialisten”. Het draagt
tevens bij om beter zelf snel een eerste selectie te kunnen maken van
systemen c.q. technolopgieen die wel en van systemen die niet aan de
minimaal voor de toepassing te stellen eisen voldoen?

In combinatie met ISO-15.408 (reproduceerbare systeemanalyse) zou het
zelfs mogelijk moeten zijn systemen te certificeren.

Hoeveel mystiek willen we nog hoelang vasthouden...?
21-02-2007, 20:55 door G-Force
Heb vandaag via VirusTotal een test gedaan met de
Eicar-teststring. Ik heb het bestand op een bepaalde manier
bewerkt, en geen enkele virusscanner vond de
Eicar-teststring
. Ik geef hier even niet aan hoe ik dit
deed want anders krijgt men geheid van virusschrijvend
Nederland en daarbuiten dezelfde soort bestanden binnen die
alle virusscanners kunnen omzeilen.

Moraal van het verhaal: Een test hoeft nog geen echte test
te zijn....

Zie de testresultaten van de gemanipuleerde Eicar-teststring:
http://www.xs4all.nl/~pgv123/images/Eicar_manipulatie.jpg
21-02-2007, 22:36 door Bitwiper
Door Peter V. (gew. op 21-02-2007 20:59)
Ik heb het bestand op een bepaalde manierbewerkt, en geen enkele virusscanner vond de Eicar-teststring.
Dat is een zinloze test, sterker, het schept een verkeerd beeld. Het Eicar 'virus' bevat geheel geen malware, maar alleen een byte-reeks die -volgens afspraak- door virusscanners wordt 'herkend'. Meldingen van een tweetal commandline scanners:

McAfee: EICAR.COM ... Found: EICAR test file NOT a virus.
F-Prot: EICAR.COM Infection: EICAR_Test_File (exact)

Elke wijziging daarin leidt tot een ander bestand dat nog steeds geen malware is. Detectie daarvan zou een false positive zijn.

Omgekeerd zijn sommige virusscanners wel heel snel getriggered. Ik heb een desktopscanner alarm zien slaan op emails waar de virale bijlage zelf al uit verwijderd was, maar waar de rest van het bericht toch werd doorgestuurd. Die email blijk je tot 2 regels te kunnen uitkleden en toch nog alarm krijgen. Je kunt dit makkelijk zelf proberen door de volgende 2 regels in een file te zetten (alleen line-feeds op het einde van de regel volstaan, zo kun je een 'virus' maken van slechts 43 bytes, met 2 CRLF's wordt dit 45 bytes):

(iframe src
Content-type: audio/ name=.scr

Vervang de ronde openingshaak voor 'iframe' door een kleinerdan teken en save de file. Als je McAfee hebt zal deze tijdens het opslaan Exploit-MIME.gen melden (je hoeft deze niet door virustotal te halen, heb ik net zelf gedaan, alleen McAfee slaat aan).

Aan de ene kant is dit goed omdat McAfee er alles aan probeert te doen om schandalige bugs in oude versies van Outlook Express te voorkomen (nl. automatisch afspelen van audiofiles in emails om dit feitelijk aan de shell over te laten, die ontdekt dat het om een executable screensaver gaat en zich flexibel opstelt door dan die maar 'af te spelen').

Aan de andere kant geeft dit ook aan hoeveel vertrouwen McAfee toen al had in de detectie van nieuwe varianten van de feitelijke payload.

Des te misleidender vind ik dan ook bijv. de paginagrote advertentie van Sophos, Bloxx, Finjan, Kasperski, McAfee en Panda in de Computable van 9 feb j.l. waarin onder meer gesteld wordt:
Tot slot weet ook iedereen dat het installeren van een virusscanner en de laatste virusdefinities alle ellende kan voorkomen.
Ik ben duidelijk niet 'iedereen'.
22-02-2007, 09:48 door Anoniem
Door Peter V.
Heb vandaag via VirusTotal een test gedaan met de
Eicar-teststring. Ik heb het bestand op een bepaalde manier
bewerkt, en geen enkele virusscanner vond de
Eicar-teststring
. Ik geef hier even niet aan hoe ik dit
deed want anders krijgt men geheid van virusschrijvend
Nederland en daarbuiten dezelfde soort bestanden binnen die
alle virusscanners kunnen omzeilen.

Moraal van het verhaal: Een test hoeft nog geen echte test
te zijn....

Zie de testresultaten van de gemanipuleerde Eicar-teststring:
http://www.xs4all.nl/~pgv123/images/Eicar_manipulatie.jpg

Hoax? Het zonder meer gedetailleerde informatie op te geven van deze
aangepaste string is hetzelfde als die ondoorzichtige tests van de AV-
aanbieders. Waarom zou ik jou geloven?
22-02-2007, 10:03 door Anoniem
Door Walter
Anders gezegd: Een conclusie is simpelweg het punt waarop je besloten
hebt te stoppen met denken.
En wij van WC eend, adviseren WC eend :).

Ik weet niet hoe het komt,. maar de afgelopen tijd wordt er enorm veel
reclame gemaakt voor WC-eend bij Security.NL
23-02-2007, 12:47 door Walter
Door Anoniem
Ik weet niet hoe het komt,. maar de afgelopen tijd wordt er enorm veel
reclame gemaakt voor WC-eend bij Security.NL
Goed spul als we WC eend moeten geloven :).
26-02-2007, 11:06 door Anoniem
En dit is nieuws?
26-02-2007, 21:59 door Anoniem
Goed spul als we WC eend moeten geloven :).

hahah mischien voerd security.nl wel stiekem een reclame campange
waar ze geld voor krijgen van wc eend! Past wel mooi bij de security.nl
maak internet schoon bedoel veilig :D
27-02-2007, 21:56 door Anoniem
Wanneer krijgen we reclame van de echte WC-Eend op
security.nl ? :-)
03-03-2007, 09:30 door RobV
Ik wil eerst een wat wc eend testen zien eigenlijk.
Reageren

Deze posting is gelocked. Reageren is niet meer mogelijk.