Wie is Juergen Schmidt? En waarom weet hij niets van anti-virus testen?

Een retrospectieve test van malware die in de laatste x aantal maanden is
gevonden maakt het zelf schrijven van virussen een volstrekt overbodig.

Meer virussen = trager anti-virus. Wie is daarmee gediend?

"Iedereen die tegen dit soort testen is, is dat niet in het belang van de
gebruiker, aldus Jürgen Schmidt. "

Als Jurgen Schmidt een virusscanner vindt die alle bekende en onbekende
virussen gelijk kan herkennen zonder een "vingerafdruk" dan is eindelijk
de ultieme scanner ontwikkeld !
Als dat het doel van de test is moet hij dat ook vermelden, maar dan is hij
op zoek naar een scanner die niet bestaat en dan is dat zinloze moeite en
weggegooid geld.
Als hij de heuristische kwaliteiten van de scanners wil testen dan had hij
dat duidelijk moeten maken.
Als achteraf 1 van zijn 5500 ontwikkelde virussen naar het internet lekt
dan is hij aansprakelijk.

Uitgebreid commentaar van Andreas Clementi, algemeen erkend
onafhankelijk antivirustester (av-comparatives.org) - en dat
liegt er niet om:
http://www.av-comparatives.org/weblog/?cat=7).
Veegt uitstekend onderbouwd ConsumerReports volledig van tafel.

Als procedures getoetst moeten worden in het kader van allerlei
certificaten waarom de sw produkten dan niet?

ik denk dat je beter kunt zeggen : Niks mis met schrijven
van virussen

Virussen hebben er de laatste jaren namelijk voor gezocht
dat software makers zich veel meer gingen bezighouden het
beveiligen van hun product; en dat is een goeie zaak.

Pardon? Sinds enkele jaren hebben erkende security guru's -
en bepaald niet alleen representanten van antivirus
companies zich uitgesproken tegen dit soort
activiteiten - en met recht:
http://www.avien.org/publicletter.htm .


Virussen hebben vanaf dag een geleid tot antivirus software.
Jouw redenering is bijzonder krom: in principe moedig je
viruscoders aan. Waarom? Omdat (sic...) dat antivirus
software zou verbeteren. De wereld op z'n kop....

Overigens - maar dat terzijde - zijn VXers, althans de
competente, al lang overgestapt naar goed betaalde
werkzaamheden voor louche spyware bedrijven, en focussen die
zich momenteel primair op rootkits. Daar ligt het
gevaar vandaag de dag; je kunt ze op maat bestellen, zijn
ontraceerbaar met de huidige middelen - maar maken je pc wel
tot een zombie.

Jürgen Schmidt is redakteur security van het Duitstalige
blad c't, en van http://www.heisec.de/ (Heise is
de uitgever van verschillende computerbladen, waaronder iX).
Veel artikelen van die site worden in het Engels vertaald en
op hun zustersite
http://www.heise-security.co.uk/ gepubliceerd.
Een deel van de artikelen in de Duitstalige c't wordt
(later) in de Nederlandstalige c't overgenomen.

.
Jürgen Schmidt heeft geen virussen ontwikkeld. Een tester
heeft in opdracht van ConsumerReports.org bestaande virussen
gewijzigd. AV-fabrikanten zijn daar boos over. Jürgen
Schmidt heeft een stukje geschreven waarin hij het voor
ConsumerReports.org opneemt. Vergelijkbaar met wat de
security.nl redactie er hier zelf over schrijft.

Niet door mij. Ik had nog nooit van hem gehoord (wel van
Andreas Marx overigens).

Dat is jouw mening maar niet de mijne. Hij stelt dat alleen
zijn testmethode (retrospective, d.w.z. 3 maanden de
virusscanner niet updaten en vervolgens onderzoeken welke
recente malware wordt herkend) betrouwbaar is omdat deze de
"real-life situation" weergeeft.

Dat klinkt plausibel maar is dat alleen als hij die test
uitvoert met een substantieel deel van de malware die in die
drie maanden is uitgebracht. En dat geloof ik niet, want er
is malware waar nooit detectie voor uitkomt (omdat ze op
kleine schaal verspreid wordt en de meeste gebruikers niet
in staat zijn malware te isoleren en aan AV-fabrikanten aan
te bieden), en daarnaast is het de vraag hoe Andreas
Clementi aan zijn verse malware komt; krijgt hij die van AV
fabrikanten? Zo ja dan zou dit gekleurd kunnen zijn (AV
fabrikanten zouden bijv. een deel van de malware jonger dan
3 maanden voor hem achter kunnen houden). Alleen al om die
redenen is het goed om zo'n test als van ConsumerReports uit
te voeren. Jürgen Schmidt noemt trouwens twee andere argumenten.

Over gekleurde tests: malware uit de "in-the-wild-list"
wordt natuurlijk door de meeste scanners herkend. Maar zit
alle malware daar in? Testje.
http://groups.google.com/group/news.admin.net-abuse.sightings/msg/c4d0d009820362fc?hl=en&
bevat een spam die verwijst naar een exe-file (dialer,
ingepakt met JDPack) die ondertussen verwijderd is, maar die
ik op 19 feb 2003 heb gedownload en zojuist door virustotal
heb gehaald. Van de 27 scanners melden 18 "no virus found"
waaronder AntiVir, Avast, AVG, Microsoft, Sophos en
Symantec. Alleen Fortinet lijkt de dialer met
"W32/ParHltnDialer.A!tr" echt te herkennen (maar dat zou een
foutje kunnen zijn); de overige 8 noemen ofwel "suspicious",
"generic" of "variant". NOD32v2 (als ik me niet vergis de
beste uit de retrospective test van Andreas Clementi) meldt
"a variant of Win32/Dialer.AsianRaw".

Verder schrijft Andreas Clementi: "scores like e.g. 40% in
the retrospective test are really good scores" en verderop
noemt hij het zelfs "excellent" als een virusscanner die 3
maanden niet is geupdate de helft van de geteste recente
malware herkent. Ik zie dit anders: als de beste
virusscanner slechts in staat is om 50% van nieuwe malware
te detecteren (waarbij ik vermoed dat je die 50% niet eens
haalt) vind ik ze allemaal slecht. Mijn steekproef met 3
jaar oude malware verbetert niets aan dit beeld.

mmm...mijn vorige reactie is door de redactie hier met opzet
niet geplaatst - hun goed recht, maar dat toont weer eens
hoe bevooroordeeld deze plek is. Afijn...
Erik,


.."script kiddies" - amateurs in feite - hebben wat
gemanipuleerd met bestaande rommel, zoals Andreas Clementi
terecht en onderbouwd schrijft.


Niet door jou. OK - maar dat is nou bepaald geen overall
geldend argument., nietwaar? Alle grote en middelgrote
antivirus companies respecteren zijn tests al jarenlang. Ter
info: Clementi en Marx kennen elkaar al jaren wat testen
betreft. Dat gezegd: als je Andreas Marx kent, weet je ook
dat er bekende antivirus companies zijn die (vanwege zijn
onbetrouwbare manier van testen) een juridisch verbod
hebben opgelegd aan Marx en zijn club om hun software te
testen c.q. resultaten in de openbaarheid te brengen. Da's
eenvoudig te checken bij Andreas zelf (we mailen op zijn tijd).


av-comparatives.org doet meer dan alleen retrospective
tests. Dat terzijde: grosso modo is dat een correcte
conclusie wat retrospective tests betreft...


Ach, "geloven" is bepaald iets anders dan uitgaan van feiten.


Vraag het hem, zou ik zeggen. Feiten: Jotti en VirusTotal
zijn een bron - plus de gebruikelijke (grote) bronnen die
niet toegankelijk zijn voor Jan en alleman. Overigens draai
je de zaken om: AV fabrikanten krijgen nieuwe malware
van Jotti en virustotal - en die doen er hun voordeel
mee, impliciet dus de respectievelijke AV-gebruikers.


Pure veronderstelling - die dus niet klopt.


Leuk - maar niet terzake. de "in-the-wild-list" heeft
niets te maken met de tests van av-comparatives.org -
noch met ConsumersReports.


Mijn spaanse vriend zal blij zijn dat je zijn virustotal
hebt gebruikt - ik laat 't hem per email even weten. Heb je
de moeite genomen om de .exe in kwestie even te
dissambleren? Voor het overige ontgaat me de waarde van je
mededeling. virustotal en jotti geven direct toegang tot de
malware die is ge-upload aan alle grote en middelgroet AV/AT
fabrikanten. Heuristiek (NOD32) lijkt overigens zijn werk te
doen hier.


Bepaald niet bedoeld als belediging! - maar blijkbaar ben je
niet echt gekwalificeerd c.q. wat dit soort zaken betreft.
Mocht je twijfelen aan Clementi's uitspraak: neem eens
contact op met alle antivirus fabrikanten die je kent - en
vraag hun oordeel. Je weet dat voordat testresultaten van
av-comparatives.org /Andreas Clementi publiek worden
gemaakt, ze eerst worden voorgelegd aan de fabrikanten in
kwestie en dat die hun goedkeuring geven aan de
testresultaten? Zoniet: dan weet je het nu. Is eenvoudig te
checken....

Tenslotte: steekproeven op zeer beperkte schaal zeggen
totaal niets. Laat het testen over aan competente algemeen
erkende instituten.