Bij dit soort rapporten, waarbij veel percentages worden gebruikt, moet altijd een groot vraagteken worden gezet bij de validiteit van de stellingen. Meningen van mensen worden plotseling feiten, achterliggende data en steekproeftechnieken worden niet inzichtelijk gemaakt etc. Om wat voorbeelden te noemen uit het rapport (zie http://www.checkpoint.com/press/downloads/social-engineering-survey.pdf):


(1) Participants who had been targeted by social engineering attacks and tracked these incidences were also asked about the typical cost of each incident (N=322). Costs included business disruptions, customer outlays, revenue loss, labor, and other overhead. These attacks were frequently costly with almost half of participants (48%) reporting a per-incident cost of more than $25,000. Again, larger organizations reported even higher costs with 30% reporting a per-incident cost of more than $100,000.

Als de staafdiagram wordt bekeken, dan blijkt dat 56% van de bedrijven met meer dan 5000 werknemers een per-incident cost heeft van $25.000 of meer! En dan blijkt een phishing e-mail ook te vallen onder een social engineering aanval/ incident. Hoe komen ze tot die kosten? Hoe kwantificeren ze die niet-kwantificeerbare variabelen zoals imagoschade? $100.000 per incident klinkt als een krankzinnig bedrag. Aan de andere kant: zo'n mooi rond bedrag doet het vast goed bij management.

(2) The participants who indicated that they had been victims of social engineering attacks were asked what they believed the motivations were behind those attacks. Financial gain was cited as the most frequent reason (51%), followed by access to proprietary information (46%), and competitive advantage (40%).

Het vetgedrukte deel komt van mij af. En dus wordt de kop van de paragraaf: Social engineering attacks motivated primarily by financial gain. Het feit dat 51% dat zegt maakt dat nog geen feit.

(3) New employees were considered the highest risk (60%), followed by contractors (44%) who may be less familiar with corporate security policies, and executive assistants (38%) who have access to executive calendars and confidential information.

Wederom: het vetgedrukte komt van mij af. En dus wordt de kop van de paragraaf: New employees present greatest risk for social engineering attacks. Wie zegt dat? Uit de boeken van Kevin Mitnick blijkt nergens dat andere werknemers niet even hard vallen voor social engineering aanvallen.

(4) Over technische en social engineering aanvallen wordt gezegd: Participants reported that they were most likely to experience trojans (56%), followed by phishing techniques, botnets, and drive-by downloads.

Waar zijn die aanvalpercentages op gebaseerd? Niet op de SANS Top 10 in ieder geval. Sterker nog, veel malware scanners houden een zeer groot deel van de Trojaanse paarden wel buiten de deur. Ik zou eerder externe medewerkers hoog zetten, gezien de hoeveelheid data die deze personen kopiëren voor volgende projecten.

(5) While 43% of participants indicated that they had, only 16% had confidence that they had not been targeted. A large number of participants (41%) were not aware of any attacks, but could not say definitively that there had not been an attempt.

Dus 57% van de participanten waren niet op de hoogte van aanvallen of waren niet het slachtoffer van aanvallen. Het geeft al aan dat dit onderwerp een grote blinde vlek is bij het meerendeel van de security professionals. En dat is ook meteen het nadeel van een groot deel van het vakgebied: we hebben geen informatie over security incidenten/ social engineering aanvallen. Het wordt niet gedeeld, er is geen monitoring om ook maar een enigszins goede gok te maken wat er op onze netwerken gebeurt en er zijn zelden goede processen aanwezig om dit netjes af te handelen (even handjes omhoog: wie heeft een volwaardig en audit-proof logging mechanisme actief, inclusief processen, waarbij aandacht wordt besteed aan zowel security incidenten als technical state compliance en de medewerkers weten hoe deze processen werken? Prima, die anderhalve hand kan weer naar beneden). Verzekeringsmaatschappijen hebben deze data al decennialang. Ze weten tot op de dag hoe oud we gemiddeld worden, maar security professionals weten amper iets, maar ze hebben daar vervolgens wel een mening over. Het lijken wel politici :).

Het rapport doet me denken aan het statistisch ingestoken Microsoft Research document "Sex, Lies and CybercrimeSurveys" (zie http://research.microsoft.com/pubs/149886/SexliesandCybercrimeSurveys.pdf), waarbij de conclusie boekdelen spreekt en ik graag citeer:

The importance of input validation has long been recognized in security. Code injection and buffer over
flow attacks account for an enormous range of vulnerabilities. "You should never trust user input" says one standard text on writing secure code [19]. It is ironic then that our cyber-crime survey estimates rely almost exclusively on unveried user input. A practice that is regarded as unacceptable in writing code is ubiquitous in forming the estimates that drive policy (see, e.g., [28]). A single exaggerated answer adds spurious billions to an estimate, just as a buffer overfl
ow can allow arbitrary code to execute. This isn't merely a possibility. The surveys that we have exhibit exactly this pattern of enormous, unverified outliers dominating the rest of the data. While we can sum user responses, and divide to get an average, the resulting calculation is not worthy of the term "estimate" unless we can have confidence that it refl
ects the underlying phenomenon. For the cyber-crime surveys that we have, statistical difficulties are routinely ignored and we can have no such confidence. Are we really producing cyber-crime estimates where 75% of the estimate comes from the unverified self-reported answers of one or two people? Unfortunately, it appears so. Can any faith whatever be placed in the surveys we have? No, it appears not.

De les is: blijf als security expert tot op het vervelende af kritisch. Dat geldt zeker voor dit soort onderzoeken.