Als het om veiligheid gaat zijn er grote verschillen tussen browsers, maar hoe kun je die verschillen nu op een valide manier testen? De Mozilla stichting heeft het antwoord. Met name Microsoft publiceerde de afgelopen jaren regelmatig onderzoeken waarin de veiligheid van de verschillende browsers werd vergeleken, tot ongenoegen van Mozilla. "Waar je op moet letten bij het vergelijken van de veiligheid van software, is dat je de dingen meet die er toe doen", zegt Johnathan Nightingale het "menselijke schild" van Mozilla. Er is volgens Nightingale geen enkele statistiek die je het volledige beeld geeft. Het gaat juist om verschillende factoren, waarvan er drie essentieel zijn. Mozilla noemt dit de "Sec essentials".

Als eerste kijkt de opensource ontwikkelaar naar de ernst van de kwetsbaarheden. Automatisch te misbruiken lekken zijn ernstiger dan kwetsbaarheden waarbij een gebruiker de nodige samenwerking aan de aanvaller moet verlenen. Door het meten van de ernst van een lek, zijn ontwikkelaars eerder geneigd om de belangrijkste bugs op te lossen, in plaats van minder ernstige problemen, waardoor het totale aantal laag lijkt, maar ernstige lekken gewoon blijven bestaan. Het tweede onderdeel is te weten hoe lang een gebruiker voor een bepaald risico kwetsbaar is. Door de tijd tussen een lek en een patch te meten, zouden ontwikkelaars sneller de lekken in hun software patchen.

Eerlijkheid
Het derde punt van de Sec essentials is "volledige disclosure." Volgens Nightingale zijn de andere meetpunten zinloos als je niet alle opgelost bugs kunt zien. "Sommige vendors maken alleen de lekken bekend die door buitenstaanders zijn gevonden, en verbergen de lekken die de interne security teams hebben ontdekt, om zo het aantal lekken laag te houden." Het meten van alleen door anderen gevonden kwetsbaarheden beloont alleen vendors die reactief reageren. Ook stelt dit vendors die wel een proactief security team hebben in een negatief daglicht.

Nightingale erkent dat het niet meevalt om een model te maken waarbij al deze punten verwerkt worden. "De eerste stap is duidelijkheid in wat je van een security assessment mag verwachten. Als het zich niet op de drie Sec essentials richt, dan moet je je afvragen waarom niet. En vraag vervolgens de mensen die het rekenwerk deden."