Metodología de los resultados

Cómo salen las cifras de Resultados, y qué no hemos medido.

El repo de pruebas

Es un repo hecho por nosotros con vulnerabilidades sembradas y con código correcto que parece una vulnerabilidad. Cada caso lleva su etiqueta: real o falso positivo. Esa etiqueta es la verdad conocida.

• Las etiquetas nunca llegan al analista.
• El código sembrado no se delata con nombres ni con comentarios.
• No lleva secretos de verdad: se generan con forma de secreto al preparar cada medición.

El criterio

Se fijó antes de medir: el triaje tiene que descartar al menos el 70 % de los falsos positivos sin descartar más del 5 % de los vulnerabilidades reales. Solo cuenta como descartado el veredicto Descartar; Vigilar y Revisar cuentan como no descartado.

Cómo se cuenta

Un programa cruza los veredictos con las etiquetas y da, por escáner y tras el triaje, cuántos reales, cuántos falsos positivos y cuántos duplicados. Un hallazgo sin veredicto cuenta como no descartado.

La comparativa

El mismo repo de pruebas se escaneó con los planes gratuitos de Xygeni y de Aikido. Cada resultado suyo se cruzó con las mismas etiquetas.

• No hemos medido sus planes de pago.
• El plan gratuito de Aikido solo enseña parte de sus resultados: no hay tabla completa.

Los repos reales

En un repo real no hay etiquetas. Se revisa a mano cada hallazgo contra el código del commit escaneado y se anota si el veredicto era correcto.

Lo que no dice una cifra

El repo de pruebas va lleno de vulnerabilidades a propósito: no se parece a un repo normal. Sus cifras dicen cómo de bien separa el triaje lo real de lo falso, no cuántas vulnerabilidades tendrá tu repo.