Lo que hemos medido
Un repo de pruebas donde sabemos qué es real, dos repos reales revisados a mano y una comparación con los planes gratuitos de dos herramientas conocidas. También lo que salió mal.
Nos pusimos un criterio antes de medir
Tenemos un repo de pruebas con vulnerabilidades puestas a propósito y con código correcto que parece una vulnerabilidad: 126 vulnerabilidades reales y 25 falsas alarmas. El triaje aprueba si descarta al menos el 70 % de las falsas alarmas sin descartar más del 5 % de los vulnerabilidades reales.
La primera versión del analista no cumplió: descartó solo el 25 % de las falsas alarmas. La segunda sí. Contamos las dos.
De 199 avisos a 51 que corregir
El repo de pruebas va lleno de vulnerabilidades a propósito: por eso quedan tantos para corregir. En un repo normal quedan muchos menos.
- 199 Detecciones lo que dicen los escáneres · 100 %
- 151 Hallazgos únicos tras deduplicar · 76 %−48
- 127 Tras el triaje sin los descartados · 64 %−24
- 51 Para corregir con prioridad · 26 %−76
De 199 detecciones a 51 para corregir
- 199 Detecciones
- 151 Hallazgos únicos
- 127 Tras el triaje
- 51 Para corregir
Donde ganamos y donde no
El mismo repo de pruebas, con el plan gratuito de Xygeni. No hemos medido sus planes de pago.
| Qué se mide | Vibethia | Xygeni gratuito |
|---|---|---|
| Vulnerabilidades reales que vio | 67 de 74 | 41 de 74 |
| · en el código | 13 de 20 | 16 de 20 |
| · en la configuración | 28 de 28 | 0 de 28 |
| · claves | 6 de 6 | 5 de 6 |
| · librerías | 20 de 20 | 20 de 20 |
| Falsas alarmas que quedan en la lista | 5 de 24 | 14 de 24 |
| Vulnerabilidades reales descartadas por error | 3 | 0 |
En código, Xygeni vio más
Cuatro vulnerabilidades que nuestras herramientas no vieron: dos peticiones a direcciones que elige el usuario, una redirección abierta y un cifrado de contraseñas débil.
Su plan gratuito no mira la configuración
Los ficheros de despliegue e infraestructura no entran en su plan gratuito.
Vibethia descartó 3 vulnerabilidades reales
Xygeni no descartó ninguno: tampoco quita falsas alarmas.
Aikido: no hay tabla completa
Su plan gratuito solo enseña parte de sus resultados, así que no hay comparación justa en el repo de pruebas.
En un repo real, su análisis con IA encontró 6 vulnerabilidades de lógica que nuestras herramientas no podían ver. Después, con la revisión de lógica, Vibethia dio 24 hallazgos en ese repo: 17 reales, 1 falsa alarma y el resto discutibles o repetidos. Vio 3 de aquellos 6.
Sin trampa: revisado a mano
En un repo real nadie sabe de antemano qué es una vulnerabilidad. Revisamos uno a uno cada aviso contra el código.
En los dos, nada era urgente, y Vibethia lo dijo: cero para corregir. Lo que quedó de ruido eran librerías de desarrollo repetidas. Agruparlas es lo siguiente que mejoramos.
Cómo se mide
- Cada caso del repo de pruebas lleva su etiqueta: vulnerabilidad real o falsa alarma. Esa etiqueta nunca llega al analista.
- Un programa compara las decisiones con las etiquetas. Nadie ajusta cifras a mano.
- En los repos reales no hay etiquetas: se revisa cada aviso contra el código.
- El repo de pruebas no se parece a un repo normal. Sus cifras dicen cómo de bien separa el triaje lo real de lo falso, no cuántas vulnerabilidades tendrá tu repo.
Del ruido a la decisión
Conecta un repo y mira qué hay que corregir. Sin hablar con nadie.