Momentic caza 117.010 bugs antes de que lleguen a producción

No estoy seguro de que precision/recall sea el número que miraría primero, porque lo que realmente querría saber es con qué frecuencia la herramienta dice que pasa en un flujo que ya está roto, y un falso positivo silencioso es peor que un test flaky, ya que el flaky al menos hace algo de ruido.

Estoy construyendo algo en el mismo espacio y esto me afectó bastante pronto, así que lo que terminé haciendo fue básicamente mutation testing: tomar un puñado de apps de código abierto, plantar bugs a propósito y contar cuántos de ellos la herramienta deja pasar de todos modos. Parece que los conteos de pass/fail no eran la parte interesante en absoluto, la parte interesante era dejar que el motor respondiera con una tercera opción, "no puedo saberlo", porque una vez que se permitió eso los falsos positivos desaparecieron en su mayoría, simplemente dejó de adivinar. Diría que un pass adivinado es peor que no tener test, y guardo cada ejecución reproducible por la misma razón, si no tampoco confiaría en mis propios números.

Me da curiosidad cómo maneja Mo (buen nombre) el punto intermedio: la documentación dice que un bug que no puede reproducir no se reporta como confirmado, pero ¿aparece en algún lado o simplemente se descarta? Y para QA Bench, ¿plantasteis vosotros los bugs o solo etiquetasteis los existentes?