Momentic поймал 117 000 багов ещё до релиза

Не уверен, что precision/recall — это первое, на что я бы смотрел, потому что на самом деле мне хотелось бы знать, как часто инструмент говорит «прошло» на флоу, который уже сломан, а молчаливый пропуск хуже нестабильного теста, поскольку нестабильный хотя бы создаёт шум.

Я строю что-то в той же области, и это довольно рано меня зацепило, так что в итоге я занялся по сути мутационным тестированием: берёшь несколько open source приложений, намеренно сажаешь баги и считаешь, сколько из них инструмент всё равно пропускает. Похоже, что счётчики проходов/провалов были совсем не интересной частью, интересной частью было позволить движку отвечать третьим вариантом — «не могу определить», потому что как только это разрешили, ложные проходы в основном исчезли, он просто перестал угадывать. Я бы сказал, что угаданный проход хуже отсутствия теста, и по той же причине я сохраняю каждый прогон воспроизводимым, иначе я бы и своим собственным цифрам не доверял.

Любопытно, как Mo (хорошее название) справляется с промежуточной зоной — в документации сказано, что баг, который он не может воспроизвести, не считается подтверждённым, но появляется ли он где-нибудь или просто отбрасывается? И насчёт QA Bench: вы сами сажали баги или только размечали существующие?