Детерминированное симуляционное тестирование нужно не только распределённым системам
Deterministic Simulation Testing Is for Everyone
Автор утверждает, что детерминированное симуляционное тестирование (DST) — не привилегия Dropbox, FoundationDB и TigerBeetle, а универсальный метод. Он разбирает, зачем вообще нужны тесты, и сравнивает подходы по трём критериям: охват, детерминизм и полнота. DST сочетает симулированное окружение с детерминированной машиной, сжимает время и находит баги в разработке, а не в продакшене — и применим даже к веб-приложениям и встраиваемым системам.
Хорошая симуляция — это упражнение по усилению коварства тех частей окружения, которые мы не можем контролировать.
- csbartus
Сегодня это второй пост, который я вижу, где «традиционные» методы тестирования (unit, e2e, integration, perf, pen и т.д.) перекатегоризируются, помещаются в новые перспективы.
Другой — https://alperenkeles.com/posts/vocab-for-testing/
Я прекрасно понимаю, что наша (единственная) работа — стать оракулами машины: https://www.osequi.com/manifesto
- drooby
Это будущее, я убеждён.
Я строю свой собственный фреймворк, и он уже нашёл десятки важных и критических багов в моей команде на работе.
Следующая проблема, которую нужно решить после этого, — формализованное намерение.
Баг часто является багом, если приложение ведёт себя не так, как задумано. То, что мы задумали, не всегда так ясно, и это останется областью ответственности инженера и продуктового дизайнера, потому что программное обеспечение сложно, и то, что мы хотим, нельзя вычислить так просто. Определение и понимание намерения останется «человеческим узким местом» для многих компаний.
- TacticalCoder
Детерминированное тестирование — это одно, и оно крайне необходимо.
Но я абсолютно убеждён, что мы движемся к детерминированному исполнению: n различных реализаций, на разных языках, работающих на разных стеках, и минимальный (возможно, даже аппаратный) вотер, обеспечивающий n-модульную избыточность для выбора правильного «ответа».
0-day CVE в Postgres? Не проблема: одна из реализаций даёт ложные ответы и обнаруживается как сломанная.
0-day в Java? То же самое.
Это сделает 0-day в чём угодно, кроме вотеров, делом прошлого (а вотеры должны быть минимальными и иметь крошечную поверхность атаки).
Ответом может быть API-запрос, но мы можем пойти гораздо ниже: сетевые пакеты, детерминированно созданные n системами и все идущие к вотеру(ам). Каким бы ни был «ответ», он будет детерминированным и проверенным с самого низкого возможного уровня.
Реализации будут написаны по спецификациям, формально верифицированы и т.д. Но единственное, что гарантирует, что любой косяк будет пойман, — это n независимых реализаций одних и тех же спецификаций.
И как только одна из реализаций/стеков вернёт хотя бы один сетевой пакет, не совпадающий с тем, что производят другие системы: что-то пошло не так и должно быть исправлено.
Это потребует выбросить огромное количество недетерминированной чуши, но мы увидим системы, делающие именно это: n-модульная избыточность и вотеры на самом низком возможном уровне.
Я на 100% уверен, что мы идём туда (и ИИ напишет большую часть этого за нас).