Детерминированное симуляционное тестирование нужно не только распределённым системам

Deterministic Simulation Testing Is for Everyone

Автор утверждает, что детерминированное симуляционное тестирование (DST) — не привилегия Dropbox, FoundationDB и TigerBeetle, а универсальный метод. Он разбирает, зачем вообще нужны тесты, и сравнивает подходы по трём критериям: охват, детерминизм и полнота. DST сочетает симулированное окружение с детерминированной машиной, сжимает время и находит баги в разработке, а не в продакшене — и применим даже к веб-приложениям и встраиваемым системам.

Хорошая симуляция — это упражнение по усилению коварства тех частей окружения, которые мы не можем контролировать.
  1. csbartus

    Сегодня это второй пост, который я вижу, где «традиционные» методы тестирования (unit, e2e, integration, perf, pen и т.д.) перекатегоризируются, помещаются в новые перспективы.

    Другой — https://alperenkeles.com/posts/vocab-for-testing/

    Я прекрасно понимаю, что наша (единственная) работа — стать оракулами машины: https://www.osequi.com/manifesto

  2. drooby

    Это будущее, я убеждён.

    Я строю свой собственный фреймворк, и он уже нашёл десятки важных и критических багов в моей команде на работе.

    Следующая проблема, которую нужно решить после этого, — формализованное намерение.

    Баг часто является багом, если приложение ведёт себя не так, как задумано. То, что мы задумали, не всегда так ясно, и это останется областью ответственности инженера и продуктового дизайнера, потому что программное обеспечение сложно, и то, что мы хотим, нельзя вычислить так просто. Определение и понимание намерения останется «человеческим узким местом» для многих компаний.

  3. TacticalCoder

    Детерминированное тестирование — это одно, и оно крайне необходимо.

    Но я абсолютно убеждён, что мы движемся к детерминированному исполнению: n различных реализаций, на разных языках, работающих на разных стеках, и минимальный (возможно, даже аппаратный) вотер, обеспечивающий n-модульную избыточность для выбора правильного «ответа».

    0-day CVE в Postgres? Не проблема: одна из реализаций даёт ложные ответы и обнаруживается как сломанная.

    0-day в Java? То же самое.

    Это сделает 0-day в чём угодно, кроме вотеров, делом прошлого (а вотеры должны быть минимальными и иметь крошечную поверхность атаки).

    Ответом может быть API-запрос, но мы можем пойти гораздо ниже: сетевые пакеты, детерминированно созданные n системами и все идущие к вотеру(ам). Каким бы ни был «ответ», он будет детерминированным и проверенным с самого низкого возможного уровня.

    Реализации будут написаны по спецификациям, формально верифицированы и т.д. Но единственное, что гарантирует, что любой косяк будет пойман, — это n независимых реализаций одних и тех же спецификаций.

    И как только одна из реализаций/стеков вернёт хотя бы один сетевой пакет, не совпадающий с тем, что производят другие системы: что-то пошло не так и должно быть исправлено.

    Это потребует выбросить огромное количество недетерминированной чуши, но мы увидим системы, делающие именно это: n-модульная избыточность и вотеры на самом низком возможном уровне.

    Я на 100% уверен, что мы идём туда (и ИИ напишет большую часть этого за нас).

Ещё за этот день

2026-11-21