Deterministic Simulation Testing, 분산 시스템 전유물이 아니다

Deterministic Simulation Testing Is for Everyone

Deterministic Simulation Testing(DST)은 흔히 분산 시스템을 위한 기법으로 여겨지지만, 저자는 모든 애플리케이션에 적용 가능한 테스트 기법이라고 주장한다. 결정론적 머신과 시뮬레이션된 환경을 결합해 동일한 시드로 항상 같은 결과를 재현하고, 네트워크·스토리지 지연을 시뮬레이션해 시간을 압축함으로써 버그를 개발 단계에서 훨씬 빠르게 찾아낸다. 웹 앱, 임베디드 시스템 등 다양한 소프트웨어에 적용할 수 있다.

개발은 버그를 찾기에 가장 좋은 장소다.
  1. csbartus

    오늘 '전통적인' 테스트 방법들(unit, e2e, integration, perf, pen 등)이 재분류되고 새로운 관점에 놓이는 글을 두 번째로 봤다.

    다른 하나는 https://alperenkeles.com/posts/vocab-for-testing/ 이다.

    우리(유일한) 일이 기계의 오라클이 되는 것이라는 점을 정말 잘 이해한다: https://www.osequi.com/manifesto

  2. drooby

    이게 미래라고 확신한다.

    나는 직접 프레임워크를 만들고 있는데, 이미 직장 팀에서 수십 개의 중요하고 치명적인 버그를 찾아냈다.

    그런데 그 다음에 풀어야 할 문제는 형식화된 의도다.

    버그는 앱이 의도한 대로 동작하지 않을 때 버그인 경우가 많다. 우리가 의도하는 바가 항상 그렇게 명확하지는 않고, 소프트웨어는 복잡하며 우리가 원하는 것을 그렇게 단순히 계산할 수는 없기 때문에 이는 엔지니어와 제품 디자이너의 책임 영역으로 남을 것이다. 의도를 정의하고 이해하는 일은 많은 기업에서 '인간 병목'으로 남을 것이다.

  3. TacticalCoder

    결정론적 테스트는 그 자체로 하나의 문제이고 절실히 필요하다.

    하지만 나는 우리가 결정론적 실행으로 나아가고 있다고 완전히 확신한다: 다양한 구현들이, 서로 다른 언어로, 서로 다른 스택 위에서 돌아가고, 최소한의(어쩌면 하드웨어일 수도 있는) 투표자가 n-모듈러 중복성을 담당해 올바른 '답'을 고르는 것이다.

    0-day Postgres CVE? 문제없다: 구현 중 하나가 엉터리 답을 내놓으면 고장난 것으로 탐지된다.

    0-day Java? 마찬가지다.

    이것은 투표자 외의 모든 것에서의 0-day를 과거의 일로 만들 것이다(그리고 투표자는 최소한이어야 하며 공격 표면이 아주 작아야 한다).

    답은 API 쿼리일 수도 있지만 훨씬 더 낮은 수준으로 내려갈 수도 있다: n개의 시스템이 결정론적으로 생성해 모두 투표자(들)에게 보내는 네트워크 패킷 말이다. '답'이 무엇이든 그것은 결정론적일 것이고 가능한 가장 낮은 수준에서 검증될 것이다.

    구현들은 명세로부터 작성되고, 형식 검증되는 등일 것이다. 하지만 어떤 망가짐이든 잡히도록 보장해 줄 한 가지는 같은 명세의 n개 독립 구현이다.

    그리고 구현/스택 중 하나가 다른 시스템들이 내놓는 것과 일치하지 않는 네트워크 패킷을 단 하나라도 반환하는 순간: 뭔가 망가진 것이고 고쳐야 한다.

    이것은 엄청나게 많은 비결정론적 헛소리를 버리는 것을 요구하겠지만, 우리는 바로 그렇게 하는 시스템들을 보게 될 것이다: 가능한 가장 낮은 수준에서의 n-모듈러 중복성과 투표자 말이다.

    나는 우리가 그리로 간다고 100% 확신한다(그리고 AI가 그 대부분을 우리 대신 작성해 줄 것이다).

이 날의 다른 글

2026-11-21