GPT-6 Astra, 테스트 기법을 실제로 써먹기 시작하다

Test/verification technique effectiveness with Astra

Dan Luu가 Zstd와 IMAP RFC, 그리고 Pandoc 구현 평가로 GPT-6 Astra의 테스트·검증 기법 활용도를 측정했다. Astra는 Zstd에서 1달러로 99% 이상의 정답률을 기록해 이전 모델보다 크게 향상됐고, fuzzing도 의미 있는 코드 경로를 건드리는 테스트를 만들어냈다. Pandoc 평가는 약 9만 달러를 들여 진행됐으며, 여러 기법이 Default를 앞섰지만 표본이 작아 일반화는 이르다는 결론이다.

이전 평가에서 실패는 에이전트가 작동하는 방식에서 비롯된 특이한 결과인 경우가 많았다. 예컨대 Clojure를 쓰는 에이전트가 기본적으로 잘못된 바이트 변환 코드를 작성하거나, Verus를 쓰는 에이전트가 공허한 증명을 작성하는 식이다.
  1. kooi

    좋은 글이네요. 형식 검증(formal verification)을 더 살펴볼 만한 좋은 동기가 됩니다. 오늘 Aristotle 관련 글도 있었는데, lean을 사용하는 프롬프트 기반의 플러그 앤 플레이 검증기처럼 보이더군요.

    LLM이 지원하는 형식 요구사항 생성으로 나만의 "Aristotle"을 만들 수 있겠다는 생각이 듭니다.

    그냥 우리 프로젝트, 특히 신호 처리 분야를 생각해보고 있어요. 좋은 경로는 이럴 수 있겠네요: 자연어 -> 블랙박스 및 화이트박스 런타임 테스트용 시간 논리(temporal logic) 명세.

    형식 논리를 런타임 모니터로 바꿔주는 코드 생성기들이 있습니다. 예전에는 너무 장황해서 장난감 예제 이상으로는 써본 적이 없었어요.

    > 이 글의 요점은 AI 코딩 시대에도 분위기(vibes)가 아니라 증거에 기반해 결정을 내리는 것이 가능하다는 걸 보여주는 것입니다.

    그게 엔지니어와 스크립트 키디의 차이죠.

    도메인 전문성은 언제나 가치 있을 겁니다.

  2. reedf1

    여기서 정말 강력한 일은 에이전트 패턴의 분류 체계(taxonomy)를 만들기 시작했다는 점입니다. 우리는 이 분야에서 거의 다 엔지니어인데, 실제로 이루어지는 엔지니어링이 너무 없다는 게 놀랍습니다. 사람들은 직관적으로 느껴지는 패턴을 고르고 있고, 온갖 지어낸 이유로 초기에는 그게 괜찮지만, 이제는 그 성능을 객관적으로 측정하기 시작해야 합니다. 분명히 말하자면 그럴듯한 에이전트 패턴은 무한히 많으며, 우리는 (스킬부터 MCP, Audit, 뭐든 간에) 모든 것을 실제 정당성이 확보되기 전까지는 넷스케이프처럼 될 수도 있는 것으로 봐야 합니다.

  3. ArtRichards

    저는 TDD 스킬이라고 부를 만한 걸 쓰는데, 글 어디에서도 TDD가 무슨 뜻인지 찾을 수가 없었어요? TDD를 쓰도록 어떻게 프롬프트했나요? 왜 덜 효과적이었나요? 왠지 저를 겨냥한 느낌이 드네요 ;)

이 날의 다른 글

2026-11-17