GPT-6 Astra прошёл тесты Zstd за $1 вместо $3,50 у GPT-5.6 Sol

Test/verification technique effectiveness with Astra

Dan Luu повторил свой прежний тест на реализацию Zstd по RFC уже с GPT-6 Astra и увидел два сдвига: модель настолько выросла, что прежняя задача перестала быть сложной (полная корректность более 99% при затратах $1 против 63% за $3,50 у GPT-5.6 Sol), а агенты стали осмысленно применять фаззинг и дифференциальное тестирование. На более трудной задаче с Pandoc ни одно условие не дошло до 100%, а прогон обошёлся примерно в $90 тыс. по прайсу.

При 5.6 Sol было очевидно, что тестовые условия в целом не делали полезной работы: почти ни одно условие не превзошло Default, а тесты, порождённые остальными условиями, были в основном нелепыми и не отражали ценность самой техники.
  1. kooi

    Хороший пост. Отличная мотивация присмотреться к формальной верификации. Сегодня был тот пост про Aristotle, который, похоже, представляет собой управляемый промптами, готовый к использованию верификатор на основе Lean.

    Это наводит на мысль, что генерация формальных требований с помощью LLM для собственного «Aristotle» вполне возможна.

    Просто думаю о наших собственных проектах в области обработки сигналов. Хороший путь мог бы быть таким: человеческий язык -> спецификации временной логики для тестирования чёрного и белого ящика во время выполнения.

    Существуют генераторы кода, которые превращают формальную логику в монитор времени выполнения. В прошлом я никогда не использовал их дальше игрушечных примеров, потому что это так многословно.

    > Цель этого поста — продемонстрировать, что в эпоху ИИ-кодинга всё ещё можно принимать решения на основе доказательств, а не ощущений.

    Вот в чём разница между инженером и скрипт-кидди.

    Экспертиза в предметной области всегда будет ценна.

  2. reedf1

    Действительно мощная вещь, которую вы здесь сделали, — это начало создания таксономии паттернов агентов. Учитывая, что мы почти все инженеры в этой области, я поражён недостатком инженерии. Люди выбирают паттерны, которые кажутся им интуитивными; по разным выдуманным причинам это нормально в начале, но нам нужно начать объективно измерять их производительность. Следует сказать, что существует бесконечное множество правдоподобных паттернов агентов, и мы должны рассматривать все (от skills до MCP и Audit, что угодно) как нечто, что может пойти по тому же пути, что и Netscape, пока не появится реальное обоснование.

  3. ArtRichards

    Я использую то, что назвал бы навыком TDD, но я не смог найти в статье, что вы имели в виду под TDD? Как вы задавали промпт, чтобы он использовал TDD? Почему это было менее эффективно? Я чувствую себя задетым ;)

Ещё за этот день

2026-11-17