Недетерминизм LLM не имеет значения, потому что важен только результат
Non-Determinism Doesn't Matter
Автор годами считал недетерминизм вывода LLM фатальным недостатком для разработки. Но, начав использовать AI как основной способ написания кода, он понял: точным должен быть результат, а не путь к нему. LLM — это акторы в системе, а код — лишь выход. Чтобы уменьшить случайность, инженеры превращают недетерминированный вывод в детерминированные инструменты, которые агенты вызывают для точных операций, экономя токены.
Мне кажется удивительным, что сегодня мы можем использовать случайность так, чтобы уменьшить случайность в будущем.