Я — поводырь для компьютера: как я вручную отлаживаю код, который пишут LLM
I'm a seeing-eye dog for a computer

Автор, разработчик ПО для роботов, делится опытом использования LLM-ассистентов для написания кода. Он обнаружил, что, хотя модели отлично справляются с рутиной, их визуальное отладочное взаимодействие оставляет желать лучшего: им не хватает понимания физического мира, а инструменты для управления GUI медленны и неудобны. В итоге он вынужден сам выполнять визуальную отладку, делая скриншоты и объясняя модели её ошибки, что напоминает роль поводыря для слепого компьютера.
Похоже, никакое количество обучения на тексте не может дать языковой модели хорошее представление о том, как выглядит нормально работающий робот.