Почему инструменты на базе AI не заслуживают доверия
What Would a Serious AI Product Look Like?
Автор разбирает, чего не хватает современным AI-продуктам, чтобы считаться серьёзными инструментами для работы. Главная претензия — отсутствие встроенных механизмов проверки ошибок: чат-боты предупреждают о возможных неточностях, но не дают инструментов для их выявления. Также предлагается отображать цитаты крупно и с метаданными, отказаться от первого лица и извинений, создавать специализированные интерфейсы вместо универсального естественного языка, показывать происхождение данных и давать пользователю контроль над воспроизводимостью.
Если ваш продукт говорит мне, что он делает ошибки и я должен сам их проверять, но при этом не даёт мне никаких инструментов для проверки ошибок, я не могу относиться к нему серьёзно.
- ramity
Я очень благодарен за раздел о воспроизводимости. Утверждаю, что это самая большая проблема во всей этой области. Вы МОЖЕТЕ иметь temperature и детерминизм. Я ждал шесть лет, чтобы крупный провайдер предложил это, спрос есть, но я постепенно осознал, что текущая теория игр этого не поддерживает.
Для провайдеров отсутствие поддержки детерминированной оценки означает:
- пользователи тратят больше токенов = больше денег
- провайдеры могут генерировать больше токенов на вычисление = больше денег
- у провайдеров более дешёвые варианты оборудования (GPU) = больше денег
- модели провайдеров сложнее извлечь/дистиллировать = больше денег
- провайдеров сложнее привлечь к ответственности за вывод = больше денег
- провайдеры могут тайно использовать другие модели = больше денег
- провайдеров сложнее сравнивать с другими = больше денег
- провайдеры могут отбирать результаты производительности = больше денег
- awakeasleep
Я всё время размышляю над проблемой «вывода от первого лица».
Я полностью согласен с автором в том, что это бессвязный интерфейс для инструмента. Но более того, это постоянное раздражающее напоминание мне о том, что эти LLM на самом деле не думают и не синтезируют новые идеи. LLM принципиально не является человеком и не обладает человеческим контекстом, поэтому представление себя с помощью человеческих местоимений и речевых шаблонов принципиально противоречиво и неточно. Автор касается этого в извинениях, но как только начинаешь это замечать, оно повсюду.
Если бы эти программы действительно были способны думать и стремились к правдивости, они бы представляли себя по-новому, и это было бы проницательно и интересно. Мы, пользователи, не имели бы удобного и вводящего в заблуждение языка, маскирующего «чужой интеллект», и это была бы странная адаптация, но мы бы адаптировались, а не притворялись.
- dofm
Что касается фразы «AI может ошибаться, поэтому перепроверяйте ответы» — это суть нашей будущей преисподней: детерминированное программное обеспечение заменяется AI и юридическими оговорками.
Причина, по которой фирмы не хотят инвестировать в то, чтобы проверка фактов стала первоклассной функцией, заключается в том, что видимость правоты — это то, что люди хотят от AI.
- sligbad
Действительно освежающее чтение. Это бросается в глаза во многих из них, а методы заставить всё «вести себя правильно» путём просто добавления дополнительных markdown-подсказок на разных уровнях — это и глупо, и неэффективно.
- julesrms
Хорошее чтение. Думаю, есть много людей, которые доходят до точки, когда хотят стряхнуть новизну опыта агентного кодинга и сделать всё это немного более взрослым.
Тема контроля контекста всегда была моей болью. История прокрутки, которую показывают большинство агентов, — это не то, что читает модель. Вещи суммируются, отбрасываются, кэшируются или вообще никогда не включаются, а транскрипт продолжает показывать оригинал, как будто он всё ещё там.
Это меня настолько раздражало, что я сделал своего собственного агента: https://juggler.studio, явно чтобы дать возможность поработать с реальным контекстом. UX полностью посвящён тому, чтобы было легко навигировать и визуализировать каждый кусочек контекста и даже позволить вам его редактировать. При этом кажется, что другие обвязки активно пытаются скрыть его от нас.