Arjun Panickssery: я не верю, что автономные ИИ столь изобретательны в R&D
I struggle to believe that AI R&D is ingenious
Автор LessWrong проверил, на что способны модели в самостоятельных исследованиях: движок для Scrabble, бот для Ultimate Tic-Tac-Toe и философский проект. Во всех случаях модели принимали базово слабые решения — не находили ключевые статьи, ставили эксперименты без информационной ценности и уходили в тривиальные направления. Исключение — задачи с быстрой обратной связью, где перебор вариантов работает. При этом, по его мнению, ИИ всё же могут удвоить продуктивность R&D, поскольку быстро реализуют эксперименты.
Мне интуитивно трудно поверить, что автономные R&D настолько изобретательны.
- intenex
Удивлён, что никто не упоминает тот факт, что внутренние модели, используемые передовыми лабораториями, на световые годы опережают публичные модели, которые есть у нас — согласно последнему отчёту METR, мы отстаём на три поколения — есть ещё невыпущенная модель от июля!
И последняя модель, которую они измерили, которая уже отстаёт от новейшей модели, над которой они сейчас работают, демонстрирует безумный скачок в возможностях: https://www.reddit.com/r/singularity/comments/1xorf5c/metr_r...
Это легко проверить эмпирически с помощью приблизительных расчётов — внутренней модели OpenAI, которая решила уравнения Навье-Стокса ~2 месяца назад, потребовалось 10 000 агентов, работающих 88 часов, или 880 000 суммарных часов, чтобы решить их. Месяц спустя, когда они выдали 722 математических доказательства с поистине ошеломляющими результатами, включая UGC, одному агенту в среднем требовалось всего 3 часа, чтобы получить эти результаты. Конечно, результаты не того же уровня, но некоторые из них действительно безумны — и даже если вы отбросите несколько цифр от 300 000-кратного ускорения, вы всё равно получите безумное ускорение возможностей.
И затем, конечно, ETH был опровергнут, и Anthropic заявила, что для этого их внутренней исследовательской модели потребовалось всего 14 миллионов выходных токенов.
Проще говоря, модели, которые передовые лаборатории используют для автономного ускорения R&D и которые заставляют их верить в скорое наступление RSI, совершенно не похожи на устаревшие модели, доступные нам публично. Утверждение, что сегодняшние модели не выглядят так, будто они смогут сделать […]
- mangecoeur
LLM далеко не гениальны и не инновационны. Главный способ, которым они могут вас удивить сегодня — это вытаскивание информации, новой ДЛЯ ВАС — я впечатлён алгоритмами, которые они иногда выдают, просто потому что никогда формально не изучал информатику. Но когда они вторгаются на мою территорию, я нахожу их очень примитивными, а для более масштабных вещей, вроде системной архитектуры, они ужасны — по своей природе у них нет «видения», как вся система сочетается вместе.
- ainch
Это также совпадает с моими инстинктами. Когда я пытаюсь отлаживать ML-пайплайны обучения или исследовательские проекты, предложения LLM, которые я получаю, почти всегда технически корректны, но они указывают на мелкие, нудные детали, которые на самом деле не имеют значения. По моему опыту, они за деревьями не видят леса.
Я скептически настроен, что дальнейшее масштабирование полностью решит эту проблему. Тем не менее, как отмечает один комментатор в оригинальном посте — решая рутинные вещи (создание диагностических инструментов, визуализаций, каркасов экспериментов), они всё ещё доказывают, что являются чрезвычайно полезными научными ассистентами.
- nfw2
Я также обнаружил, что очень трудно оставлять ИИ-агентов надолго предоставленными самим себе и получать от этого много пользы.
Возможно, у передовых лабораторий есть внутренние модели, настолько продвинутые, что автономные исследования становятся возможными, но я не уверен, что дело в этом.
Мне кажется, эти модели — как очень компетентная, важная часть некоего гипотетического цифрового мозга, но сами по себе они не обладают всеми нужными средствами, чтобы быть полезными, как гений с тяжёлым СДВГ и кратковременной потерей памяти.
Для всего, где качество не является объективным и однозначным, требуется очень осознанное управление контекстом, чтобы получать хорошие результаты. По мере расширения контекста производительность падает. По мере увеличения количества задач производительность падает. По мере увеличения количества независимых решений на основе субъективных критериев производительность падает.
Если вы можете создать обвязку, которая гарантирует, что каждое решение принимается по одному, сфокусировано только на необходимом контексте, всё работает отлично. Но создание таких обвязок всё ещё сложно, требует много работы, и агенты, похоже, понятия не имеют, как вам в этом помочь.
- rcxdude
Похоже, они действительно гораздо лучше в малом, чем в большом. Я согласен, что суждения сомнительны, и каждый отчёт о создании больших роёв, похоже, говорит о том, что это опирается на впечатляюще убывающую отдачу от производительности одного агента, особенно одного агента с человеком в цикле.
- p1necone
С одной стороны, да, я согласен.
С другой стороны, использование ИИ для прочёсывания всей чёрной работы, экспериментов и хорошо проторённых областей означает, что я могу подползти довольно близко к плечу этого гиганта и потратить гораздо меньше усилий на ответы на действительно важные вопросы, чтобы встать на него.
(Это не должно звучать самовозвеличивающе — гиганты, на чьих плечах я стою, не очень высоки, и у них, вероятно, есть старшие братья и сёстры, но идиома была слишком хороша, чтобы ею не воспользоваться)
- skew-aberration
Используя Fable для улучшения некоторых не-ИИ ML-моделей некоторое время назад, я получил похожий результат — он мог идеально реализовать любое моё предложение, но не мог работать автономно, потому что сам делал очень плохие предложения, или отвлекался на неправильные вещи, делал глупые предположения, не видел общей картины и т.д.
Однако эти проблемы кажутся довольно легко решаемыми, если бы я мог позволить себе 100 или 1000 агентов. Пусть они исследуют, соревнуются и сами разбираются со своими ошибками.
На практическом уровне я сейчас делаю гораздо больше «бонусной» R&D-работы, просто держа агентов запущенными и тестируя идеи в фоне.
- MiliasGeiger
> Во всех этих случаях суждение модели просто очень плохое в базовом смысле.
Это предложение сильно отозвалось во мне. Не только в R&D, но и в каждом отдельном взаимодействии с моделью. От Fable до Sonnet — все они очень явно демонстрируют полное отсутствие суждения, если только ответ уже не был виден во время обучения.