Эффект Waymo: как AI незаметно делает науку менее коллаборативной

Я работаю на стыке технологий, прикладных исследований и науки.

Одна вещь, которую я заметил в коллаборации, действительно происходит: у людей растёт уверенность говорить с убеждением о вещах вне их компетенции. У меня есть люди с ограниченным опытом в разработке ПО, которые выкатывают слои и слои абстрагированного кода — довольно изощрённого, но часто с ошибочным замыслом — и заявляют с убеждением, что то, что они делают, правильно.

Я также гораздо чаще слышу, как люди ставят под сомнение специалистов в их областях и оспаривают мнения, а потом слышу то, что могу представить только как фрагменты разговоров, которые они вели с LLM, обдумывая какой-то аргумент. Затем наступает тишина, когда обсуждаешь недостатки, а потом они возвращаются с заученными фрагментами того, что ты сказал, в сочетании с заученными фрагментами ответа LLM на аргумент.

Это происходит всё чаще. Люди относятся к своим LLM в коллаборации как к источнику истины и используют их, чтобы сосредоточиться на своём конкретном пути или целях, к которым, как им кажется или к которым у них есть предвзятость, они идут, вместо того чтобы просто открыто обсуждать вещи, рассматривать компромиссы, на которые влияют эксперты из разных дисциплин, и затем выбирать подход, который все находят наиболее приемлемым.

Из-за этого мне хочется быть гораздо менее склонным к коллаборации с такими людьми. Я не хочу сидеть и весь день опровергать текстовые выдачи Claude.

ИИ чрезвычайно полезен, но также чрезвычайно легко обмануть себя, думая, что понимаешь, что происходит, на самом деле не понимая. Это часто верно для кода, но также для математических и научных концепций и т.д.

Немногие профессии формально обучают осознанию этого недостатка понимания и тому, как с ним справляться.

Использование ИИ в коллаборативных условиях усиливает эти проблемы, особенно если человек не осознаёт, что не понимает: он не смог бы научить или объяснить концепции, которые использует, или быть вынужденным работать с ними гибко так, как это сделал бы эксперт или исследователь.

Если вы осознаёте своё непонимание, вы можете исправить это, замедлившись и обучая себя. Это необходимо, чтобы лучше использовать ИИ в интересующей области!

Но нельзя иметь всё сразу: нельзя двигаться быстро с ИИ, эффективно сотрудничать и понимать, что происходит, как эксперт. Это физически невозможно для человеческого мозга.

Интересно, не тупеем ли мы от ИИ

Я могу попросить ИИ провести анализ — SQL-запрос, посчитать цифры, и бам — какое-то точно звучащее число.

Но потом я его оспариваю, и тогда он говорит: «ты прав, я это не проверил».

Откуда я знал, что оспаривать? Благодаря той самой работе с трением — самому делать запросы, самому считать, а потом получать вопросы от руководства.

Я беспокоюсь о молодом поколении. Они быстро выдают результаты Claude, люди их оспаривают, а они говорят: «ок, я отнесу это обратно Claude».

Полагаю, они в конце концов научатся делать собственную проверку на вшивость, потому что у них всё ещё есть трение презентации другим.

И, может быть, моя модель — дело прошлого. Теперь все сразу после школы будут менеджерами (агентов). Они больше не делают работу, но им нужно будет ставить чёткие цели, проверять работу и привлекать агентов к ответственности.

Представление, что «каждое человеческое взаимодействие стоит сохранять», вероятно, неверно, и Waymo это демонстрируют. Как упоминает автор, многие люди не любят вынужденную светскую беседу с водителями Uber. Взаимодействие с людьми из разных слоёв и с разными взглядами важно, но я сомневаюсь, что вынужденные взаимодействия вроде поездок на такси — это то, откуда мы их получали до сегодняшнего дня.

Думаю, проблема та же, что и с любой технологией: при правильном использовании она добавляет ценность, при неправильном — отнимает.

LLM могут колоссально ускорить процесс, но без контроля они могут превратиться в социальные «источники истины». У исследовательского процесса есть чётко определённые, обоснованные этапы: вы ограничиваете тему, ищете источники, оцениваете, подходят ли они, изучаете их содержание и помещаете их на карту предмета. Чем больше источников, тем больше знаний, и тем лучше строится конечный результат — мысленный или в виде отчёта. Для этого нужно читать, и перечитывать, и думать, связывать, соотносить и делать выводы.

ИИ может выполнить все эти шаги быстрее человека. Но если мы позволим ему делать всю работу самостоятельно, по-своему, без проверок на каждом этапе, выводы могут оказаться искажёнными. Если мы знаем, что хотим, чтобы он делал и как, и мы внедряем механизмы для обеспечения этого, результат другой — лучше, надёжнее. Стоит помнить: это всего лишь инструмент, не более.

Формулировка этого комментария на английском была исправлена с помощью ИИ, у меня недостаточно беглости, чтобы ясно выражаться, но я проверяю конечный результат. В этом случае он перепутал времена глаголов, я это ясно увидел, но ИИ не понял, мне потребовалось несколько инструкций, чтобы объяснить так, чтобы он понял. Это инструмент, без присмотра он может привести к проблемам, но он расширил мир для многих людей.

Я вижу это и в текущем академическом исследовательском проекте — это как подливать масла в огонь для всех лучших и худших сторон работы с исследователями.

Во-первых: определённо стало труднее заставить людей интегрировать свою работу и использовать стандартные инструменты. Мы рассматриваем создание ИИ-навыков и т.п. для нашего инструментария просто потому, что реальная аудитория, которую нам нужно убедить, не находится в комнате. Если LLM не повторяет наши рекомендации, люди пойдут с любым одноразовым скриптом, который выдает их личный медвежонок плохих идей. Многие ошибки в исследовательском ПО — это крайние случаи (масштабирование, численные ошибки и т.д.), и синдром «у меня работает» эндемичен в литературе. Область добилась больших успехов в обеспечении вычислительной воспроизводимости, но в последнее время кажется, что мы готовы снова потерять позиции.

Во-вторых: у LLM есть склонность к действию, и они легко могут похоронить то, о чём сообщает пользователь. Я недавно видел несколько семинаров, где Q&A вырождается в «В: Каковы последствия этого открытия? О: Я не знаю, это просто представление отчёта о результатах».

Похоже, люди всё ещё выясняют, как сохранять субъектность и направлять чат-бота к общей картине, и непроверяемая наука столь же вероятный исход, как и непроверяемый код... но с гораздо меньшим количеством автоматизированных инструментов, помогающих вести процесс.

Исторически PI номинально направляли общую картину, а сущность, выполнявшая работу, была участником процесса рецензирования; теперь студентам приходится смотреть на проекты под новым углом wi […]

Думаю, это понятие трения против отсутствия трения — одна из ключевых черт нынешнего момента истории.

На мой взгляд, вся линия от персональных технологий 80-х -> через UX в интернете -> через привязку к платформам приложений -> через ориентированное на подписку «владение» давала нам всем обещание, что мы можем откупиться от трения. Следующее устройство или подписка решает проблемы или так или иначе даёт нам возможности. Мы видим эту линию истории, продлеваем её в будущее и видим утопическое будущее с нулевым трением.

Нулевое трение означает нулевую разницу между тем, как вы хотите чувствовать себя по отношению к миру, и тем, что вы из него получаете. Больше чувства empowerment, удовлетворённости, комфорта или правоты.

Те части нашей культуры, которые принимают трение, — это медленные части: ворчание с соседями, прополка сада, пропустить другую машину вперёд. Это те части, где мы встречаемся с реальностью других людей или природы. Может быть, есть инструмент, фреймворк или гаджет, который мог бы помочь, но мы знаем и принимаем, что есть что-то неизменное вне нас, и мы должны найти способ течь с этим.

Я старею, я наконец начинаю видеть пределы погони за жизнью без трения.