Вы хороши в ИИ или просто используете его?
Are you good at AI, or just using it?
Мы работаем над лестницей индивидуального владения ИИ и хотели бы получить обратную связь по уровням и определениям. В разговорах с клиентами мы обнаружили, что люди плохо оценивают собственный уровень владения ИИ: частое использование часто принимают за мастерство. Мы хотим более объективный, основанный на поведении способ различать эти понятия.
Они примерно правильные уровни, хотя: - Оркестрация ситуационно полезна. Часто лучше использовать агентов последовательно, а не параллельно. Большинство людей, хвастающихся параллельными агентами или оркестрированными рабочими процессами, просто хвастаются. - Автоматизация трудно определима. Не каждый процесс требует автоматизации. Но всё, что защищено механическим (детерминированным) процессом, ОЧЕНЬ полезно для удержания агентов в рамках. - «Петля» — это не совсем то. Петля, как её сейчас описывают в этой области, касается автоматизации процесса так, чтобы он оставался полностью внутри LLM (что, кстати, мечта). Они на самом деле говорят, что вам больше не нужно писать промпты! Это тупик. Однако «петля» в смысле, который вы описываете (возврат результатов в документацию), допустима.
Мне всё равно, какой у меня уровень. Я запускаю его, пытаюсь сформулировать запрос, что мне нужно, и делаю дело. Если он не делает то, что я хочу, я обновляю свой запрос соответственно.
Мне не кажется правильным рассматривать это как лестницу. Вы не улучшаетесь, поднимаясь вверх. Это разные техники и способы реализации и интеграции LLM. У каждой есть свои случаи использования и плюсы-минусы, как и в любой другой теме в разработке ПО и систем. Роль инженера — понимать и управлять компромиссами.
«Автоматизация» и «Петля» — определённо неудачные названия, учитывая, что весь ИИ автоматизирует, а дешёвые подписки делают петлю, чтобы выполнять задачи даже на вашем L2. Я бы не назвал шаги на этой лестнице «владением», на мой взгляд, они слишком близки друг к другу. Кто-то может пройти 0-2 за несколько минут, если он комфортно и с энтузиазмом читает базовые чат-интерфейсы. 3/4/5 — это как если бы это было дерево технологий в видеоигре, все три открывались бы одновременно при исследовании 2.
Просто умение использовать ИИ уже впечатляет; вам не нужна способность разрабатывать ИИ. Я считаю, что вам следует быстро применять ИИ в областях, которые вам знакомы. Скоро вы обнаружите, что ИИ может и что не может для вас сделать. После этого вы сможете найти области, которые вам нужно обдумать и исследовать глубоко, а те, что следует оставить ИИ.
L9: решение реальных проблем с помощью ИИ, а не просто увеличение скорости дерьмовой петли.