Модели обучены на посредственных оценках, а не на экспертизе

Я бормочу себе под нос эту фразу время от времени на протяжении многих лет:

Работа каждого выглядит лёгкой, пока тебе не придётся делать её самому.

Вчера мне пришло в голову, что этот момент с ИИ — крайнее выражение этого для большинства людей, то есть менеджеров, которые не понимают, почему трата токенов на всё подряд не ускоряет всё в 5 раз.

> Модели не боятся будущих сожалений.

Я так сильно чувствую именно этот момент. Все модели до сих пор (включая astra, fable) слишком сильно обучены "сделать работу" и пройти бенчмарк, настолько, что им вообще плевать, что произойдёт после.

Мне просто интересно, почему никто не попробовал RL-обучение модели на таких вещах, как "меньше LOC" и "меньше переусложнения", "используй то, что доступно в окружении, вместо изобретения велосипеда", "не ищи тупые угловые случаи" и т.д.

Существующие модели можно направлять в некоторой степени, но это непрерывная борьба. Даже со специальными навыками/промптами.

Кто-нибудь видел проект Corridor Crew по машинному обучению для зелёного экрана? Они на YouTube, и они обучили модель, используя 3D-объекты, которые имеют идеальную прозрачность, а затем добавили постфактум зелёные/синие экраны. Удивительно, но потребовалось очень мало обучающих данных, так как использованные данные были идеальны по построению. Я думаю, сейчас это лучший плагин такого рода в мире, и они создали прототип примерно за выходные.

Что, как мне кажется, это ясно иллюстрирует: такой тип технологии очень хорошо реагирует на хорошие данные, а чтобы иметь хорошие данные, нужна чёткая цель.

Вот почему кажется, что выравнивание для обобщённого чат-ИИ — очень сложная проблема, возможно, неразрешимая. Вы не можете выровнять его для решения определённого типа задач и сохранить его общим для любого вопроса. Эти две цели конфликтуют друг с другом.

Кажется, именно Сэм Альтман сказал (не помню когда и где, извините), что причина, по которой он был так уверен в этой технологии, — он заметил гигантские скачки в определённых областях в ответ даже на небольшое количество обучения.

(Вот почему LLM так сильны в программировании — оно сверхпредставлено в обучающих данных. Моя догадка: если спросить передовую модель о макияже, вы увидите, как она повторяет рекламные тексты косметических компаний, а не получаете урок химии.)

Это имеет perfect sense, но, кажется, это несколько противоречит концепции общего ИИ, чья задача — просто быть умным в достижении любой цели. Как обучать под любую цель?

Наверное, в [...]

Единственное выравнивание, которому должны следовать LLM, — это системный/девелоперский промпт, и ничего больше. Тогда вы решаете всё, и можете возложить вину/ответственность на пользователя. Провайдер(ы) не должны иметь возможности решать "выравнивание".

Я уже приводил этот пример, но рассмотрим целенаправленное ухудшение AI-инжиниринга в SotA-моделях. Представьте, что MS может обнаружить и запретить вам работать над конкурирующим ПО, используя Windows/VisualStudio. Мы бы взбунтовались, и их бы разорвали в секунду. Но ведущие лаборатории делают это, и это как-то хорошо?

Просто следуйте за деньгами. Страх, который продают, — потому что открытые веса не замедлятся, это дым и зеркала, чтобы протолкнуть регулирование и контроль, чтобы они могли сохранить свои деньги. Инструмент остаётся просто инструментом, неважно, сколько помады вы на него нанесёте.

Когда видишь уровень читерства и обмана: я думаю, они выровнены по Сэму Альтману.

Последний абзац делает всю тяжёлую работу.

У каждого своё представление о том, что допустимо. Мы даже не можем решить проблему выравнивания среди людей, что заставляет нас думать, что возможно решить выравнивание с ИИ? Это неустранимая сложность.