Apple не ожидала такого спроса на Mac mini и Mac Studio со стороны ИИ-индустрии

Существует много "спроса на ИИ", который не сводится к запуску инференса на LLM, чьи веса вы скачали.

Я обучаю модель с использованием обучения с подкреплением с самоигрой. Я могу и использую vast.ai при масштабировании, но для экспериментов гораздо быстрее и дешевле запускать локально, пока все ошибки не будут исправлены. Просто выделение нового инстанса и копирование соответствующих чекпоинтов и прочего может занять 25 минут. Локально это занимает ноль времени.

Мне интересно узнать, действительно ли эти локальные ИИ-установки полезны по сравнению с облаком. Я много боролся, чтобы получить что-то полезное из моего железа.

Я понимаю, что у меня несколько ограниченное железо (16GB RX 9070), но все равно кажется, что это далеко от того опыта, который дает даже базовая подписка за $20 в месяц.

Буду признателен за любые советы! Я бы хотел использовать локальный ИИ в первую очередь и готов купить железо для этого.

Забавно видеть, что даже очень крупная компания может обнаружить неожиданное соответствие продукта рынку [0]. Согласно этой статье, "Компания, как сообщается, не имела инженерной команды,专门 занимающейся корпоративными клиентами, или сотрудников, занимающихся отношениями с разработчиками, и у нее не было корпоративной ИИ-стратегии". Это звучит безумно задним числом, но я думаю, что в том, что людям на самом деле нужно и для чего они будут использовать вещи, есть inherent uncertainty.

[0]https://pmarchive.com/guide_to_startups_part4.html: "На великом рынке — рынке с большим количеством реальных потенциальных клиентов — рынок вытягивает продукт из стартапа... Продукт не должен быть великим; он просто должен в основном работать."

Mac Mini также были отличными кандидатами на роль HTPC до бума ИИ. Как и все по-настоящему полезные и доступные вещи, они были выхвачены из рук обычных потребителей кучкой проходимцев, гонящихся за очередной золотой лихорадкой.

Что происходит, так это то, что Apple отстает в создании ИИ-моделей? Я думал, что читал где-то на MacRumors за последние два года, что Apple отстает от своих технологических коллег, и Apple могла бы просто закрыть двери.

Я всегда думал, что Apple находится в хорошем положении, потому что, в отличие от своих коллег, они не сожгли миллиарды долларов, пытаясь создать ИИ-модель, у которой нет финансового рва вокруг нее.

Я все еще думаю, что они в хорошем положении по сравнению со своими технологическими коллегами, и мы узнаем еще больше, когда некоторые из новых компьютеров попадут в руки некоторых технических обозревателей.

Я считаю, что новые компьютеры будут довольно хорошими с точки зрения железа, но меня интересует программная поддержка Apple для соединения нескольких компьютеров Mac вместе, а также некоторое другое (новое?) программное обеспечение, которое Apple могла написать внутри компании для поддержки тех, кто хочет запускать ИИ-программы локально, что так же важно, как и новое железо.

Я очень надеюсь, что с приходом Тернуса к руководству Apple начнет вспоминать, что у нее есть продукты, кроме iPhone.

У меня складывается впечатление, что они хотят маркетинговых очков за ИИ, но на самом деле не хотят, чтобы люди использовали локальный ИИ на их продуктах.

Понятия не имею, почему. Они могли бы быть очень успешными, если бы сделали ставку на локальный ИИ.

Не только дорогие модели. Neo распродан до конца сентября в бюджетном сегменте; похоже, он пользуется огромным успехом у старшеклассников и студентов.

Надеюсь, Apple сможет использовать все эти деньги и выпустить стабильные релизы, как раньше; баги в таких вещах, как Family Sharing, болезненное "обновление" приложения Настройки и т.д., могли бы использовать много любви.

Большинство из этих людей будут разочарованы, когда столкнутся с Q4-вариантами этих моделей, застревающими в циклах.

Я бы подождал, пока кризис с ОЗУ закончится, чтобы получить будущую видеокарту с 64 ГБ ОЗУ для запуска Q8-моделей. До тех пор — облачный инференс.