Apple готовит приложение Harbor, превращающее Mac в приватный сервер для локального AI
Apple has new Mac app coming to make running local AI models easy
Утечка раскрыла новый Mac-приложение Apple под названием Harbor: оно запускает открытые модели прямо на Apple silicon, не отправляя данные в облако. Несколько Mac можно объединить по Thunderbolt 5 и сложить их общую память в единый ресурс — тогда потянут модели, не влезающие в один компьютер. Настройка занимает минуты, без командной строки. Сейчас Harbor в закрытом превью под брендом Claris.
Harbor превращает ваш Mac в приватный сервер AI-инференса. Запускайте открытые модели локально на Apple silicon — ваши данные никогда не покидают ваше железо, и ничего не уходит в облако.
- brainless
Я действительно не понимаю ценности запуска больших моделей локально. Я абсолютно неравнодушен к локальным моделям, но для конкретных задач. В этом случае агентам нужно проделать много работы: оркестрация, разделение планирования и работы на большую или маленькую модель, разбиение на мелкие задачи, слияние и т.д.
LLM с моделями менее 30B параметров кажутся золотой серединой. Я бы скорее сосредоточился на множестве крошечных LLM, настроенных на конкретные задачи (SQL-запросы, финансы/бухгалтерия, бэкенд/фронтенд-разработка и т.д.).
Для больших моделей подписка Neuralwatt/Opencode Go за $10-40 или любая подобная подписка дает среднему пользователю так много, что это смешно. Мы все еще находимся в «юношеской» эре агентов. Есть много паттернов, которые хорошо работают с меньшими LLM. Или с комбинацией большая-маленькая LLM.
Мой контекст:
У меня есть крошечный 16GB M4 Mac Mini, и я использую LLM (агентов для кодинга) для создания программного обеспечения, а несколько моих продуктов используют LLM напрямую. Я полноценный пользователь LLM, не читаю и не пишу код вручную. Иногда я запускаю крошечную серию Qwen (<10B параметров), но пары подписок за $20 (Claude, Neuralwatt) хватает для моего полноценного использования агентов.
- pen2l
Apple, на мой взгляд, победитель в конце этой главы истории ИИ.
Дистилляция работает: мы можем получать модели более компактными, с лучшей производительностью при все меньшем и меньшем числе параметров, более эффективными, работающими локально. Apple это понимает, и мы увидим результат с чипами M7 Max/Ultra, и я полагаю, что это будет одним из титульных приложений при представлении линейки чипов M7.
Думаю, это объясняет спешку Anthropic и OpenAI с IPO, чтобы обналичить деньги и оставить розничного инвестора с носом.
- simonw
«Harbor в настоящее время находится в закрытом предварительном просмотре под брендом Apple Claris»
Давненько я не слышал это имя! Claris (всегда дочерняя компания Apple, с момента основания в 1987 году) переименовалась в FileMaker в 1998 году, но, видимо, в 2019 году они вернули бренд Claris.
Похоже, за последнее десятилетие они в основном просто выпускали ежегодные обновления FileMaker, но в прошлом году они добавили в него MCP: https://www.claris.com/blog/2025/why-mcp-matters-for-claris-...
- jedbrooke
> Кластер для масштабирования: «Подключите два или более Mac с поддержкой Thunderbolt 5, и Harbor объединит их унифицированную память в единый ресурс для инференса. Запускайте модели, превышающие возможности любого отдельного компьютера, или обслуживайте больше одновременных запросов в вашем кластере.»
Похоже, это основной способ, которым он будет отличаться от существующих решений вроде LMStudio и т.п.
- apparent
Вот чего я хотел последние несколько лет. Я экспериментировал с локальными моделями и добился некоторого успеха, но не хочу возиться с настройкой, обновлениями и т.д.
Если бы все это было просто, я бы с радостью вложился в новое специализированное оборудование для запуска. Это мог бы быть полноценный Mac или устройство типа улучшенного HomePod, набитое оперативной памятью. Еще лучше — возрожденный Airport с поддержкой Matter!
- mgiampapa
Мне нравится, что они возвращают Claris для этого. Муф!
- gizmodo59
Я очень хочу иметь мощные модели локально, но мне не по карману такое оборудование. Если бы был волшебный способ запустить glm 5.3 без квантования на 80-100 tps с общими затратами менее 10K, я был бы счастлив, но сейчас это невозможно.
- quaddoggy
Поразмыслив, это имеет смысл: Claris могла бы взяться за такой проект под эгидой Apple. Они дочерняя компания, так что могут возиться с такими вещами, не соблюдая драконовские повседневные операционные ограничения «собственно Apple». Молодцы, если смогут развернуться в сторону чего-то, что соответствует ИИ.