Gemini Omni 1.1 Flash: теперь с продлением сцен, 4K и ускоренным прототипированием
Google DeepMind представила Gemini Omni 1.1 Flash — обновление генеративной видеомодели, которое делает её пригодной для профессионального использования. Новые возможности включают продление сцен с учётом до 10 секунд предыдущего контекста, генерацию видео по первому и последнему кадрам, черновые превью в 360p (до 60% быстрее и втрое дешевле), апскейл до 4K и поддержку видеоссылок в мультимодальном вводе. Модель доступна через Gemini API в Google AI Studio, а также в Agent Platform API и Google Flow.
С Omni 1.1 модель теперь может анализировать до 10 секунд предыдущего контекста — значительный скачок по сравнению с предыдущими моделями, которые учитывали только последнюю секунду.
- petcat
Недавно услышал радиоролик, и задумался, был ли голос реальным человеком или ИИ. Интересно, как такие индустрии справляются с этой gen-AI революцией. Мы много времени здесь тратим на размышления о том, как она влияет на разработчиков ПО, но почти не вижу обсуждений того, как она влияет на актёров озвучки и кино.
- 037
Совет по промпт-инжинирингу для сотрудников Google: просто добавьте "P.S. Убедитесь, что страница работает и в Firefox."
- simonw
Интересно, что OpenAI полностью забросил Sora, а Google продолжает активно инвестировать в собственную генерацию видео. Может, потому что они видят в генерации видео ключ к созданию "мировых моделей"?
- Nihilartikel
Я позволил себе слегка обрадоваться прошлому релизу Omni, но оказалось, что он (и этот) не умеет делать одну практичную вещь, которая мне нужна — синхронизировать сгенерированное видео с предоставленным готовым аудио. Тем временем я с удовольствием использую Minimax H3 локально на своей 12Gb 4070RTX, чтобы наконец закончить синхронизацию губ с записанным диалогом в моих заброшенных 20-летних хобби-проектах Flash-анимации.
- guilhermeasper
Google делает что угодно, кроме выпуска новой версии Gemini Pro.
- cube00
Черновики видео эффективнее в 360p. Звучит здорово, но быстро разочаровываешься, когда запускаешь тот же промпт в стандартном разрешении и получаешь другой результат, потому что это недетерминированно.
- Gecko4072
Итак, Seedance хорош в основном благодаря TikTok, а этот — благодаря YouTube. Интересно, какая часть всех записанных видео хранится приватно на жёстких дисках у людей дома или в Apple Photos. Конечно, есть разметка и очистка данных, но является ли следующая эволюция просто вопросом доступа? То же самое с LLM. Захотят ли люди продавать свои данные? Это довольно паршивый способ сделать себя устаревшим. Или есть предел масштабирования?
- rcr-anti
Это, безусловно, упрощает демонстрации, но я всегда испытываю трудности с практическим применением. То есть какую работу или удовольствие человек реально получает от этого? Реклама и медиа-препродакшн кажутся правдоподобными, но это не проходит проверку "как это обогащает жизнь" так, как большинство других ИИ-инструментов. Может, для них это не важно, если их интересует только другое значение слова "обогащать", которое может исходить от рекламы и одурманивающих потоков хлама. Почему мы смотрим на искусство, смотрим видео/фильмы? Можно ли это воспроизвести как функцию текста, других существующих медиа и 3–30 центов вычислений в секунду? Я довольно функционалистски отношусь к этим вещам, и в какой-то момент, вероятно, невозможно будет отличить. Но до тех пор, пока мы не скажем "смерть автора", это похоже на категориальную ошибку. Я работаю с художниками, которые используют модели генерации видео и изображений для создания контента, но, насколько я могу судить, их интересует более быстрая итерация и контроль над множеством промежуточных шагов (их графы могут быть довольно запутанными).