Gemini 4 Carbon от Google возглавила рейтинг и обнулила успех атак промпт-инъекций
Google представила Gemini 4 Carbon — самую мощную модель с рекордными результатами в кибербезопасности и длительных агентных задачах. Carbon заняла первое место в Artificial Analysis Intelligence Index (59 баллов) и показала 88,2% в SEC-bench Pro, 54,8% в ExploitGym и 71,0% в CWE-bench. В ходе внутренних тестов модель снизила число успешных промпт-инъекций до 0,0% и уменьшила количество предупреждений о серьёзном рассогласовании почти на 80%. Пока доступ к ней получают только избранные киберзащитники, а цена остаётся как у Argon: $2 за миллион входных и $10 за миллион выходных токенов.
Хотя Argon ранее лидировал в бенчмарке Gray Swan по устойчивости к косвенным промпт-инъекциям с очень низким показателем успешных атак 0,7%, Carbon достигает 0,0% — отражая каждую оценённую попытку атаки.
- 827a
На данный момент, если бы менеджер Google вручил мне 100 долларов и сказал: «Разберись, как отправить промпт в Gemini 4 Argon», я уверен лишь примерно на 30%, что смогу это сделать. В приложении Gemini на моём телефоне последняя модель — только 3.8 Pro; внизу слева действительно написано «Ultra», но я совсем не думаю, что я на тарифе Ultra. Как мне подписаться на него с аккаунтом Workspace — это за пределами понимания наших светлейших умов.
Грустно смотреть, как они пытаются угнаться, когда они не хотят ничего, кроме как рухнуть под тяжестью собственной бюрократии, и на данный момент я не уверен, что для них осталась какая-то надежда.
- RajuChacha108
На данный момент совершенно ясно, что передовым моделям нужно лишь несколько уровней моделей.
1. Ultra — лучшая и самая дорогая для показухи и для правительства.
2. Pro — почти лучшая, но существенно дешевле для большинства продуктивных людей.
3. Flash — рабочая лошадка для всех.
4. Lite — для неотёсанных масс и крестьян.
Нет нужды привязывать к этим ярлыкам что-либо ещё. На самом деле индустрия могла бы просто стандартизировать эти названия, как SEMVER.
Может существовать внутреннее представление, которое давало бы конкретный номер модели, но этим компаниям стоит двигаться в сторону подхода Chrome. Никто не знает и не заботится о том, какая у него версия Chrome.
Для многих систем реальная базовая версия имела бы значение из-за надёжности. Это можно предоставить тем продвинутым пользователям.
- solarpunk_enthu
Учитывая, как быстро движется область, показывать бенчмарки, не выпуская модель, довольно бессмысленно. Если они решат выпустить её через месяц, вероятно, там будет более сильная конкуренция. И бенчмарки будут выглядеть не так хорошо.
- gavinray
Оценки бенчмарков перекрашены для читаемости:
- PreciousH
Только что вспомнил, что ещё не пробовал argon — они анонсировали argon тогда и отложили выпуск, я даже не знал, что они сделали его общедоступным. Не понимаю, почему Google считает это отличной стратегией на рынке, где есть другие действительно хорошие модели.
- MrOrelliOReilly
В этот век постоянных перемен я благодарен, что хотя бы могу по-прежнему полагаться на Google в вопросах запутанных, вечно меняющихся названий продуктов.
- zarzavat
Может быть, кто-нибудь должен рассказать команде Gemini об этих моделях. Когда я открываю gemini.google.com, я вижу 3.6 Flash и 3.1 Pro.
- cvladan
Меня уже реально начинает раздражать тот факт, что все компании синхронизируют все свои решения с фондовым рынком.
Делать это за два часа до сегодняшнего отчёта о прибылях.
Вероятно, это будет ужасный звонок по итогам квартала с точки зрения капитальных затрат, денежного потока и новых заимствований.
- eldenring
> Сокращение использования коротких путей и лазеек: с Carbon мы дополнительно снизили попытки использовать короткие пути при обучении, обеспечив при этом высокое качество программирования. Carbon снизил успешное мошенничество на Terminal-Bench 4.0 до 0,0%, а попытки смошенничать упали до 0,4% — и всё это при улучшении общей точности.
Вероятно, это сейчас самая важная вещь для того, чтобы передовые модели стали пригодными к использованию, так что я рад, что, похоже, есть некоторый прогресс. Это была, по моему мнению, самая большая проблема предыдущей Gemini.
- orbital-decay
>Сопротивление промпт-инъекциям: хотя Argon ранее лидировал в бенчмарке Gray Swan по косвенным промпт-инъекциям (IPI) с очень низкой долей успешных атак 0,7%, Carbon достигает 0,0% — отражая каждую оценённую попытку атаки.
«Мы закрыли все уязвимости, о которых знали». Между тем, промпт-инъекция в Argon (или любую другую модель) по-прежнему тривиальна, и Carbon не станет исключением. Потому что атакующий не ограничен тем, что оценил Google.
AI-компании слепы ко всему, что не является метрикой.