Модель, которая не обучается, победила настроенный XGBoost на 14 таблицах из 14

TabPFN and TabICL vs. tuned XGBoost: the model that doesn't train won 14/14

Модель, которая не обучается, победила настроенный XGBoost на 14 таблицах из 14

Я проверил на 14 датасетах из бенчмарка Grinsztajn, действительно ли табличные фундаментальные модели TabPFN и TabICL превосходят тщательно настроенный XGBoost. Правила жёсткие: одинаковые сплиты, пять сидов, медиана, а поиск гиперпараметров XGBoost включал 25 комбинаций с трёхфолдовой кросс-валидацией. Фундаментальные модели ни разу не обучались на этих таблицах — они получают обучающие строки как контекст и выдают прогноз за один проход. Итог: TabICL выиграл на 14 из 14, TabPFN провалился только на широкой таблице Bioresponse.

Фундаментальная модель предсказывает по таблице, никогда на ней не обучаясь, и всё равно побеждает настроенный бустинг.
  1. rdedev

    Табличные фундаментальные модели — это одна из тех вещей, которые, когда впервые с ними сталкиваешься, кажутся нелогичными: почему они так хорошо работают? Но они работают.

    В области предсказания свойств лекарств табличные фундаментальные модели в паре с другой фундаментальной моделью для молекул уже почти достигают уровня state of the art.

    Кстати, статья активно использует ИИ или написана в таком стиле. Много ненужной драматической напыщенности, которая сильно утомляет.

  2. icfly2

    Неплохой небольшой тест, но боже, это написанное ИИ — просто боль. Я понимаю, что ты хочешь клепать посты в блог, но пожалуйста, не пиши в этом задыхающемся стиле. Скажи своей LLM, что она пишет лабораторный отчёт.

  3. bronlund

    Этот ИИ-шлак утомляет.

    Edit: Меня заминусовали, и, скорее всего, это сделал сам зачинщик ИИ-шлака. Представь, что ты настолько гордишься своим шлаком, что воспринимаешь критику на свой счёт как личное оскорбление :D

    Теперь мне интересно, насколько много в его блоге именно такого.

    Edit 2: Похоже, что весь. Например, та статья про Intern-Decision от 26 сентября 2026. Автор установил его, исправил три ошибки, протестировал на 27 256 днях погоды и опубликовал отчёт в тот же день, когда он вышел.

    А потом умудряется раздражаться, когда кто-то на это указывает :D

    Edit 3: Поймите меня правильно. Я полностью за ИИ и сам произвожу свою долю ИИ-шлака, но он почти исключительно для внутреннего использования, и я не могу представить, чтобы подавать его как премиум-контент. А если бы мне захотелось что-то из этого опубликовать, я бы позаботился о том, чтобы это было чётко помечено: сгенерировано ИИ.

Ещё за этот день

2026-09-28