TabPFNとTabICL、チューニング済みXGBoostに14戦全勝——学習しないモデルが表形式データで勝利
TabPFN and TabICL vs. tuned XGBoost: the model that doesn't train won 14/14
表形式の基盤モデルは、新しいテーブルに一切学習せず、文脈としてデータを受け取るだけで予測を返す。著者は14のデータセットでTabPFN、TabICL、チューニング済みXGBoostを同一条件で比較。結果、基盤モデルが14戦全勝し、ハイパーパラメータ探索なしでチューニング済みブースティングを上回った。予測時間は1秒未満から数秒で、従来の何時間もの探索を不要にする可能性を示す。
「学習」という動詞が奇妙に響くのはそのためだ。コードは依然として`fit`を呼び出すが、内部に勾配降下はなく、カードへのデータのコピーがあるだけだ。
HNでの議論
12- rdedev
表形式の基盤モデルは、最初に調べたときにはなぜそんなにうまく機能するのか理解できない類のものだが、実際に機能する。
創薬特性予測の領域では、表形式の基盤モデルと分子用の別の基盤モデルを組み合わせたものは、ほぼ最先端に近い。
ちなみに、この記事はAIを多用しているか、そういう書き方になっている。不要なドラマチックな装飾が多くてとても疲れる。
- icfly2
いい小さなテストだが、このAIライティングは本当に苦痛だ。ブログ記事を量産したいのはわかるが、こんな息切れするようなスタイルで書かないでほしい。LLMには実験レポートを書いていると伝えてくれ。
- opensandwich
おそらく、xgboostやtabmに対してうまくいくときとそうでないときをより興味深く探求したものはこちら
https://engineering.block.xyz/blog/blocktabbench-evaluating-...