TabPFN und TabICL schlagen getuntes XGBoost auf allen 14 Tabellen
TabPFN and TabICL vs. tuned XGBoost: the model that doesn't train won 14/14
Ein tabulares Foundation-Modell, das ohne Training auf der Ziel-Tabelle auskommt, hat in einem Benchmark mit 14 Datensätzen getuntes XGBoost besiegt. Der Autor verglich TabPFN und TabICL mit einem XGBoost, dessen Hyperparameter per Zufallssuche über 25 Kombinationen optimiert wurden. Die Modelle sagen in einem einzigen Forward Pass voraus, wobei die Vorhersage – nicht das Fit – die Rechenzeit bestimmt. TabICL gewann oder glich in allen Fällen; TabPFN brach bei 419 Spalten ein.
Ein tabulares Foundation-Modell sagt auf einer Tabelle voraus, ohne jemals auf ihr trainiert worden zu sein, und schlägt dennoch getuntes Boosting.
- rdedev
Tabellarische Foundation-Modelle sind so eine Sache: Wenn man sich zum ersten Mal damit beschäftigt, ergibt es keinen Sinn, warum sie so gut funktionieren sollten, aber sie tun es.
Im Bereich der Vorhersage von Arzneimitteleigenschaften sind tabellarische Foundation-Modelle in Kombination mit einem weiteren Foundation-Modell für Moleküle ziemlich nah am State of the Art.
Übrigens: Der Artikel macht starken Gebrauch von KI oder ist zumindest in diesem Stil geschrieben. Eine Menge unnötiges dramatisches Getue, das sehr ermüdend ist.