Forscher lassen KI gezielt Ideen finden, die kein Mensch je vorschlagen würde
The alien space of science: Coherent but cognitively unavailable directions
Wissenschaft wird nicht nur davon begrenzt, was wahr ist, sondern auch davon, was Forschenden überhaupt denkbar erscheint. Ein Team zerlegt Paper in „Idee-Atome“ und bewertet Kombinationen nach zwei Kriterien: wissenschaftliche Kohärenz und Erreichbarkeit für bestehende Forschungsgemeinschaften. Das System sucht gezielt kohärente, aber kognitiv unerreichbare Richtungen. Auf 16.068 LLM-Papers von NeurIPS, ICLR, ICML und großen NLP-Konferenzen liefert es vielfältigere Portfolios als Frontier-LLMs bei gleicher oder besserer Ideenqualität – und trifft rein auf Basis von Daten vor 2025 echte Kombinationen aus 2025 mit 35,9-facher Zufallswahrscheinlichkeit.
Indem wir wissenschaftliche Plausibilität von der Verfügbarkeit in der Community trennen, weist unser Framework den Weg zu KI-Ideenfindung, die menschliche Wissenschaft ergänzt statt sie nur zu beschleunigen.
- martincsweiss
Mitautor hier – erstes Paper aus meiner Postdoc-Zeit, angenommen zur NeurIPS-Hauptkonferenz.
Wir haben eine Methode gebaut, um vielfältige Ideen im Machine Learning zu samplen – Ideen, die wissenschaftlich Sinn ergeben, aber von keiner existierenden Forschungscommunity vorgeschlagen werden würden.
Kurz gesagt funktioniert es so:
1. Man nimmt 16.068 LLM-Papers (NeurIPS, ICLR, ICML, ACL, EMNLP, 2017 bis 2025) und zerlegt sie in 273 „Idee-Atome“. Jedes Paper und jede Kandidatenidee wird zu einer Menge von Atomen.
2. Trainiere ein Coherence Model: einen 42,8M-Parameter-Transformer, trainiert auf Papers als Sequenzen von Atomen. Im Grunde ein Sprachmodell, dessen Tokens Ideen sind.
3. Trainiere ein Cognitive-Availability Model: einen Dual Encoder, trainiert auf den Publikationshistorien von 39.791 Forschern, der vorhersagt, wohin jede Person plausibel als Nächstes gehen könnte.
4. Nutze diese Modelle, um gesampelte Tupel mit Reciprocal Rank Fusion zu bewerten (du willst Ideen, die gut zusammenpassen, aber kognitiv für niemanden verfügbar sind).
Wir haben es auf verschiedene Arten getestet. Eine interessante war, dass wir alle Papers Ende 2024 genommen und dann geprüft haben, welche hochbewerteten Tupel in Papers von 2025 auftauchten. Es hat gut funktioniert – ein Beispiel ist ein ICLR-2025-Oral, der von Rang 1.489 mit reiner Kohärenz auf die Top 25 von 1,14 Mio. Samples springt.
Ein lustiges: Wenn man Claude bittet, sich eine ML-Forschungsidee auszudenken, geht es oft um Interpretierbarkeit. Wenn man dann mit ein paar A100s eine Autoresearch-Pipeline auf die Idee ansetzt, ist das Ergebnis tendenziell 8 von 10 Mal Interpretierbarkeit. Unsere Alien-Sampling-Methode blieb bei […]
- unsupp0rted
Ich liebe das. Meine persönliche, völlig unbelegte Theorie ist, dass wir kognitiv in der Lage sind, uns weniger als 1 % dessen vorzustellen, was über das Universum wahr/zutreffend ist, und kognitiv in der Lage sind, 1 % von diesem 1 % zu verstehen.
- tauntz
Ein irgendwie ähnliches Konzept machte gestern die Runde, aber für Spiele statt für Wissenschaft.
- smallerize
Verdammt, das war die Killer-App für semantische Räume, auf die ich seit Word2vec gewartet habe.
- Error6571
Semantisch ähnliche Papers: https://papermatch.me/?q=2603.01092