Für Posttraining gibt es kein Common Crawl – und das verändert die Machtverhältnisse in der KI
There is no posttraining data commons
Beim Pretraining griffen alle auf einen riesigen öffentlichen Wissensschatz zurück: Wikipedia, ArXiv, Stack Exchange, Common Crawl. Für Posttraining existiert nichts Vergleichbares, denn dort werden keine Dokumente, sondern Aufgaben verbraucht. Selbst im gut dokumentierten Softwarebereich erweisen sich die meisten Aufgaben als unbrauchbar: Von über 90.000 GitHub-Pull-Requests blieben am Ende nur 2.294 für SWE-bench übrig. Wer die Aufgaben besitzt, kontrolliert künftig, welche Arbeit KI leisten kann.
Pretraining verbraucht Dokumente, Posttraining verbraucht Aufgaben.
- dlwh
Hi, ich habe das vor ein paar Wochen geschrieben. Hätte nicht erwartet, das hier zu sehen, etc., etc.
Ich beantworte gerne alle Fragen. Wir haben einen Discord https://marin.community/
- mrkn1
Eine sehr akademische Art zu sagen: Wir haben all die Daten der Welt, außer den Daten, die wir tatsächlich brauchen. Man fragt eine Firma, wie etwas funktioniert, und sie sagt:
„Oh, dafür gibt es einen Prozess.“
Großartig. Wo ist er dokumentiert?
„In einer Tabellenkalkulation.“
Welche Tabellenkalkulation?
„Nun, es gibt die alte Tabellenkalkulation, die neue Tabellenkalkulation und die Tabellenkalkulation, die Karen pflegt.“
Wo ist Karen?
„Sie ist 2021 gegangen.“
- mindwok
Ein Daten-Common für Posttraining und die Infrastruktur drumherum ist meiner Meinung nach das nächste große Open-Source-Projekt, vergleichbar mit Postgres oder Linux.
Das Marin-Projekt von Stanford (und ich glaube, inzwischen von Openathena betrieben, den Autoren dieses Blogposts) ist wirklich vielversprechend und cool: https://marin.community/