No existe un bien común de datos para el postentrenamiento
There is no posttraining data commons
El pretraining de los LLM se benefició de un vasto acervo público: Wikipedia, ArXiv, Stack Exchange, Common Crawl. El posttraining, en cambio, consume tareas, no documentos, y no hay nada equivalente que rastrear. Convertir repositorios de software en tareas ejecutables ya es difícil: en SWE-bench solo 2.294 de más de 90.000 PRs quedaron utilizables, y auditorías posteriores descartaron buena parte de lo demás. Para el resto de la economía, la única vía parece ser que los laboratorios paguen a profesionales para inscribir su trabajo en entornos de RL.
La diferencia fundamental es simple: el pretraining consume documentos, mientras que el posttraining consume tareas.
- dlwh
Hola, escribí esto hace unas semanas. No esperaba verlo aquí, etc., etc.
Con gusto respondo cualquier pregunta. Tenemos un discord https://marin.community/
- mrkn1
Una forma muy académica de decir Tenemos todos los datos del mundo, excepto los datos que realmente necesitamos. Le preguntas a una empresa cómo funciona algo y te dicen:
"Oh, hay un proceso."
Genial. ¿Dónde está documentado?
"en una hoja de cálculo."
¿Cuál hoja de cálculo?
"Bueno, está la hoja de cálculo vieja, la hoja de cálculo nueva, y la hoja de cálculo que mantiene Karen."
¿Dónde está Karen?
"Se fue en 2021."
- mindwok
Un bien común de datos para el postentrenamiento y la infraestructura que lo rodea es el próximo gran proyecto de código abierto, en mi opinión, a la altura de Postgres o Linux.
El proyecto Marin de Stanford (y creo que ahora lo dirige Openathena, los autores de esta entrada del blog) es realmente prometedor y genial: https://marin.community/