Paul Graham: si tuviera 17 años, aprendería a construir LLMs desde cero
I were 17, I'd learn how to build LLMs from scratch
Paul Graham, cofundador de Y Combinator, respondió en X a la pregunta de qué haría si tuviera 17 años: aprendería a construir LLMs desde cero y entrenaría los más potentes posibles con el hardware que pudiera conseguir. En lugar de intentar crear una startup de inmediato, construiría una base de conocimiento profundo sobre LLMs, de la que surgirían mejores ideas de negocio. Yann LeCun, científico jefe de IA en Meta, respondió sugiriendo investigar por qué los LLMs pueden escribir ensayos pero no limpiar una habitación, y estudiar métodos y arquitecturas más allá de los LLMs para abordar el problema del aprendizaje rápido en tareas físicas.
En lugar de intentar crear una startup, construiría la base de conocimiento para fundar una más tarde; de entender los LLMs en profundidad surgirían ideas de startup mucho mejores que intentar crear empresas basadas en lo que sabía a los 17.
- oersted
Existe este dilema en el que en teoría hay una gran demanda de ingenieros que puedan hacer aprendizaje automático de LLMs de verdad, pero en la práctica hay muy pocos puestos disponibles y oportunidades de emprendimiento.
La realidad es que una minoría increíblemente pequeña de empresas en el mundo hace cualquier entrenamiento u optimización real. Es innecesario e ineficiente para la mayoría de los propósitos a menos que estés completamente dedicado a ser una empresa de LLMs, y aún así es una lucha. Esos pocos que entrenan, gastan la mayor parte de su presupuesto en cómputo y tienen equipos relativamente pequeños.
Obtener experiencia en este campo requiere tener acceso a hardware muy caro para empezar. Y las habilidades serán bastante difíciles de convertir en valor real para alguien, que lleve a un ingreso decente, a menos que tengas un montón de financiación de inversores pacientes, o tengas contactos decentes en las redes de Bay Area para ser contratado en el lugar correcto.
Con todo respeto, paulg está un poco en una burbuja, esto no es congruente con la situación global.
- koe123
Si bien el conocimiento siempre es genial, animaría a la gente a no buscar consejo de personas exitosas como esta (sesgo de supervivencia).
Además, no estoy seguro de que sea ni siquiera un buen consejo. ¿Aconsejarías a un joven de 17 años aprender cómo funcionan los transistores o cómo programar (es decir, ¿es el entrenamiento de LLMs el nivel correcto en la pila?)? El entrenamiento de LLMs, una disciplina donde el trabajo relevante ya está fuera del alcance del 99.999% de los presupuestos, ¿es realmente tan esencial como implica esta publicación?
- fancyfredbot
Tengo (más del) doble de esa edad, pero he pasado tiempo aprendiendo exactamente esto de los videos de Andrej Karpathy y de los libros de Sebastian Raschka.
No lo hice porque me fuera útil en un sentido práctico. Es porque los LLMs son fascinantes y quiero saber cómo funcionan. Desde esa perspectiva, ha sido una gran experiencia. Tengo un buen dominio de los conceptos básicos. Esto hace que sea mucho más fácil entender conceptos de vanguardia como la atención latente comprimida. Puedo seguir el campo y entenderlo.
No estoy seguro de que hubiera sacado tanto provecho a los diecisiete. Tengo muchos antecedentes y experiencia que hicieron que fuera mucho más fácil aprender. No estaba luchando con el álgebra lineal o con Python. Ya conocía PyTorch y las redes neuronales. Eso ayudó mucho y cubrí estos tutoriales rápido y pude saltarme grandes secciones. Unas pocas tardes y algún día de fin de semana suelto durante un par de meses fue suficiente para mí.
Para los jóvenes de diecisiete años, los tutoriales son lo suficientemente buenos como para que sea posible aprender esto, pero habría tomado mucho más tiempo entenderlo. Por otro lado, habría aprendido mucho más. Creo que habría aprendido muchas cosas valiosas.
Sin embargo, también creo que yo a los 17 años estaba estudiando para mis A levels y probablemente esa fue la elección correcta en términos de maximizar oportunidades futuras. No estoy seguro de que crea que aprender sobre LLMs en su lugar sea sensato. De hecho, podría ser un mal consejo. Pero puedo estar absolutamente de acuerdo con el sentimiento. Creo que yo a los 17 años habría querido hacer esto t...
- hashmap
Soy un pequeño fan de pg, sin embargo, encuentro que esta es una opinión excepcionalmente buena y me resulta extraño ver tanto acoso a esta en particular aquí.
Aprender sobre LLMs no es útil para que puedas hacer LLMs después, quieres aprender sobre ello para poder trabajar en arquitecturas de próxima generación. Los LLMs, dentro de poco, imagino que quedarán en el polvo por los modelos basados en EBM / orientados a la física, especialmente aquellos que puedan tener una comprensión encarnada del mundo. Pero muchas de las cosas que aprendes sobre ellos son transferibles al hacer algo como esto.
- chris_va
Estoy un poco asombrado de lo negativos que son los comentarios aquí, especialmente en HN.
Aprender a hackear algo en la preparatoria usando la tecnología más reciente (tubos de vacío, radios, microprocesadores, web/javascript) ha sido un tema común en el mundo tecnológico por generaciones. Con los LLMs y los tutoriales en línea, esto ni siquiera es una sugerencia difícil. ¿La gente piensa que aprender nueva tecnología es un esfuerzo desperdiciado?
- loveparade
Horrible consejo. Esto puede haber sido un buen consejo hace 10 años, pero no hoy. No hay puestos para personas que "entienden más o menos cómo funcionan los LLMs de juguete" porque muchos ingenieros lo hacen hoy en día. La mayor parte del trabajo real de optimización de LLMs está en el borde de la investigación y es altamente propietario y no es algo que puedas hacer sin infraestructura que cueste millones.
Pero, por supuesto, hace 10 años esto no era obvio.
- sureglymop
Yo iría (y estoy yendo) hacia MLOps. No solo la infraestructura general/administración de sistemas, sino cómo hacer optimización de inferencia, caché, cuantización, fijación de memoria, paso de VFIO de GPUs, etc.
- wiseowise
Si yo tuviera 61 años y fuera rico, no escribiría una estupidez como esta.
No soy paulg, pero si estás leyendo esto - y tienes 17 - solo concéntrate en entrar a la universidad y pasarla bien, que no te arrepientas después. Juega videojuegos/deportes, haz relaciones, enamórate, explora.