Paul Graham: si tuviera 17 años, aprendería a construir LLMs desde cero
I were 17, I'd learn how to build LLMs from scratch
Paul Graham, cofundador de Y Combinator, respondió en X a la pregunta de qué haría si tuviera 17 años: aprendería a construir LLMs desde cero y entrenaría los más potentes posibles con el hardware que pudiera conseguir. En lugar de intentar crear una startup de inmediato, construiría una base de conocimiento profundo sobre LLMs, de la que surgirían mejores ideas de negocio. Yann LeCun, científico jefe de IA en Meta, respondió sugiriendo investigar por qué los LLMs pueden escribir ensayos pero no limpiar una habitación, y estudiar métodos y arquitecturas más allá de los LLMs para abordar el problema del aprendizaje rápido en tareas físicas.
En lugar de intentar crear una startup, construiría la base de conocimiento para fundar una más tarde; de entender los LLMs en profundidad surgirían ideas de startup mucho mejores que intentar crear empresas basadas en lo que sabía a los 17.
- oersted
Existe este dilema en el que en teoría hay una gran demanda de ingenieros que puedan hacer aprendizaje automático real de LLMs, pero en la práctica hay muy pocos puestos disponibles y oportunidades de emprendimiento.
La realidad es que una minoría increíblemente pequeña de empresas en el mundo realiza entrenamiento u optimización real. Es innecesario e ineficiente para la mayoría de los propósitos a menos que estés completamente dedicado a ser una empresa de LLMs, y aún así es una lucha. Esos pocos que entrenan, gastan la mayor parte de su presupuesto en cómputo y tienen equipos relativamente pequeños.
Obtener experiencia en este campo requiere tener acceso a hardware muy caro para empezar. Y las habilidades serán bastante difíciles de convertir en valor real para alguien, que conduzca a un ingreso decente, a menos que tengas un montón de financiamiento de inversores pacientes, o tengas contactos decentes en las redes de Silicon Valley para ser contratado en el lugar correcto.
Con el debido respeto, paulg está un poco en una burbuja, esto no es congruente con la situación global.
- mattlutze
Mucha gente aquí está respondiendo al mensaje pero no al significado.
Sería una buena idea que los jóvenes conocieran profundamente cómo funcionan estos programas. No para que pasen su carrera construyéndolos, sino para que puedan abordar la próxima clase de problemas que todos empezaremos a intentar resolver, con intuición hasta los pesos y las matemáticas subyacentes. Y también, para desarrollar una intuición saludable de cuándo "solo hazlo con LLM" no será la elección correcta.
"Construir un sistema operativo" no era un proyecto universitario común porque se esperaba que todos saliéramos a trabajar en Windows, sino porque entender el firmware de bajo nivel de una computadora te ayuda a comprender profundamente cómo intuir la construcción para toda una clase de problemas.
- koe123
Si bien el conocimiento siempre es excelente, animaría a la gente a no buscar consejos de personas exitosas como esta (sesgo de supervivencia).
Además, no estoy seguro de que sea ni siquiera un buen consejo. ¿Le aconsejarías a un joven de 17 años aprender cómo funcionan los transistores o cómo programar (es decir, ¿es el entrenamiento de LLMs el nivel correcto en la pila?)? El entrenamiento de LLMs, una disciplina donde el trabajo relevante ya está fuera del alcance del 99.999% de los presupuestos, ¿es realmente tan esencial como implica esta publicación?
- oldsklgdfth
Aprecio el sentimiento y tengo bastante curiosidad sobre cómo podría entrenar un LLM, incluso uno muy básico de hace 5 años sin hardware potente.
Dicho esto, un buen punto de partida para un joven de 17 años es leer sobre perceptrones[0], luego los conceptos básicos de redes neuronales[1] (ej. perceptrón de 3 capas) y luego escribir un programa para entrenar un perceptrón de 3 capas y clasificar el conjunto de datos MNIST[2] - un conjunto de datos de caracteres.
Esto puede tomar entre un día y una semana y desmitificarás los conceptos básicos de las redes neuronales y avanzarás con conceptos contemporáneos más avanzados.
Dato curioso: cualquier red neuronal perceptrón multicapa se puede reducir a una red perceptrón de 3 capas.
[0] https://en.wikipedia.org/wiki/Perceptron
[1] http://geeksforgeeks.org/deep-learning/neural-networks-a-beg...
[2] https://www.kaggle.com/datasets/hojjatk/mnist-dataset/data
- softwaredoug
El profesor de informática de mis hijos me preguntó qué deberían hacer después de AP CS.
Anteriormente tenían una clase donde construían aplicaciones para otros profesores. Como hacer seguimiento de cuándo son los clubes, etc. Pero ahora eso se ha vuelto fácil para que los profesores lo programen ellos mismos con vibraciones.
Sugerí que no deberían poner como requisito esta clase de CS. ¡Diablos, inviten a cualquiera interesado en "construir cosas" y pueden practicar construyendo aplicaciones para otros / ellos mismos. Quizás eso se convierta en una puerta de entrada a CS - personas que quieren aprender cómo funcionan las cosas por debajo.
Sugerí que la clase posterior a CS para la gente de CS probablemente debería ser construir un LLM o algo así :)
- fancyfredbot
Tengo (más del) doble de esa edad, pero he pasado tiempo aprendiendo exactamente esto con videos de Andrej Karpathy y con libros de Sebastian Raschka.
No lo hice porque fuera útil para mí en un sentido práctico. Es porque los LLMs son fascinantes y quiero saber cómo funcionan. Desde esa perspectiva, ha sido una gran experiencia. Tengo un buen dominio de los conceptos básicos. Esto hace que sea mucho más fácil entender conceptos de vanguardia como la atención latente comprimida. Puedo seguir el campo y entenderlo.
No estoy seguro de que hubiera sacado tanto provecho a los diecisiete. Tengo muchos antecedentes y experiencia que hicieron que fuera mucho más fácil aprender. No estaba luchando con el álgebra lineal o con Python. Ya conocía PyTorch y las redes neuronales. Eso ayudó mucho y cubrí estos tutoriales rápido y pude saltar grandes secciones. Unas pocas tardes y algún día de fin de semana durante un par de meses fue suficiente para mí.
Para los jóvenes de diecisiete años, los tutoriales son lo suficientemente buenos como para hacer posible aprender esto, pero habría tomado mucho más tiempo entenderlo. Por otro lado, habría aprendido mucho más. Creo que habría aprendido muchas cosas valiosas.
Sin embargo, también creo que yo a los 17 estaba estudiando para mis A levels y probablemente esa fue la elección correcta en términos de maximizar oportunidades futuras. No estoy seguro de que aprender sobre LLMs en su lugar sea sensato. De hecho, podría ser un mal consejo. Pero puedo estar absolutamente de acuerdo con el sentimiento. Creo que yo a los 17 habría querido hacer esto t […]
- chris_va
Estoy un poco asombrado de lo negativos que son los comentarios aquí, especialmente en HN.
Aprender a hackear algo en la escuela secundaria usando la última tecnología (tubos de vacío, radios, microprocesadores, web/javascript) ha sido un tema común en el mundo tecnológico durante generaciones. Con los LLMs y los tutoriales en línea, esta ni siquiera es una sugerencia difícil. ¿La gente piensa que aprender nueva tecnología es un esfuerzo desperdiciado?
- Tomlmmrs
Esto esencialmente se reduce a elegir la búsqueda de sustancia (aquí en forma de profundidad técnica) sobre la gratificación a corto plazo y las victorias rápidas en la vida.
Creo que este tipo de mentalidad debería enseñarse mucho más en la escuela para que la gente realmente aprecie aprender un tema en profundidad.
- felixrieseberg
Usaré esta publicación como una oportunidad desvergonzada para contarles a más personas sobre un pequeño proyecto paralelo que hice:
http://languagemodelbuilder.com te enseña (en unas pocas horas o días) cómo construir un LLM desde cero. Es totalmente gratuito, sin cuentas y sin recopilación de datos.
- wiseowise
Si yo tuviera 61 años y fuera rico, no escribiría una estupidez como esta.
No soy paulg, pero si estás leyendo esto - y tienes 17 - solo concéntrate en entrar a la universidad y pasar un buen momento que no lamentarás después. Juega juegos/deportes, haz relaciones, enamórate, explora.