Paul Graham：17岁该学造LLM
I were 17, I'd learn how to build LLMs from scratch
有人问我如果重回17岁会做什么，我的答案是学习如何从零构建LLM，并用能获取到的硬件训练尽可能强大的模型。我不会急着创业，而是先打下深厚的知识基础。只有深入理解LLM的运作机制，未来才能孕育出更优秀的创业点子，这远比凭17岁时的认知盲目创业要明智得多。
我要弄清楚为什么LLM能帮我写文章，却没法帮我打扫卧室。
HN 评论区
672- oersted
这里存在一个两难困境：理论上，市场对能进行真实 LLM 机器学习工作的工程师需求巨大，但实际上，可用的职位和创业机会却寥寥无几。
现实是，全球只有极少数公司在进行真正的训练或优化。除非你全身心投入成为一家 LLM 公司，否则对大多数用途来说，这样做既没必要又低效，即便如此，这依然是一场苦战。那些确实进行训练的公司，大部分预算都花在了算力上，团队规模相对较小。
在这个领域积累经验，首先就需要接触非常昂贵的硬件。而且，除非你拥有耐心投资者的巨额资金，或者在湾区人脉网络中有不错的关系从而被招入合适的地方，否则这些技能很难转化为能带来可观收入的真实价值。
恕我直言，paulg 有点身处信息茧房，这与全球现状并不相符。
- mattlutze
这里很多人是在回应字面意思，而没有理解其深层含义。
年轻人深入了解这些程序的工作原理是个好主意。目的并非让他们把职业生涯都花在构建这些程序上，而是为了让他们在解决我们将面临的下一次类问题时，能从权重和底层数学原理开始，拥有深刻的直觉。同时，也能培养一种健康的直觉，知道何时“直接用 LLM 搞定”并非正确选择。
“构建一个操作系统”并不是大学里常见的项目，因为大家并不都被期望出去做 Windows 开发，而是因为理解计算机的裸机固件能帮助你深刻理解如何直觉地构建解决某一类问题的方案。
- koe123
虽然知识总是好的，但我建议大家不要盲目向这类成功人士寻求建议（幸存者偏差）。
而且我不确定这甚至算好建议？你会建议一个 17 岁的人去学习晶体管的工作原理，还是学习如何编程（即 LLM 训练是否是正确的技术栈层级）？LLM 训练这一学科，其相关工作对于 99.999% 的预算来说早已遥不可及，真的像这篇文章暗示的那样必不可少吗？
- fancyfredbot
我现在的年龄已经是那个年纪的两倍多，但我确实花时间通过 Andrej Karparthy 的视频和 Sebastian Raschka 的书学习了这些内容。
我这么做并非因为它对我有实际用处，而是因为 LLM 非常迷人，我想知道它们是如何工作的。从这个角度看，这是一次很棒的经历。我现在对基础知识有了扎实的掌握。这让我更容易理解像压缩潜在注意力（compressed latent attention）这样的前沿概念。我能跟上这个领域并理解它。
我不确定 17 岁时能否从中获得同样的收获。我拥有大量的背景知识和经验，这让学习变得容易得多。我当时并没有在线性代数或 Python 上挣扎。我已经掌握了 pytorch 和神经网络。这帮了大忙，让我能快速完成这些教程并跳过大部分章节。几个晚上加上偶尔的周末，花几个月时间就足够了。
对于 17 岁的孩子来说，这些教程足以让他们学会这些内容，但理解起来会花更长时间。另一方面，我可能会学到更多东西。我想我会学到很多有价值的东西。
不过，我也认为 17 岁的我正在为 A 水平考试（A levels）做准备，从最大化未来机会的角度来看，那可能是正确的选择。我不确定认为学习 LLM 是明智的建议。事实上，这甚至可能是糟糕的建议。但我完全赞同这种情怀。我想 17 岁的我会想做这件事，t […]
- Tomlmmrs
这本质上归结为：选择追求实质内容（在这里表现为技术深度），而非生活中的短期满足和速成捷径。
我认为这种心态应该在学校里得到更多的传授，这样人们才能真正欣赏深入钻研一门学科的价值。
- chris_va
我有点惊讶这里的评论如此负面，尤其是在 HN 上。
几代以来，利用最新技术（真空管、收音机、微处理器、Web/JavaScript）在高中动手组装点什么，一直是科技界的常见主题。有了 LLM 和在线教程，这甚至不是一个困难的建议。难道人们认为学习新技术是某种浪费精力吗？
- felixrieseberg
我将利用这篇帖子作为一个厚颜无耻的机会，向更多人介绍我做的一个小边项目：
http://languagemodelbuilder.com 能在几小时到几天内教你从零开始构建一个 LLM。它完全免费，无需注册账号，也不收集数据。
- greenowl
是啊，没门。
我会搬到荒无人烟的地方，在农场和建筑工地打几份工。学习如何种植食物，如何建造东西。结识农场主的女儿，和她结婚。然后，买下自己的土地，种自己的食物，造自己的东西。
- Chance-Device
我认为很多人正在纠结的一个问题是，由于 LLM 和人工智能的普遍存在，基本上不可能预测未来会是什么样子，或者哪些工作还会存在。
我可能会说：做你喜欢且看起来可能有用的一些事情，但也要接受变化速度可能意味着无论你学什么最终都会变得无关紧要。
无论最终的解决方案是什么，它都不会是一个 17 岁的个人能够实施的方案。我们已经过了个人的好坏选择能对经济结果产生重大影响的阶段。
- wiseowise
如果我 61 岁且富有，我就不会写这种愚蠢的废话。
我不是 paulg，但如果你在读这条评论——而且你 17 岁——那就专注于考上大学，享受一段日后不会后悔的时光吧。玩游戏、做运动、建立人际关系、坠入爱河、去探索世界。