Paul Graham：17岁该学造LLM
I were 17, I'd learn how to build LLMs from scratch
有人问我如果重回17岁会做什么，我的答案是学习如何从零构建LLM，并用能获取到的硬件训练尽可能强大的模型。我不会急着创业，而是先打下深厚的知识基础。只有深入理解LLM的运作机制，未来才能孕育出更优秀的创业点子，这远比凭17岁时的认知盲目创业要明智得多。
我要弄清楚为什么LLM能帮我写文章，却没法帮我打扫卧室。
- oersted
这里存在一个两难困境：理论上，市场对能进行真实 LLM 机器学习的工程师需求巨大，但实际上，相关的职位和创业机会却寥寥无几。
现实是，全球只有极少数公司在进行真正的模型训练或优化。除非你是一家全心全意做 LLM 的公司，否则对大多数用途来说，这既没必要又效率低下，即便如此，这也是一场苦战。那些确实进行训练的公司，大部分预算都花在了算力上，团队规模却相对较小。
想要在这个领域积累经验，首先就得有昂贵的硬件可用。而且，除非你拥有耐心投资者的巨额资金，或者在湾区人脉网中有不错的关系能帮你进入合适的地方工作，否则这些技能很难转化为任何实际价值，从而带来可观的收入。
恕我直言，paulg 有点活在气泡里，这与全球现状并不相符。
- fancyfredbot
我的年龄已经是那个岁数的两倍以上，但我确实花时间通过 Andrej Karparthy 的视频和 Sebastian Raschka 的书学习了这些内容。
我这么做并非因为这在实用层面对我有用。而是因为 LLM 太迷人了，我想知道它们是如何工作的。从这个角度看，这是一次极棒的经历。我现在对基础有了扎实的掌握。这让我更容易理解前沿概念，比如压缩的潜在注意力（compressed latent attention）。我能跟上这个领域并理解它。
我不确定如果我在 17 岁时做这些，能否获得同样的收获。我有大量的背景知识和经验，这让学习变得容易得多。我当时没有为线性代数或 Python 而挣扎。我已经熟悉 pytorch 和神经网络了。这帮了大忙，让我能飞快地完成这些教程，并跳过大量章节。几个月里，几个晚上加几个周末的白天就足够了。
对于 17 岁的青少年来说，这些教程足以让他们学会这些内容，但理解起来会花费更长的时间。另一方面，我可能会学到更多东西。我认为我会学到很多有价值的东西。
不过，我也觉得 17 岁的我正在为 A-levels 考试做准备，从最大化未来机会的角度来看，那可能是正确的选择。我不确定现在建议学习 LLM 是否明智。事实上，这可能是个糟糕的建议。但我完全赞同这种情怀。我想 17 岁的我肯定会想做这件事……
- koe123
虽然知识总是好的，但我建议大家不要像这样向成功人士寻求建议（幸存者偏差）。
此外，我不确定这甚至是好的建议吗？你会建议一个 17 岁的人去学习晶体管的工作原理，还是学习如何编程（也就是说，LLM 训练是否是正确的技术栈层级）？LLM 训练这一学科，其相关工作对于 99.999% 的预算来说早已遥不可及，它真的像这篇文章暗示的那样重要吗？
- loveparade
糟糕的建议。这在 10 年前可能是个好建议，但今天不是。现在没有职位是给那些“稍微懂点玩具 LLM 如何工作”的人的，因为如今太多工程师都能做这些了。大多数真正的 LLM 优化工作都处于研究的前沿，具有高度专有性，没有耗资数百万的基础设施，你根本不可能做到。
但当然，10 年前这并不明显。
- wiseowise
如果我 61 岁且富有，我就不会写这种愚蠢的废话。
我不是 paulg，但如果你正在读这条评论——而且你才 17 岁——那就专注于考上大学，享受一段日后不会后悔的时光吧。玩游戏、运动、建立人际关系、坠入爱河、去探索世界。
- chris_va
我有点惊讶这里的评论如此消极，尤其是在 HN 上。
在高中时期利用最新技术（真空管、无线电、微处理器、Web/JavaScript）动手组装东西，这几十年来一直是科技界的常见主题。有了 LLM 和在线教程，这甚至不是一个困难的建议。人们难道认为学习新技术是某种浪费精力吗？
- haunter
如果我重回 17 岁，我会准备在高中毕业后去海外做 1-2 年的志愿者（欧盟有很多免费选项，你可能只需要支付机票费用）。看看世界，帮助他人，然后再考虑你想做什么。
- mickeyp
编写、监督和训练 LLM 现在甚至成了……更大的 LLM 的专属领域了。优化 CUDA 内核；手写 SIMD 汇编以加速数据加载；摆弄你特定品牌的 DRAM，看看优化其内存拓扑和 NUMA 是否能带来收益——这些现在都是 AI 的工作了。
现在，人类几乎没有理由过于沉迷于这类工作，并指望在 3-5 年内凭此获得高薪。AI 已经能极其出色地完成这些任务，而且它们可以不知疲倦、锲而不舍地 24 小时不间断地工作。