警惕AI在材料科学与生物领域的突破
Watch AI materials-science and bioscience abilities closely
Yair Halberstadt在LessWrong发文指出，AI能否通过工程手段制造致命病毒，是评估其短期风险的关键。设计复杂病毒需要反复迭代实验，这比单次欺骗实验室要难得多。因此，我们应密切关注AI在材料科学和生物科学领域的表现。如果前沿LLM能一次性设计出室温超导体或癌症疗法，说明其具备极强的物理世界交互能力，此时对病毒威胁的担忧将急剧上升。反之，若AI无法完成此类任务，则意味着我们不必过度担心“AI向DNA合成公司发送病毒计划”的威胁模型，而应聚焦于防止AI长期接触实验室等更实际的管控措施。
如果前沿LLM能够一次性设计出室温超导体或癌症疗法，我们就应该对它们制造病毒的能力感到极度担忧。
HN 评论区
49- kyledrake
这篇文章聚焦于 AI 通过社会工程学手段操控实验室为其制造某物，但我认为这搞错了重点。我认为 AI 更大的隐患在于，个人或一小群人利用 AI 作为极其得力的助手，在 DIY 层面学习如何制造致命病毒。
我对 AI 会变成《终结者 2》里的天网（Skynet）持相当悲观的看法，但我确实认为生物恐怖主义论调有一定可信度。以前我和那些在负责反恐的组织工作的人聊天时，这正是让他们夜不能寐的事情，而且那还是 AI 出现之前。
- chasd00
我记得有人告诉我，SpaceX 的 Raptor 发动机氧化剂侧预燃室（oxygen side pre-burner）的合金配方，是经过许多个日夜枯燥的试错摸索才得来的，并非那种令人 euphoric 的“灵光一闪”时刻。我想知道 AI 能否帮助解决这类问题，如果能在软件中模拟，那就让 AI 去干这种苦力活。
/在分级燃烧循环火箭发动机中，氧化剂侧预燃室是个极其恶劣的环境，找到一种能在这种环境下存活的材料是让 Raptor 成为现实的关键（或关键之一）。
- Semkas
这里的术语 "One-shotting" 用得合适吗？在 AI 语境下，one-shotting 指的是给大语言模型（LLM）一个提示词，让它直接返回一个令人惊讶的好结果（通常是代码相关），无需进一步输入，但 LLM 在展示结果前（可能）仍然进行了大量迭代。当 Codex 实现 "one-shot" 时，它很大程度上依赖于代码易于测试这一事实。
- alansaber
你可以利用 AI 暴力穷举不同的晶体构型，运行一些分子动力学（MD）或密度泛函理论（DFT）计算，从而筛选出候选材料。如果目前还没有研究小组在做这件事，我会感到（虽然不是完全）震惊。据我所知，快速迭代物理样本的能力仍然超出了我们的范畴。
- KasianFranks
在讨论 AI 与生物科学结合时，其对人类衰老、寿命和健康寿命的积极影响被谈论得太少了。