不运行自己的 LLM proxy,你如何掌控数据?

If you don't run your own LLM proxy, how do you know whats going on?

不运行自己的 LLM proxy,你如何掌控数据?

无论你是开发多亿美元的 SaaS 应用,还是用 ComfyUI 将 Labubu 的 2D 图像转为 3D CAD 模型,只要你依赖第三方 LLM 服务,就正在交出数据控制权。文章指出,供应商提供的可视化界面往往只是花哨的 distraction,缺乏工程师真正需要的时序 token 统计。作者强烈建议自建 LLM proxy,以此统一管理 multi provider 和 multi models,利用 virtual api keys 保护主密钥,并实现模型的快速切换。只有掌控自己的 infra,你才能在 cache miss 时迅速定位问题,真正拥有对应用可见性、数据路径和存储的绝对控制权。

我可能永远无法完全理解大型语言模型究竟如何运作,以便在面试中将其画在白板上,但我可以驯服它,并确保它在提供推理服务时被充分监控。

同日更多故事

2026-10-19