Kimi K3 发布：鹈鹕测试还能教我们什么？

Kimi K3, and what we can still learn from the pelican benchmark

Moonshot AI 发布了拥有 2.8 万亿参数的 Kimi K3，号称是首个开源 3T 级模型，性能在多项评测中超越 Claude Opus 4.8 和 GPT-5.5。我再次用经典的“生成一只骑自行车的鹈鹕”SVG 任务来测试它，结果发现模型虽然生成了精美的图像，但推理成本高达 25 美分，且输入提示词被计为 95 个 token，暗示可能存在隐藏的 System Prompt。尽管这个“鹈鹕基准”已不再能准确反映模型的 Agent 能力，但它依然是我验证新模型、估算成本并确认其几何感知能力的“Hello World”级测试。

"鹈鹕测试最大的局限性在于，它完全未触及当今模型最核心的能力：Agent 工具调用以及在对话变长时可靠操作工具的能力。"