Kimi K3、2.8兆パラメータでオープンな3T級モデルに——ペリカンベンチマークから学べること

Kimi K3, and what we can still learn from the pelican benchmark

Kimi K3、2.8兆パラメータでオープンな3T級モデルに——ペリカンベンチマークから学べること

中国のAIラボMoonshot AIが発表したKimi K3は、2.8兆パラメータを誇る「オープンな3T級モデル」としてDeepSeekの1.6Tモデルから王座を奪った。自己報告ベンチマークではClaude Opus 4.8やGPT-5.5を上回り、価格は$3/百万入力トークンと中国製モデルとしては最高額。しかし、著者のSimon Willison氏は、自身の「ペリカンが自転車に乗るSVG生成」テストを用いて、K3が推論トークンを大量消費し、コストが25セントかかること、隠れたシステムプロンプトの存在を示唆するトークン数などを明らかにする。ペリカンテストはもはやモデル比較には不十分だが、モデルを試すきっかけやコスト・推論の推定、基本的な能力の確認に役立つと述べる。

ペリカンテストの最大の限界は、今日のモデルにとって最も重要な、エージェント的なツール呼び出しや、会話が長くなるにつれてツールを確実に操作する能力にまったく触れていないことだ。

この日のほかの記事

2026-07-17