5つのQwen3.8-27BモデルがFable 5をLiveCodeBench Hardで上回る
Memdoor: A team of 5 Qwen3.8-27B models beats Fable 5 on LiveCodeBench Hard
Memdoorのワークフローとして再構築されたGVS5Hのマルチエージェント手法。planner、2人のideator、solver、managerがディスク上のファイルだけで連携し、合否はモデルではなくシェルスクリプトが判定する。LiveCodeBench Hardの最初の10問を5回実行し、平均9.8/10を記録。著者らのハーネス9.6、Fable 5単体8.0を上回った。50回すべて公開され、総コストは約36ドル。ただし10問のみで汚染の可能性も残る。
最終ステップがすべての判定だ。モデルの主張ではなく、サンプルを通ったかどうかをシェルスクリプトが決める。
HNでの議論
107- fedpost
我々はローカルモデルをハイパースケーラーと競争力のある状態に保つ必要が切実にある。彼らの気まぐれに永遠に縛られたくはない。Anthropicがゲームのリバースエンジニアリングを制限している今、我々は検閲のルビコン川を渡ろうとしていると思う。
- roenxi
これはかなり興味深い。なぜなら、Bonsai 2の量子化を使えば、手頃な価格のゲーミングマシンでQwen 27Bを50 t/sで動かすことは十分可能だからだ[0]。これはつまり、少し賢いハーネスを使えばFable 5のコーディング性能をローカルで達成できる可能性があるということだ。
ただし、同じハーネスはFableの性能も向上させるはずだ。ここで重要なのは、ローカル性能の上限がかなり高くなる可能性があるということだ。
[0] https://store.steampowered.com/hwsurvey/Steam-Hardware-Softw... によると、16GB VRAM、32GBシステムメモリだ。
- xlayn
チップに組み込まれたGPU、https://inference-docs.cerebras.ai/models/qwen-3.8-27b を覚えているか。あの極めて高速に動作するモデルを実装したチップだ。人々が「なぜそんなものが必要なのか」と尋ねるやつだ。もしこれが本当なら、適切なハーネスを備えたそうしたチップが1つあれば、この地球上のすべてのコンピュータでFableのような知能を得るのに必要なのはそれだけだ。
ハッピーハロウィン、Tax RamltmanとAmowhateverwayyournameiswritten。
- mkl
これの基になっているGVS5Hは、1週間前にここで議論された：https://news.ycombinator.com/item?id=50228167
- yurimo
力ずくのアプローチの威力については言及すべきことがある。現在、マルチエージェントのスケーリングが次の重要な軸になりつつあるようだが、通信プロトコルの品質と計算資源によって非常に強く制約されている。1つのモデルが単独では十分に強くなくても、より多くのモデルとより多くの試行、そして異なる意見がモデルをより良い解の盆地へと押しやるかもしれない。
これは、モデルと話していて、それが超自信満々（でも間違っている）で、直接ではなく質問をしたり明確化を求めたりして訂正すると、全体的により良いアプローチにつながる、という効果の延長のようなものだ。
- zihotki
このベンチマークには「LiveCodeBench Hardリストの最初の10問」しかないので、結論を出す前にさらなるベンチマークを待つべきだ。しかもLiveCodeBench Hardは数年前のベンチマークだ。かなり飽和している可能性がある。
- vrinsd
本記事から少し脱線するかもしれないが、C、C++、Python、Javaなどのプログラミングタスクにどの「オープン」モデルが適しているかを明確に理解するのに役立つ優れたリソースやサイトはあるだろうか？
調べてみたが、モデルとベンチマークを集約したサイトは山ほどある。ただ、そのどれだけが信頼できるのかはわからない。
- bad_haircut72
目新しいアイデアではないだろうが、小さなモデルをいくつも積み重ねて、それをベースにはるかに大きなモデルを訓練したらどうなるだろうか。ゼロから始めるよりも効率的かもしれない？