jevman - AI意思決定モデルがPac-Manで競うベンチマーク
Show HN: Jevman – AI decision models play Pac-Man
jevmanは、AIの意思決定能力をPac-Manで評価するオープンソースベンチマークです。モデルは迷路の状態をJSONで受け取り、各交差点で方向を選択。実際のアーケードゴーストと対戦し、100ゲームの平均スコアや生存時間、レイテンシ、コストがリーダーボードで比較されます。HTTPエンドポイントがあれば、ホストモデルでもローカルモデルでも参加可能。CIが全ゲームを再現しスコアを検証するため、結果の信頼性が高く、自己報告モデルもランキングに加われます。
あなたのモデルをHTTPエンドポイントの背後に置けば、ホストモデルでもファインチューンでも、ラップトップで動くモデルでも、誰でもこのベンチマークに参加できます。
- nico
すごくクールですね、ローカルでCPU上で実行・学習可能なモデルや分類器もテストしているんですか？
私はいくつか訓練して面白いことをさせていて、doomをプレイさせたりもしました：https://github.com/nicobrenner/jeffy
このベンチマーク用にも一つ訓練してみようと思います、楽しそうですね
- bayarearefugee
1ゲームにつき2セント払って、プレイするのを避ける。
これは一体どんな現実なんだ。
- NichoPaolucci
これはいいね。少なくともpac-manではまだモデルより俺の方が上手い。
あと、ユーザーが試せる共有プールというアイデアもいいね。俺の小さなプロジェクトの一つでは、もっとクラウドファンディング的なアプローチを考えてたんだ。こんな感じで……最初に10ドル分のクレジットを与えて、希望するユーザーが1ドルを投入できるようにする、みたいな。