Jevman - Pac-Man-Benchmark für Entscheidungsmodelle
Show HN: Jevman – AI decision models play Pac-Man
Jevman ist ein Open-Source-Benchmark, der KI-Entscheidungsmodelle in Pac-Man gegeneinander antreten lässt. Jedes Modell spielt 100 Spiele gegen die klassischen Geister, wobei an jeder Kreuzung eine Richtung mit Wahrscheinlichkeiten gewählt werden muss. Die Ergebnisse werden in einer Rangliste mit mittlerem Punktestand, Überlebenszeit, Latenz und Kosten pro Spiel festgehalten. Jedes Spiel wird aufgezeichnet und ist reproduzierbar. Entwickler können ihr eigenes Modell über einen HTTP-Endpunkt anbinden und per Pull-Request zur Rangliste hinzufügen. So bietet Jevman eine praxisnahe, unterhaltsame Möglichkeit, die Entscheidungsfindung von KI-Modellen zu vergleichen.
Jevman ist Open Source, und jedes Modell hinter einem HTTP-Endpunkt kann mitspielen: ein gehostetes Modell, ein Fine-Tune oder eines, das auf deinem Laptop läuft.
- nico
Sehr cool, testest du auch lokale, auf der CPU lauffähige/trainierbare Modelle/Klassifikatoren?
Ich habe einige trainiert, um interessante Dinge zu tun, darunter Doom zu spielen: https://github.com/nicobrenner/jeffy
Ich werde versuchen, eines für diesen Benchmark zu trainieren, klingt nach Spaß
- bayarearefugee
2 Cent pro Spiel zu zahlen, um es nicht spielen zu müssen.
Was ist das überhaupt für eine Realität.
- NichoPaolucci
Das ist nett. Wenigstens bin ich bei Pac-Man immer noch besser als die Modelle.
Außerdem gefällt mir die Idee eines gemeinsamen Pools, in dem Nutzer Dinge ausprobieren können. Ich habe für eines meiner Spielprojekte eher einen crowdfinanzierten Ansatz in Betracht gezogen, so etwas wie ... ihm 10 $ an Credits zum Start zu geben und es Nutzern irgendwie zu ermöglichen, einen Dollar einzuzahlen, wenn sie wollten.