Jevman - Pac-Man benchmark for AI decision models
Show HN: Jevman – AI decision models play Pac-Man
Jevman은 AI 의사결정 모델을 고전 팩맨 게임으로 평가하는 오픈소스 벤치마크입니다. 각 모델은 고전 유령과 100게임을 치르며, 평균 점수, 생존 시간, 지연 시간, 백업 이동 비율, 게임당 비용 등으로 순위가 매겨집니다. HTTP 엔드포인트만 있으면 누구나 자신의 모델을 참가시킬 수 있고, CI가 모든 게임을 재생해 점수를 검증합니다. 리더보드에는 jev 1.13, GPT-6 Luna, Clef Flash 등이 이름을 올렸습니다. 게임을 관람하거나 직접 플레이할 수도 있습니다.
Jevman은 오픈소스이며, HTTP 엔드포인트 뒤에 있는 어떤 모델이든 플레이할 수 있습니다: 호스팅된 모델, 파인튜닝 모델, 또는 노트북에서 실행 중인 모델까지.
- nico
정말 멋지네요, 로컬에서 CPU로 실행/학습 가능한 모델/분류기도 테스트하고 계신가요?
저는 흥미로운 것들을 하도록 몇 개를 학습시켰는데, doom 플레이도 포함됩니다: https://github.com/nicobrenner/jeffy
이 벤치마크를 위해 하나 학습시켜 볼게요, 재미있을 것 같네요
- bayarearefugee
게임 한 판당 2센트를 내고 게임을 안 하는 거네요.
이게 대체 무슨 현실인지.
- NichoPaolucci
이거 멋지네요. 적어도 팩맨에서는 아직 모델들보다 제가 더 잘하네요.
사용자들이 이것저것 시도해볼 수 있는 공유 풀 아이디어도 좋아요. 제 장난감 프로젝트 중 하나에 크라우드펀딩 방식도 고려 중이었거든요, 뭐랄까... 처음에 10달러 크레딧을 주고 원하는 사람은 1달러씩 넣을 수 있게 하는 식으로요.