Un solo wrapper estilo Jev para LLMs que también procesa imágenes
A single function Jev-like wrapper for LLMs, including vision models
El autor presenta un wrapper de una sola función inspirado en Jev que extiende el formato de petición con un campo 'attachments' para imágenes. Usando logprobs, convierte preguntas en opciones con letras y obtiene respuestas ultrarrápidas. Con Gemma 4 12B en una RTX 3090 alcanza 1 FPS con tres preguntas por fotograma, y con gpt-6-luna unos 0.2 FPS. Incluye un script Python que captura la webcam y clasifica persona, entorno y brillo.
Lo divertido: esto también funciona con modelos de visión.