shoehorn - Quantize any model to fit your machine
Show HN: Shoehorn – Quantize any model down to run on your machine
shoehorn es una herramienta que ajusta cualquier modelo de lenguaje a la memoria disponible en tu máquina. En lugar de usar cuantizaciones predefinidas que pueden desperdiciar espacio o no caber, shoehorn mide tu hardware, calcula el presupuesto exacto y asigna precisión mixta por tensor para usar hasta el 99.99% de la memoria. Con una interfaz local sencilla, puedes descubrir modelos compatibles, ajustarlos con un clic y chatear directamente. Instálalo fácilmente con Homebrew o desde el código fuente, y aprovecha al máximo tu hardware con calidad óptima.
shoehorn comienza desde la memoria que realmente tienes, resta lo que la inferencia necesita y resuelve una asignación de precisión mixta por tensor que aterriza dentro de un error de redondeo del resto, usando rutinariamente el 99.99% del presupuesto, a veces hasta el byte.