shoehorn - Quantize any model to fit your machine

Show HN: Shoehorn – Quantize any model down to run on your machine

shoehorn — это инструмент, который подгоняет любую языковую модель под объём памяти вашего компьютера. Вместо стандартных предустановленных квантований, которые либо тратят ресурсы, либо не помещаются, shoehorn измеряет доступную память, вычитает затраты на инференс и решает задачу смешанной точности для каждого тензора, используя до 99.99% бюджета. Запустите `shoehorn fit unsloth/Qwen3-4B-GGUF --serve` и получите модель, которая идеально вписывается в вашу систему. Установка через Homebrew или Cargo, локальный UI с одной кнопкой, измерение производительности и чат.