Ternary Bonsai 2 27B сжимает модель в 9 раз при потере всего 1,8% качества
Bonsai 2 27B: Near-Lossless Compression in a 9x Smaller Footprint
Prism ML выпустила Ternary Bonsai 2 27B на базе Qwen3.8 27B. Модель использует троичные веса {−1, 0, +1} с групповым масштабированием FP16, что даёт 1,76 эффективных бита на вес и общий размер 5,9 ГБ. Она сохраняет 98,2% агрегированной производительности полной версии, поддерживает контекст 262K токенов и мультимодальный ввод. Скорость достигает 143 токенов/с на RTX 5090 и 46,8 токенов/с на M5 Max. Лицензия Apache 2.0.
Вопрос будет всё чаще не в том, насколько модель способна, а в том, сколько полезного интеллекта можно выдать в рамках заданного бюджета памяти, вычислений и энергии.