Токены стали настолько дешёвыми, что их перестали считать

Tokens Too Cheap to Meter

Стоимость машинного обучения падает на порядки ежегодно. Автор собирает доказательства: эффективность GPU удваивается каждые два года, стоимость выполнения задачи у frontier-моделей снизилась на два порядка за 2025 год, инференс-движки вроде vLLM прибавляют 40% эффективности за 15 месяцев, а MoE и Mamba сокращают требования к памяти в 5–7 раз. Особый случай — Jev от TypeSafe AI: классификатор без генерации текста берёт $42 за миллиард входных токенов, а выходные токены бесплатны. Автор предсказывает, что LLM станут инфраструктурой, а ограничителями будут качество и доступ, а не количество токенов.