llmspeed - Оцените скорость локальных LLM до покупки железа
Show HN: Llmspeed – feel how fast a local LLM runs before you buy the hardware
llmspeed — это веб-инструмент, который позволяет почувствовать, насколько быстро будет работать локальная LLM на выбранном оборудовании, ещё до покупки. Выберите конфигурацию (например, NVIDIA RTX 4090 24GB) и модель (например, Llama 3.1 8B), и сервис покажет реалистичную скорость генерации в токенах в секунду, время до первого токена и другие метрики. Данные основаны на замерах сообщества (r/LocalLLaMA, localscore.ai) и экстраполяции для непротестированных сборок. Проект с открытым исходным кодом доступен на GitHub. Отличный помощник для тех, кто планирует развернуть локальный ИИ и хочет избежать разочарования от медленной работы.
Почувствуйте реальную скорость до покупки — выбирайте железо и модель, чтобы узнать, как быстро будет работать ваш локальный LLM.
- lopotubez
У меня такое ощущение, что подобные бенчмарки в основном проверяют то, что мейнстрим говорит тебе о возможном и/или работающем. Ты редко слышишь о разных реализациях инференс-движков, разных типах сетапов (например, гибридных или на старом железе) и их плюсах и минусах. Также похоже, что тестировали с очень минимальным использованием токенов.
Сейчас на моём 9-летнем ноутбуке с GTX 1070 Max-Q 8GB VRAM, 16 ГБ DDR4 и i7 8750H. Я запускаю дообученную Qwen 3.5-35B-A3B (Tiel-Coder-35B-A3B-GGUF-MTP) с 4-битной квантизацией на форке llamacpp (Turboquant) с контекстом 131k на скорости около 16-19 ток/с и 350-500 ток/с префилла, используя Pi harness. Это потрясающе для написания скриптов, средних задач по кодингу и суммирования текста для меня. После примерно 100k контекста скорость падает до 9 ток/с, но это ожидаемо.
Если ты когда-нибудь спросишь любую передовую LLM или подобные бенчмарки, они, вероятно, скажут, что лучшая модель, которую я могу запустить на своей системе, — это какая-нибудь паршивая 9B модель или типа того, что совершенно неверно. Так что мне действительно интересно, сколько ещё можно выжать из более мощных систем и гораздо лучших открытых моделей.
- hizlikovboy27
Примерно в это время я думал о запуске локальной LLM для компании, в которой работаю. Я пытаюсь понять, какое железо мне понадобится и какой уровень производительности ожидать. Я попробовал несколько вещей на вашем сайте, но насколько результаты отражают реальное использование?
В моём случае модель, возможно, должна сначала проанализировать задачу, затем сгенерировать и выполнить запрос к базе данных и, наконец, отправить результаты обратно клиенту. В какой степени ваша установка справится с таким рабочим процессом и насколько точны результаты?
Отличная работа.
- mirekrusin
Было бы здорово, если бы цифры не были ошибочными, включали оптимизированные версии (например, спекулятивное декодирование), размер контекста, разрешённый параллельный инференс (одиночные агенты часто используют параллельный инференс) и т.д.
Я не думаю, что в целом людям важен длинный список моделей, им важна только лучшая.
Также двойная GPU — распространённая конфигурация, должна быть, например, 2x 4090.
- gitowiec
Я хотел бы видеть в таких симуляторах:
- конфигурацию с несколькими GPU (гетерогенную и гомогенную)
- выбор поколения PCIe (3.0/4.0/5.0)
- включён ли NVLink (2 карты, 2 x 2 карты, 3 x 2 карты)
- разветвлён ли PCIe или нативный от CPU (например, Threadripper Pro)
- kristopolous
Просто пойди и арендуй одну на несколько минут и попробуй... это обойдётся тебе значительно меньше $0.50, если ты просто хочешь понять, подходит ли она тебе. Есть много вещей, таких как контекстное окно, которые это не учитывает.
В зависимости от того, у кого ты зарегистрируешься, это входит в вводные кредиты (обычно около 5-10$), так что на самом деле $0.