llmspeed - 로컬 LLM 하드웨어 구매 전 실제 속도 체험
Show HN: Llmspeed – feel how fast a local LLM runs before you buy the hardware
llmspeed는 로컬 LLM을 구동할 하드웨어를 구매하기 전에 실제 속도를 미리 체험할 수 있는 도구입니다. NVIDIA RTX 4090, Mac Studio M5 Ultra, AMD Ryzen AI Max+ 395 등 30여 종의 하드웨어와 Llama 3.1 8B, Qwen 3.6, DeepSeek V4 Flash 등 다양한 모델을 선택하면, 초당 토큰 수와 TTFT(첫 토큰 지연 시간)를 즉시 확인할 수 있습니다. 수치는 r/LocalLLaMA 등 커뮤니티 벤치마크에서 수집한 실측 데이터를 기반으로 하며, GitHub에서 오픈소스로 공개되어 있습니다. 비싼 장비를 사기 전에 '내 모델이 얼마나 빠르게 느껴질지'를 먼저 경험해 보세요.
하드웨어와 모델을 고르고, 구매 전에 실제 속도를 직접 느껴보세요.
HN 토론
75- lopotubez
이런 종류의 벤치마크는 대부분 주류에서 말하는 가능성이나 작동 방식을 테스트하는 것 같아요. 추론 엔진의 다양한 구현이나 여러 종류의 설정(예: 하이브리드나 구형 하드웨어)과 그 장단점에 대해서는 거의 들을 수 없죠. 또한 토큰 사용량이 매우 적은 상태로 테스트된 것 같습니다.
현재 제 9년 된 노트북은 GTX 1070 Max-Q 8GB VRAM, 16GB DDR4 RAM, i7 8750H입니다. 저는 파인튜닝된 Qwen 3.5-35B-A3B (Tiel-Coder-35B-A3B-GGUF-MTP)를 4비트 양자화로 llamacpp 포크(Turboquant)에서 131k 컨텍스트로 실행 중이며, Pi 하네스를 사용해 약 16-19 tk/s, 프리필 350-500 tk/s 정도 나옵니다. 스크립트 작성이나 중간 수준의 코딩 작업, 텍스트 요약에 정말 좋아요. 컨텍스트가 100k를 넘으면 9 tk/s로 떨어지지만 예상된 일입니다.
만약 프론티어 LLM이나 이런 벤치마크에 물어보면, 제 시스템에서 실행할 수 있는 최고의 모델은 형편없는 9B 모델 정도라고 할 텐데, 이는 완전히 틀린 말입니다. 그래서 더 강력한 시스템과 훨씬 더 나은 오픈 웨이트 모델에서 얼마나 더 많은 것을 끌어낼 수 있을지 정말 궁금합니다.
- hizlikovboy27
요즘 회사에서 로컬 LLM을 돌릴까 생각 중이었어요. 어떤 하드웨어가 필요하고 어느 정도 성능을 기대할 수 있을지 알아보는 중입니다. 웹사이트에서 몇 가지 시도해봤는데, 결과가 실제 사용 환경을 얼마나 반영하나요?
제 사용 사례에서는 모델이 주어진 작업을 먼저 분석한 다음 데이터베이스 쿼리를 생성하고 실행한 후 최종적으로 결과를 클라이언트에 다시 보내야 할 수도 있습니다. 이런 워크플로우를 어느 정도까지 처리할 수 있고 결과는 얼마나 정확한가요?
잘 만드셨네요.
- mirekrusin
숫자가 틀리지 않았으면 좋겠고, 최적화된 버전(예: 추측 디코딩), 컨텍스트 크기, 허용된 병렬 추론(단일 에이전트는 병렬 추론을 많이 사용함) 등을 포함하면 좋겠습니다.
일반적으로 사람들은 긴 모델 목록에는 관심 없고 최고의 모델 하나만 신경 씁니다.
또한 듀얼 GPU는 흔한 구성이므로 예를 들어 2x 4090이 있어야 합니다.
- gitowiec
이런 시뮬레이터에서 보고 싶은 것들:
- 멀티 GPU 구성 (이기종 및 동종)
- PCIe 세대 선택 (3.0/4.0/5.0)
- NVLink 활성화 여부 (2장, 2 x 2장, 3 x 2장)
- PCIe 분기 또는 CPU 네이티브 여부 (예: Threadripper Pro)
- kristopolous
그냥 몇 분 동안 하나 빌려서 시험해보세요... 적합한지 느낌을 알고 싶다면 비용은 $0.50 미만일 겁니다. 컨텍스트 윈도우 같은 많은 것들을 이 도구는 포착하지 못합니다.
어디에 가입하느냐에 따라 다르지만, 보통 $5-10 정도의 소개 크레딧 내에 들기 때문에 실제로는 $0입니다.