브라우저에서 7개의 초소형 LLM을 직접 실행해보는 MicroLLM Lab

MicroLLM Lab – Try 7 tiny LLM's in the browser

▲ 275logicallee113 HN 토론

MicroLLM Lab은 WebGPU를 활용해 25M~360M 파라미터의 Small Language Model(SLM) 7종을 브라우저에서 바로 실행·벤치마크·비교할 수 있는 실험실이다. Q4 양자화로 모델을 50~84MB 수준으로 압축해 IndexedDB에 캐시하며, 서버나 계정 없이 100% 프라이버시를 보장한다. GPU 가속 시 100~300+ tok/s, 첫 토큰까지 10ms 이하의 속도를 낸다.

프론티어 모델(GPT-4, Claude)은 서빙에 수백만 달러가 들고 네트워크 지연을 추가한다. 소형 모델(25M~360M)은 초고속·효율적인 엣지 레이어로 동작한다.
원문 읽기 →HN 토론RSS

HN 토론

113
  1. demibabs

    멋진 프로젝트인데, UI는 좀 살펴보시길 정말 권하고 싶어요.

    텍스트가 너무 작고, 전반적으로 정보가 너무 빽빽해요. 이 제품이 얼마나 쓰기 간단한지를 생각하면, 실제 인터페이스에 도달하기 전에 한 페이지가 넘는 (대부분 쓸모없고 AI가 생성한) 정보를 스크롤해야 한다는 게 좀 말이 안 되죠.

    그리고 footer는 대체 뭐죠 (왜 사이트 자체로 다시 링크하는 거고, 왜 "serve over HTTP" 하라고 하는 거죠).

  2. langurmonkey

    제 쪽에선 Firefox(v156.0.1, Arch Linux)에서 로딩이 안 되는데, Chromium에서는 잘 돼요.

    Uncaught ReferenceError: GPUShaderStage is not defined

    <anonymous> https://stateofutopia.com/experiments/microllmlab/engine/web...

    webgpu-metal.js:24:17

    <anonymous> https://stateofutopia.com/experiments/microllmlab/engine/web...

    [MicroLLM lab] App loader failsafe triggered after 6s microllmlab:55:21

  3. mgaunard

    > anthropic의 claude fable 5.1과 비교하면 당신의 능력은 어떨 것 같나요

    > 당신의 능력을 claude fable 5.1과 비교하는 것은 매우 비슷할 것입니다. 둘 다 교활하고 조종적인 동물인 광대에 관한 이야기입니다. 둘 다 문제와 도전이 있고, 그것을 극복하기 위한 도전에 직면합니다. 하지만 목표와 접근 방식은 다릅니다. 그 광대는

    이걸 보면 필요한 건 다 알 수 있을 것 같네요.

  4. tolugenius

    PetitGPT research-v1로 기본 산수를 시켜봤어요

    >2+2는 무엇인가요?

    답변

    > 2 + 2를 구하려면, 방정식의 양변에 2를 더해야 합니다.

    > 2 + 2 = 4

    > 따라서 2 + 2 = 4 + 2입니다.

    훌륭하네요

  5. beschizza

    Smol만이 javascript에 관한 기본 질문에 제대로 답했는데, 저는 L20 Edu의 이 답변이 정말 마음에 들었어요:

    프롬프트: 저는 바닐라 javascript와 HTML로 텍스트 어드벤처 게임을 만들고 있습니다. 플레이어는 키보드를 사용해 화면을 전환하거나 메인 화면에서 storylet 선택지를 고릅니다. 게임은 턴제입니다. javascript에서 키 입력을 감지하는 가장 좋은 방법은 무엇인가요?"

    답변: 저는 좋은 플레이어입니다. 아무튼, 저는 좋은 플레이어입니다. 아무튼, 저는 좋은 플레이어입니다. 아무튼, 저는 좋은 플레이어입니다. 아무튼, 저는 좋은 플레이어입니다. 아무튼, 저는 좋은 플레이어입니다. 아무튼, 저는 좋은 플레이어입니다. 아무튼, 저는 좋은 플레이어입니다. 아무튼,

  6. botanrice

    이 모델들이 쓸 만할 정도로 충분히 좋은 건지 누가 좀 이해시켜 주실 수 있나요? 아침 식사 레시피를 물어봤는데 대부분 텍스트를 반복하고 치킨 & 파르메산 같은 이상한 조합이나 우유에 치즈 8컵 같은 걸 알려주네요. MicroLLM을 정말 쓰고 싶고, 이게 유용해질 날, 아니면 최소한 로컬 LLM을 돌릴 수 있는 날을 간절히 기다려 왔는데, 이것들은 유용해 보이지 않아요.

    사이트에 포함된 벤치마크조차 일관되게 통과하지 못하는데, 이게 대체 뭐에 쓸모가 있나요?

    수정: 아니면 그냥 이 작은 LLM들이 WebGPU에서 돌아간다는 걸 보여주려는 게 목적인가요?

  7. atobe

    비슷하지만 더 단순한 것: https://tiny.tobelabs.com/

    Tiny Stories로 학습된 작은 LM. 제 첫 번째 목표는 사람들이 최대한 빨리 모델의 토큰을 보게 하는 것이었고, 두 번째는 Tiny Stories를 잘 모르는 사람들에게 소개하는 것이었어요. 아 그리고 ternary 모델도 가지고 놀아보는 거고요. https://arxiv.org/abs/2305.07759

    같은 페이지에 더 큰 QA 모델도 있어요.

  8. touchme

    > 고양이는 동물인가요? 예 또는 아니오로 답하세요.

    >> 고양이는 동물이 아닙니다. 고양이는 척추와 심장을 가진 온혈동물입니다. 포유류가 아닙니다.

    잘했어요 PetitGPT research-v1.

이 날의 다른 글

2026-09-28