Strands Decider 2B, 2B 파라미터로 115ms 만에 결정을 내리는 오픈소스 모델

Strands Decider 2B: a small, open-source, decision model

Strands Decider 2B, 2B 파라미터로 115ms 만에 결정을 내리는 오픈소스 모델

Strands Labs가 20억 파라미터의 오픈소스 결정 모델 Strands Decider 2B를 공개했다. LLM이 임의 텍스트를 생성하는 것과 달리, 이 모델은 주어진 선택지 중 하나를 고르거나 0~1 사이의 점수를 매기는 데 특화되어 있다. 각 결정에 신뢰도 점수를 제공하며, 로컬 CPU나 GPU에서 115ms 만에 답을 낸다. 툴 선택, 가드레일, 모델 라우팅 등 에이전트 워크플로에 적합하다. GitHub와 Hugging Face에 학습 데이터와 스크립트까지 모두 공개됐다.

결정 모델은 LLM이 결코 할 수 없는 경로에 아주 저렴하게 들어갈 수 있다는 점이 핵심이다.
  1. real_faxenoff

    저는 여러 특화된 마이크로모델을 일상적으로 쓰는 사용자로서 말씀드리자면, 이런 모델(그리고 그에 대응하는 JEV 모델들)을 PC의 CPU에서 영구적으로 백그라운드 실행하면 만족하지 못하실 겁니다. 그들의 처리를 NPU로 오프로드해야 합니다. 가는 길에 많은 함정이 있지만, 결과는 그만한 가치가 있습니다.

    NPU 성능은 두 배로 높아지고, 전력 소비는 네 배로 줄어듭니다. 추가 팬 소음도 없습니다(무슨 말인지 아시겠죠).

    이런 종류의 모델들 사이의 =배틀 로얄= 1단계가 끝날 때까지 한 달만 더 기다렸다가, NPU/iGPU용 솔루션을 만들어 HF에 올리겠습니다.

  2. girvo

    이런 결정 모델 중 하나를 원하는 질문 형태에 맞춰 파인튜닝하는 게 더 일반적인 버전보다 가치가 있는지 아는 사람 있나요? 저는 현재 직장에서 Jev를 꽤 성공적으로 사용하고 있는데, 무엇이 가능한지 궁금합니다.

  3. adenta

    이 시점에서 코미디언이 인간이 뒷받침하는 결정 모델을 출시하기를 기다릴 수가 없네요.

    Jerry를 만나보세요 - 말 그대로 Jerry라는 사람이 여러분의 질문에 답변합니다.

  4. mynti

    이 아키텍처에 대해 좀 더 자세히 설명해 줄 수 있는 사람 있나요? 그들은 포인터 헤드가 각 옵션의 은닉 상태를 정답의 은닉 상태와 비교하여 점수를 매긴다고 합니다. 하지만 LLM은 토큰별로 은닉 상태를 생성하므로, 하나의 옵션이 여러 토큰에 걸칠 수 있지 않나요?

  5. mattvr

    왜 모두가 이진 선택을 `noul`이라고 부르나요? 이게 어떤 의미가 있는 건가요, 아니면 그냥 Jev의 API를 따라 하는 건가요?

이 날의 다른 글

2026-10-07