Strands Decider, 왜 Encoder가 아닐까?
Strands Decider: Why Not an Encoder?
Strands Decider가 왜 수정된 LLM을 쓰는지, encoder가 더 나을지 실험했다. v19, encoder-decoder(b1, b2), encoder-only(e1a, e1b)를 비교한 결과, e1b가 지연 시간에서 크게 앞서고 정확도도 비슷했지만, 프롬프트가 길어질수록 성능이 더 나빠졌다. e1a는 대부분 태스크에서 v19를 이겼지만 JevBench와 JF100에서는 뒤처져 일반화가 약했다. 결론은 아직 명확하지 않다는 것.
이 실험은 아키텍처, 기본 모델, instruction tuning 대 base 등 여러 변수를 바꾸면서 혼란스럽게 얽혀 있다. 하지만 흥미로운 점을 몇 가지 배웠다. 이 정도 규모에서는 이 작업에 확실한 승자가 없는 것 같다.