Почему strands-decider — не энкодер, а модифицированный LLM?
Strands Decider: Why Not an Encoder?
После запуска strands-decider-2B меня спросили, почему это модифицированный LLM, а не энкодер вроде BERT. Я сравнил пять архитектур: v19 (Qwen3.5-based), b1 и b2 (encoder-decoder на T5Gemma 2), e1a и e1b (только энкодер T5Gemma). Энкодеры выигрывают в задержке (35 мс против 65 мс), но при больших промптах масштабируются хуже из-за квадратичного внимания. Точность сопоставима, но эксперимент сильно запутан, и однозначного победителя нет.
Где это оставляет нас в вопросе энкодеры против декодеров? Боюсь, не сильно ближе к истине. Этот эксперимент безнадёжно запутан: меняются архитектуры, базовые модели, instruction tuning против base и другие переменные.