Тысячи диалогов внутри языковой модели образуют тонкий лист

What thousands of conversations look like inside a language model

Тысячи диалогов внутри языковой модели образуют тонкий лист

Автор построил интерактивный атлас внутренних представлений Qwen3-1.7B, обработав 900 вопросов-ответов на английском, китайском, немецком и хорватском, а также 90 примеров кода на Python. В трёхмерной проекции диалоги укладываются в тонкий лист: лучше всего подогнанная плоскость объясняет 99,7% видимой вариации, хотя сами оси захватывают лишь 17,6% полной дисперсии. Языки и код занимают перекрывающиеся области, а выбор проекции — по словарю или по диалогам — меняет видимую геометрию.

Видимый лист содержал почти всю вариацию в трёхмерном представлении, но это представление упускало 82,4% исходной вариации.

Ещё за этот день

2026-11-15