Разработчик создал TinyGPT Visualizer, чтобы заглянуть в «душу» языковых моделей
Tools for exploring the souls of large language models
TinyGPT Visualizer — это открытый инструмент, который позволяет визуализировать внутренности небольшой, но настоящей языковой модели. Автор вдохновился метафорой рентгена: можно наблюдать, как формируются «мысли» в числовых матрицах, не разрушая модель. Проект задуман как способ привлечь больше людей к механистической интерпретируемости и дать возможность самостоятельно опробовать техники анализа. Код и документация доступны на GitHub.
В отличие от человеческого мозга, мы можем остановиться и посмотреть на числа в момент формирования мыслей, не убивая пациента, и, в отличие от человеческого мозга, мы можем искать в этих числах паттерны и алгоритмы, объясняющие результаты, которые модели выдают в виде связного текста, кода, музыки и видео.
- r00tanon
Потребность в понимании того, как модели приходят к своим предсказаниям, и методы механистической интерпретируемости доступны любому, у кого есть желание учиться.
- annoyingnoob
Само понятие души — это выдумка, нечто, что мы сами придумали. Когда это черепахи до самого низа, ты никогда не найдёшь нижнюю черепаху.