Tausende Gespräche im Sprachmodell bilden dünne, überlappende Schichten
What thousands of conversations look like inside a language model

Ich habe die internen Repräsentationen von Qwen3-1.7B kartiert: Tausende Frage-Antwort-Beispiele in Englisch, Chinesisch, Deutsch, Kroatisch und Python-Code. Die tokenweisen Zustände im Residualstrom formen im dreidimensionalen PCA-Bild eine dünne, überlappende Schicht – doch diese Ansicht zeigt nur 17,6 % der Gesamtvarianz. Die Geometrie trennt Sprachen und Code teilweise, aber die Projektion selbst prägt, welche Beziehungen sichtbar werden.
Die sichtbare Schicht enthielt fast die gesamte Variation in der 3D-Ansicht, aber diese Ansicht ließ 82,4 % der ursprünglichen Variation aus.