言語モデル内部の数千の会話を可視化したら、薄いシート状の構造が現れた

What thousands of conversations look like inside a language model

言語モデル内部の数千の会話を可視化したら、薄いシート状の構造が現れた

Qwen3-1.7Bの残差ストリームから会話の内部状態を抽出し、英語・中国語・ドイツ語・クロアチア語とPythonコードの計数千例を3次元空間に投影した。英語の状態はほぼ平面に収まり、言語ごとに重なり合う領域を形成。ただし表示された3軸は元の変動の17.6%しか捉えておらず、地図の見え方は投影の選び方に強く依存する。

見えているシートには3Dビューの変動のほぼすべてが含まれていたが、そのビューは元の変動の82.4%を切り捨てていた。
  1. netruk44

    ここ数年、Qwenの埋め込みを使ってSteamのゲームとそのレビューをマッピングする遊びをやっている。毎年この時期にこのプロジェクトを見直して、昨年より「良い」マップ(あくまで自分の好みに基づく基準だが)を作るためにどんな改善ができるか考えている。[0/1]

    今年学んだことの一つは、素朴なテキストマッピング(レビューのコーパスをQwenの埋め込みモデルで埋め込み、umapでプロットして、どこに何が配置されるか比較する)は、何よりもまず埋め込まれたテキストの長さを比較しているだけだということだ。レビューが何を言っているかは、レビューの長さほどには位置に影響しない。

    これは少し意外だった。理由はともかく、埋め込みが埋め込まれた文章の長さをこんなにも強く表現するとは思っていなかった。だから今年の時間の大半は、このアーティファクトを修正することに費やされた。

    [0]: 2025年のマップ: https://storage.danieltperry.me/share/steam-map/

    [1]: 2026年のマップ(まだ作業中で、UIもレビュー処理も未完成): https://storage.danieltperry.me/share/steam-map-refresh/

  2. Scene_Cast2

    手法は、誤解を招くほどに煮詰まっていないか、あるいは説明が大幅に不足しているかのどちらかに感じる。なぜ3Dなのか?次元削減はどの時点で行われたのか?そして次元削減をしているなら、その「平面」には本当に意味があるのか?

  3. supermatt

    この最終層の分析って、要するに中国語のトークンがいくつか続いた後には中国語のトークンが出て、ラテン文字のトークンがいくつか続いた後にはラテン文字のトークンが出る、と言っているだけではないのか?この設定を考えれば当然のように思える。中間層で翻訳がどう見えるのかに興味がある。

  4. harttrav

    次元削減にはpcaの代わりにumap(https://umap-learn.readthedocs.io/en/latest/)やtsne(https://scikit-learn.org/stable/modules/generated/sklearn.ma...)が面白い選択肢になるかもしれない

  5. rustyhancock

    アラビア語のような第三の広範な言語スタイルがあればよかったのにと思う。もっともQwenはアラビア語を使わないのかもしれないが。

    まったく異なる知識ベースがモデル内に存在しうるのではないかと考えさせられた。私のメンタルモデルは、OPが純粋な知識源からの翻訳を行ったという話に近かったからだ。

    またこれは、プロンプトを別の言語に書き換えると制限を回避できることがある理由の説明にもなっている。

この日のほかの記事

2026-11-15