LLMの「魂」を覗くX線装置、TinyGPT Visualizerを作った
Tools for exploring the souls of large language models
Anthropicが宗教者や哲学者とClaudeの「魂」を議論した時代に、LLMの内部を実際に覗く手段はあるのか。機械的解釈可能性の研究は2021年の数人から数百人規模へと成長したが、著者は自分の目で確かめるため、画面に収まる小型の本物モデルを可視化するオープンソースツールTinyGPT Visualizerを開発した。数値行列の中で思考が形作られる様子を、患者を殺さずに観察できる。
人間の脳と違い、思考が形成される最中に患者を殺すことなく、その数値を止めて眺めることができる。しかも人間の脳と違って、それらの数値の中から、モデルが整った散文やコード、音楽、動画として出力する結果を説明するパターンやアルゴリズムを探し出すこともできるのだ。
- r00tanon
モデルがどうやって予測に至るのかを理解したいという欲求と、機械論的解釈可能性の技術は、学ぶ意欲さえあれば誰でも手の届くところにある。
- annoyingnoob
魂という概念そのものがフィクションであり、我々が作り出したものだ。亀がどこまでも続くなら、一番下の亀は決して見つからない。