高次元統計学でビールを勝ち取った話
How to win a beer with high-dimensional statistics
Dhruva Karkadaの論文が示した、LLM埋め込みが円を描くという美しい結果に疑問を抱いた著者。word2vec埋め込みからランダムに見える10単語を選び、PCA空間で円を形成させることに成功。単なる偶然の幾何学模様が統計的制約なしに見つかることを示し、解釈可能性研究への影響を指摘する。
ランダムな単語の集合でも円が形成されることがわかった。これは、統計的制約が十分でなければ、低次元PCA幾何学の探索マッチング検索が誤った結論を導くことを示している。
- hhjinks
マッピングは選んだセットに依存するのでしょうか、それとも25k語すべてをマッピングして円を形成する10点を選ぶだけなのでしょうか？プロセスからすると、セットに合わない単語を置き換えているようで、残りの単語の位置はセットを変えてもあまり変わらないように思えます。
- mph1027
最高のバーの賭けは、技術的にはイカサマをしていないけれど、線形代数を悪用しているものです。
- ViscountPenguin
楽しいステップアップは、既存の円上の1点を除くすべての点から最大限離れた点のセットでプロセスを繰り返し、無限大の形を見つけられるかどうかを試すことでしょう。