PyTorchの全体像を1ページにまとめた「The Map」公開
The whole of PyTorch on one page
PyTorchの内部構造を8つの階層に分けて解説する連載「Loss, Death, Robots」の第0回。キーボードからチップに至るまで、Python、C++、ディスパッチャ、カーネル、メモリ、そして2つのクロックを俯瞰する。Pythonから見える部分はわずか49KBで、実際の本体は235MBのコンパイル済みコードであることを実測データとともに示す。
あなたが一日中書いているPythonは、このコードベースの中で最も小さな層である。
- bonoboTP
悪くないけど、Claudeはこういった解説記事を書くにはまだあまり良くないね。数ヶ月後に新しいモデルでもう一度試すべきだ。
- Ask12j
笑、関数シグネチャ用のYAMLファイルから巨大なswitch文を生成するのか。
「コンパイラ」のdynamo部分も、gccやTritonのような実際のコンパイラを呼び出すハックだし。
完全にスパゲッティコードだよ。
- imperio59
こういったAI生成の解説が好きなら、これもかなり良いよ：https://www.longformexplainers.com/llm-pretraining