PySRがニューラルネットを解析的な数式に変換する
Symbolic Learning in Python and Julia
PySRは記号回帰のためのオープンソースツールで、目的関数を最適化する解釈可能な数式を探索する。検索エンジンはJulia製のSymbolicRegression.jlが担い、Pythonからはscikit-learn風のインターフェースで扱える。学習した式はSymPyやJAX、PyTorch形式で取り出せ、ニューラルネットを数式へ変換する「記号蒸留」にも応用できる。
ここでは本質的に、記号回帰を使ってニューラルネットを解析的な方程式に変換している。こうしたツールは、ディープニューラルネットを解釈するための明示的かつ強力な手段を同時に提供するのだ。
- brumar
記号的な/決定論的な文脈で、しかも複雑さにもペナルティを与えるような予測品質は、どうやって測定・比較するのでしょうか？博士論文でこれに苦労し、適用できるものが見つからなかったので、自分でMinimum Description Lengthの実装を一から作る羽目になりました。私が詰問した統計学者たちは「記号モデルでモデル選択をしようとするな、確率モデルにしてからそこから進めろ」という感じでした。
- JanisErdmanis
ここでのJuliaの部分はJuliaC経由でコンパイルされているのでしょうか？そうでない場合、コンパイルするには何が必要ですか？
- verdverm
関連: https://github.com/verdverm/pge-jax
記号回帰のための決定論的アルゴリズムで、最近JAXに移植しました。