AIが数学者の「業績のものさし」を壊しつつある
AI is breaking our proxies for expertise
AIが難問を次々と解くようになり、数学者の間で危機感が広がっている。約5000人（Fields賞受賞者25人を含む）が「数学におけるAIの深刻なミスアラインメント」と題する宣言に署名した。パズルを解く能力は、新しい概念を生み出すという数学の本質を間接的に評価する指標だった。AIがその指標をゲーム化し、人間には理解しにくい形で問題を解いてしまうと、数学の本当の進歩が損なわれる恐れがある。著者は、チェスやスピードランと同様に「人間の数学」と「AIの数学」が分離しつつも、人間のゲームを改善する可能性もあると論じる。
パズルは数学の進歩を測る、ゲーム化不可能な有用な指標だった。しかし今やAI企業がその指標をゲーム化できるようになったため、パズルの存在意義そのものが消え失せてしまう。
HNでの議論
70- bwfan123
> 数学者たちが怒っている具体的な問題を理解することは、AIが私たち自身の分野に与える影響をよりよく理解する助けになるだろう。
個人的には、このエッセイの著者は数学者たちが怒っている具体的な問題を理解していないと思う。数学[1]とコーディング[2]は、ある種の洞察や物事に対する精神的明晰さを達成することを目的とした人間の活動であるという考え方がある。これについて最も簡潔に説明しているのはFeynman[3]だ。AIが生成した証明は人間の理解を短絡させるため、主要な目的に反する。この宣言は、そのことを声高に指摘し、この営みの目的が証明の生成と報酬ではないことを改めて強調しているのだ。
[1] "On proof and progress in math" https://arxiv.org/pdf/math/9404236
[2] "Programming as theory building" https://pages.cs.wisc.edu/~remzi/Naur.pdf
[3] "What I cannot create, I do not understand"
- exprez135
Anastasia BergとJon Baskinは8月に「On Radical Preservation」[1]という記事を書き、その中で「merit（功績）」という共有概念の例を用いて、AIに満ちた現在と未来の危険性について警告している。彼らは逸話的に、私たちの状況をCrow族の状況と比較し、Plenty Coupsの証言を通じて、バッファローの減少と、彼の民族が卓越した人生を構成すると理解していた慣習、儀式、概念、生活様式の終焉を描いている。
同様に彼らは、merit（これは専門性と非常に似ていると私たちは考えていると思う）を、私たちの社会におけるそのような基本概念の一つとして指摘し、LLMの無制限な使用によって大きく損なわれていると論じる。これは単に「カンニング」によるものだけでなく、機械が生み出したものに対して、私たちがすぐに称賛に値すると主張し、自分自身でもそう信じてしまうという事実によるものである。広範囲にわたって、その使用は機械を使わない可能性のある人々と競合するだけでなく、個人のmeritという私たちの共有された考え方さえも破壊するだろう。
meritだけでなく、AIは一般に「私たち自身の文化的価値観が、単に退廃的または議論の余地があるものになるだけでなく、理解不能になる」ことにつながるかもしれない。最後に、BergとBaskinは基本的に、希望だけでは十分ではない（古い概念が新しいものに置き換わるという希望だけでは）と述べている。適切な態度は、それらを現在において保持するために全力を尽くすことである。
- yellow_postit
「数学と同様に、ソフトウェアエンジニアは、私たちが価値を見出す仕事の種類についての文化的感覚を再構築しなければならなくなるだろう。」
これは締めくくりの言葉だが、あらゆる職域とレベルで起きている変化だと私には見える。
私の推測では、これは最終的に、ストーリーテリングと人間の調整に長けた人々に跳ね返ってくる。AIシステムが生産だけでなく、何を作るかの開始の一部までも「オフロード」するにつれて、複雑な仕事においては「なぜ」と、グループをまとめる方法がより重要になる。
また、かつてはチーム全体を必要とした領域で、多くのソロショップが成功するのを見たいと願っているが、（今のところ）ほとんどの試みにおいて、人間の調整が依然として重要なニーズであり続けると確信している。
- vatsachak
AIがプロキシを壊したというのは同意しない。
フットボールのアナロジーで言えば、AIはワイドレシーバーで、人間はクォーターバックだ。たとえゲーム最高のWRであっても、まともなQBがいなければタッチダウンは生まれない。
バイブコーディングされたプロジェクトはすぐに嗅ぎ分けられる。
これらの証明やバイブコードはすべて、人間の仕事なしには不可能だ。GPT何某がgccをゼロから書いたら呼んでくれ。
- srcreigh
> (3)が真かどうか、つまり最先端のAIモデルが新しい数学的アイデアを生成していない、あるいは生成できないかどうかは、概して不明確だと思う。... LLMの仕組みの本質的な特徴のせいでAIにはこれができないという考えには、基本的にゼロの信憑性しか置いていない。
LLMはコンピュータプログラムなので、解けない数学の問題が存在する。別名、生成不可能なアイデアが存在する。
この議論の根拠は、ビジービーバー関数が計算不可能であることだ。より具体的には、あるN状態のチューリングマシンが停止しないことを証明する必要がある。ある時点でNが大きすぎると、LLMはコンピュータプログラムであるため、必要な証明を生成できない。
ビジービーバー・フロンティア[1]を参照。
これは停止性問題とは全く異なる。停止性問題では、任意の入力プログラムが停止するかどうかを決定できるコンピュータは存在しないことが示される。上記の議論では、固定されたLLMに対して、そのLLMによる証明能力を超えた特定の数学的問題が存在する（ただし、他のLLMや人間は証明できるかもしれない）。
人間は有限のコンピュータプログラムではないため（いずれにせよ証明はないが）、この議論に縛られない。自然世界からの入力で時間とともに「進化」するLLMも、そのコードが事実上無限であるため、縛られない。この議論は、固定された入力を持つ静的プログラムにのみ適用され、動的な情報源はない。
神のインスピレーションを信じる人もいる。人間が自然世界からの情報を取り入れていると信じることもできるかもしれないが[...]