チョムスキーは統計的言語学習の何を誤解しているのか
Chomsky and the Two Cultures of Statistical Learning
2011年のMITシンポジウムでChomskyは、統計的手法で言語を模倣する機械学習研究を「未分析のデータへの近似」と切り下げた。Norvigはこれに反論し、ShannonのMarkovモデルから綴りの確率統計、理想気体の法則まで例に挙げ、統計モデルは工学だけでなく科学にも洞察をもたらすと論じる。Chomskyが批判するのは50年前の特定モデルの欠点にすぎず、言語の解釈は本質的に確率的な問題だというのが彼の主張だ。
Chomskyは、ある50年前の確率モデルの欠点を理由に、あらゆる確率モデルを退けている。
HNでの議論
65- NaiveEmpiricist
Norvig（そしてChomsky）は互いに噛み合わない議論をしている。
Norvigは工学を科学と混同している。もしエンジニアが機能するもの（そして機能することを保証するもの）を望むなら、その目標を達成するために利用可能な最も効果的なツールを使う。そこに問題はない。しかし、それがモデル化している現象について科学的な何かを教えてくれると考える理由はまったくない。例えば、航空工学は鳥がどう飛ぶかについてほとんど何も語らない。そして—現在関連性があることだが—LLMは言語を使い理解することを学ぶが、子供よりも何百万倍も多くの訓練データと、何百万倍も多くの計算能力を使う。だからLLMは優れた技術かもしれないが、人間がどのように言語を学び使うかについての良いモデルではないだろう。
一方Chomskyは、科学において統計の使い道を、少なくとも言語学においては、まったく見出していない。言語学の分野にとって幸いなことに、Chomskyの言語学における影響力は衰えてきており、言語学者たちは科学を行うために統計ツールを使い始めている。
- stillpointlab
Chomskyにどうやって分があるのか、私にはほとんど見えない。
> Chomskyが、言語生成の研究から、確率モデルは不要だという結論に至るかもしれないことは理解できる。
私にとってはここがポイントだと思う。今や信じられないほど説得力のある言語を生成する確率モデルがある。言語を統計的に解釈することの価値に関するNorvigの続く議論は二次的なものになる。
現実に繋がれているためには、我々のモデルは証拠から導かれなければならない。最新のモデルが言語を生成する証拠を示していることを否定するには、特異な頑固さが必要だろう。
- Alexander-Barth
> しかし、解釈タスク（音声認識など）を研究する人々の大多数は、解釈が本質的に確率的な問題であることをすぐに理解する。私の耳に届くノイズの多い入力の流れが与えられたとき、話し手は最も何を意味した可能性が高いか？ Einsteinは、すべてを可能な限り単純にせよ、しかしそれ以上に単純にするなと言った。科学における多くの現象は確率的であり、それらの最も単純なモデルは確率モデルである。
なぜ「最も単純な」モデルなのか？ 確率モデルは不確実性を扱える唯一のモデルではないのか？ 不確実性と本質的な曖昧さを表現できる、確率的でない他の種類のモデルにはどんなものがあり得るのか？
- muh_gradle
ちなみにこれはNorvigによる古い、非常に古い投稿だ。
- lo_zamoyski
これは多かれ少なかれ、合理主義者（Chomsky）と経験主義者（Norvig）という二つのモダニスト的態度の古典的な衝突だ。この分裂がもたらす知的傷は長く続いている。しかし、全体的にはNorvigに分があると言える。
1. 観察と事実／データ収集が科学に必要であるという点でNorvigは正しい。しかし、科学の最終目標は何かを支配する原理を決定することであるという点でChomskyは正しい。したがって、二つ目を行うには一つ目が必要だ。知性は元データから抽象するが、感覚にまずないもので知性にあるものはない。
2. ここでChomskyは音声のようなものには関心がなく、根底にある統語論だけを気にかけている。しかし、物質において表現され実現される統語論は音声を通じて知られ、確率は根底にある確定した統語論を前提とする。したがって、音声の完全な科学は端から端まで、ノイズの多いデータの「読み取り」や解釈から統語処理を通り表現に至るまでのものだ。
3. Chomskyは内部生成に重点を置く。Norvigは解釈が別個の、非常に実用的な課題であると指摘する。ノイズが多く曖昧な世界で誰かが何を意味するかを突き止めることは、最も確からしい真実に到達するために偶発性と確率を比較検討するという、思慮深さの実践である。もちろん、これは意味を伝え、何が真であるかを伝えるという音声の機能の受容を前提としてのみ行える（だから嘘が機能し、嘘がab[…]である）。