Chomsky, 통계적 학습을 '나비 수집'이라 비판하다
Chomsky and the Two Cultures of Statistical Learning
2011년 MIT 행사에서 Noam Chomsky는 데이터를 근사하는 것만으로 성공이라 부르는 통계적 언어 모델을 혹평했다. Peter Norvig는 이에 맞서 Shannon의 Markov 모델부터 Newton의 중력 법칙, 맞춤법 확률 모델까지 예로 들며, 확률적 모델이 수십억 개의 파라미터에도 불구하고 예측과 통찰을 함께 줄 수 있다고 반박한다. 언어는 본질적으로 확률적 현상이라는 것이 그의 결론이다.
과학사에서 성공이라는 개념이 새롭다. 성공을 분석되지 않은 데이터에 근사하는 것으로 해석한다는 점에서 그렇다.
HN 토론
68- NaiveEmpiricist
Norvig(과 Chomsky)는 서로 엇갈린 이야기를 하고 있다.
Norvig는 공학을 과학으로 혼동한다. 엔지니어가 작동하는 것(그리고 그것이 작동할 것이라는 보장)을 원한다면, 그 목표를 달성하기 위해 사용 가능한 가장 효과적인 도구를 사용하면 된다. 거기엔 문제가 없다. 하지만 그것이 당신이 모델링하는 현상에 대해 과학적인 무엇인가를 알려준다고 생각할 이유는 전혀 없다. 예를 들어, 항공 공학은 새가 어떻게 나는지에 대해 거의 말해주지 않는다. 그리고 - 현재 관련성이 있는 - LLM은 언어를 사용하고 이해하는 법을 배우지만, 아이보다 수백만 배 더 많은 훈련 데이터와 수백만 배 더 많은 컴퓨팅 파워를 사용한다. 따라서 LLM은 훌륭한 기술일 수 있지만, 인간이 언어를 배우고 사용하는 방식에 대한 좋은 모델은 아닐 가능성이 높다.
반면 Chomsky는 과학에서 통계의 유용성을 보지 못한다, 적어도 언어학에서는. 언어학 분야에 다행히도, 언어학에서 Chomsky의 영향력은 줄어들고 있고 언어학자들은 과학을 하기 위해 통계 도구를 사용하기 시작했다.
- stillpointlab
Chomsky가 어떻게 자기 주장을 펼칠 수 있는지 이해하기 어렵다.
> Chomsky가 언어 생성에 대한 연구로부터 확률적 모델이 불필요하다는 결론에 도달할 수 있는 방법을 이해한다.
내겐 요점이 여기서 바뀌는 것 같다. 이제 우리는 믿을 수 없을 만큼 설득력 있는 언어를 생성하는 확률적 모델을 가지고 있다. 언어를 통계적으로 해석하는 것의 가치에 대한 Norvig의 이어지는 논증은 부차적이 된다.
현실에 닻을 내리고 있기 위해서는 우리의 모델이 증거로부터 따라 나와야 한다. 최신 모델들이 언어 생성의 증거를 보여준다는 것을 부정하려면 상당히 특이한 완고함이 필요할 것이라고 생각한다.
- Alexander-Barth
> 하지만 해석 과제(예: 음성 인식)를 연구하는 대다수의 사람들은 해석이 본질적으로 확률적 문제라는 것을 금방 깨닫는다: 내 귀에 들어오는 잡음이 많은 입력이 주어졌을 때, 화자가 가장 가능성 있게 의미한 것은 무엇이었을까? 아인슈타인은 모든 것을 가능한 한 단순하게 만들어야 하지만, 그보다 더 단순하게 만들어서는 안 된다고 말했다. 과학의 많은 현상은 확률적이며, 그에 대한 가장 단순한 모델은 확률적 모델이다.
왜 "가장 단순한" 모델인가? 확률적 모델이 불확실성을 다룰 수 있는 유일한 모델은 아닌가? 불확실성과 내재적 모호성을 표현할 수 있는 확률적이지 않은 다른 종류의 모델이 가능한가?
- muh_gradle
참고로 이것은 Norvig의 아주 오래된 글이다.
- lo_zamoyski
이것은 대략 두 가지 모더니즘적 태도, 즉 합리주의자(Chomsky)와 경험주의자(Norvig)의 전형적인 충돌이다. 이 분열이 초래하는 지적 상처는 오래되었다. 그러나 나는 Norvig가 전반적으로 우위에 있다고 말하고 싶다.
1. Norvig는 관찰과 사실/데이터 수집이 과학에 필요하다는 점에서 옳다. 그러나 Chomsky는 과학의 궁극적 목표가 어떤 것을 지배하는 원리를 결정하는 것이라는 점에서 옳다. 따라서: 두 번째를 하기 위해서는 첫 번째가 필요하다. 지성은 원천 데이터로부터 추상화하지만, 감각에 먼저 있지 않은 것은 지성에 없다.
2. 여기서 Chomsky는 말과 같은 것에는 관심이 없다 - 그는 오직 기저 구문에만 관심이 있다. 그러나 물질 속에서 표현되고 구현된 구문은 말을 통해 알려지며, 확률은 기저의 확정적 구문을 전제한다. 따라서: 말에 대한 완전한 과학은 잡음이 많은 데이터의 "읽기" 또는 해석에서부터 구문 처리 전반을 거쳐 표현에 이르기까지 처음부터 끝까지 이어진다.
3. Chomsky는 내적 생성에 크게 집중한다. Norvig는 해석이 별개의, 매우 실용적인 도전 과제임을 지적한다. 잡음이 많고 모호한 세계에서 누군가가 의미하는 바를 파악하는 것은 가장 가능성 있는 진실에 도달하기 위해 우연성과 확률을 저울질하는 신중함의 실천이다. 물론 이것은 의미와 진리를 전달하는 말의 기능에 대한 전제된 수용 없이는 불가능하다(따라서 거짓말이 통하고, 거짓말이 […]