Chomsky критикует статистическое обучение, а Norvig отвечает
Chomsky and the Two Cultures of Statistical Learning
В 2011 году на симпозиуме MIT Ноам Хомский раскритиковал статистические методы в машинном обучении, заявив, что они лишь имитируют поведение, не понимая его смысла. Питер Норвиг в эссе разбирает пять тезисов Хомского и возражает: инженерный успех свидетельствует о правильности модели, а вероятностные модели, несмотря на миллиарды параметров, дают полезные предсказания и понимание. Норвиг напоминает, что вероятностный вывод не ограничен теоремой Голда, и приводит примеры из физики и лингвистики.
Хомский отвергает все вероятностные модели из-за недостатков одной конкретной вероятностной модели 50-летней давности.
- NaiveEmpiricist
Норвиг (и Хомский) говорят о разных вещах.
Норвиг путает инженерию с наукой. Если инженеру нужно что-то работающее (и гарантия, что оно будет работать), то он использует самый эффективный доступный инструмент для достижения этой цели. Тут проблем нет. Но нет абсолютно никаких причин думать, что это говорит что-то научное о моделируемом явлении. Например, авиационная инженерия очень мало говорит о том, как летают птицы. И — что сейчас актуально — LLM учатся использовать и понимать язык, но они используют в миллионы раз больше обучающих данных и в миллионы раз больше вычислительной мощности, чем ребенок. Так что LLM может быть отличной технологией, но, вероятно, не является хорошей моделью того, как люди учат и используют язык.
Хомский, с другой стороны, не видит никакой пользы от статистики в науке, по крайней мере в лингвистике. К счастью для лингвистики, влияние Хомского в ней ослабевает, и лингвисты начинают использовать статистические инструменты для занятий наукой.
- stillpointlab
Мне трудно понять, на чем держится позиция Хомского.
> Я понимаю, как Хомский мог прийти к выводу, что вероятностные модели не нужны, из своего изучения порождения языка.
Думаю, для меня поворотный момент здесь в этом. У нас теперь есть вероятностные модели, которые порождают невероятно убедительный язык. Последующий аргумент Норвига о ценности статистической интерпретации языка становится вторичным.
Чтобы оставаться привязанными к реальности, наши модели должны следовать из доказательств. Я думаю, потребовалось бы странное упрямство, чтобы отрицать, что новейшие модели демонстрируют доказательства порождения языка.
- Alexander-Barth
> Но подавляющее большинство людей, изучающих задачи интерпретации (такие как распознавание речи), быстро понимают, что интерпретация — это по своей сути вероятностная проблема: учитывая поток зашумленного ввода в мои уши, что, скорее всего, имел в виду говорящий? Эйнштейн говорил, что все следует упрощать настолько, насколько возможно, но не более того. Многие явления в науке стохастичны, и простейшая их модель — это вероятностная модель.
Почему «простейшая» модель? Разве вероятностная модель не единственная, способная справляться с неопределенностью? Какие еще виды моделей возможны для представления неопределенности и внутренней неоднозначности, которые не были бы вероятностными?
- lo_zamoyski
Это более или менее классическое столкновение двух модернистских установок: рационалиста (Хомский) и эмпирика (Норвиг). Интеллектуальная рана, которую вносит это разделение, существует давно. Однако я бы сказал, что в целом преимущество у Норвига.
1. Норвиг прав в том, что наблюдение и сбор фактов/данных необходимы для науки. Однако Хомский прав в том, что конечная цель науки — определить принципы, управляющие чем-либо. Следовательно: нужно первое, чтобы делать второе. Интеллект абстрагируется от исходных данных, но нет ничего в интеллекте, чего прежде не было бы в чувствах.
2. Хомский здесь не интересуется такими вещами, как речь, — его интересует только лежащий в основе синтаксис. Но синтаксис — выраженный и воплощенный в материи — познается через речь, и вероятности предполагают лежащий в основе детерминированный синтаксис. Следовательно: полная наука о речи является сквозной, от «чтения» или интерпретации зашумленных данных через синтаксическую обработку вплоть до выражения.
3. Хомский уделяет большое внимание внутреннему порождению. Норвиг указывает, что интерпретация — это отдельная, крайне практическая задача. Выяснение того, что кто-то имеет в виду в зашумленном, неоднозначном мире, — это упражнение в благоразумии, которое включает взвешивание случайностей и вероятностей для достижения наиболее вероятной истины. Конечно, это можно сделать только на фоне предварительного принятия функции речи, которая состоит в передаче смысла и того, что истинно (отсюда и то, почему ложь работает и почему она аб […]
- muh_gradle
Кстати, это старый-старый пост Норвига.