Вселенная как минифицированный бандл: физика без исходников
The Universe as a Minified Bundle
Автор проводит аналогию между устройством Вселенной и работой с продакшн-кодом без исходников. Он сравнивает физику с реверс-инжинирингом, где учёные вынуждены разбираться в архитектуре по поведению системы. Рассматриваются идеи Дональда Хоффмана о восприятии как интерфейсе, эволюционно оптимизированном для выживания, а не для истины. Также обсуждается, как ИИ может помочь выявить скрытые связи между разными областями физики, подобно тому, как анализ минифицированного кода обнаруживает дублирующиеся функции.
Физика — это то, что вы делаете, когда прод работает, исходники отсутствуют, и вам всё равно нужно разобраться в архитектуре.
- ivansavz
Ладно, давайте начнём новую игру, где мы попробуем угадать промпт, который породил этот текст.
Моя догадка: «Напиши пост для блога на 2000 слов, основанный на аналогии между сложностью понимания законов физики и минифицированным исходным кодом».
Аналогия классная, без сомнений, но, читая 2000 слов статьи, я чувствовал, что вокруг неё нет ни содержания, ни плоти. Ладно, там были какие-то примеры, отдалённо связанные с аналогией, и текст был довольно гладким, но какова в итоге мысль? Какие новые идеи (помимо аналогии)?
Каждый раз, когда я читаю длинный текст, сгенерированный LLM, я вспоминаю о теории связи: каналы связи могут только уменьшать количество информации. Например, в схеме связи:
Алиса отправляет сообщение --кодирование--> кодовое слово --канал--> кодовое слово' --декодирование--> сообщение' Боб получил
В лучшем случае мы можем надеяться, что сообщение было передано без искажений, так что сообщение' = сообщение, поскольку шум в канале может только ухудшить информационное содержание; в частности, взаимная информация является невозрастающей функцией:
I(сообщение;кодовое слово') ≤ I(сообщение;кодовое слово),
из-за монотонности информации (также известной как неравенство обработки данных).
Аналогично, если Алиса использует LLM для общения с Бобом, мы имеем:
Идея Алисы --кодирование--> промпт --LLM--> сгенерированный текст --декодирование--> идея'
Монотонность информации говорит нам:
I(идея;сгенерированный текст) ≤ I(идея;промпт).
Так что я действительно не понимаю, почему люди верят, что добавление шага генерации LLM может улучшить комму […]
- voxleone
>>Координатная сетка исполняема.
Как и в Функциональной Вселенной
- cs1996
Причина, по которой я подумал о метафоре бандла, в том, что на прошлой неделе на работе я читал:
https://support.cognex.com/en/resources/external-documents/h...
и:
https://support.cognex.com/en/resources/hardware-tech-manual...
но ни то, ни другое не могло сказать мне, как получить изображение с камеры в мою программу на Go. И всё же маленькая демонстрационная веб-программа, которую прошивка отдаёт на порту 8080, имеет симпатичное JavaScript-приложение, которое может получить изображение с камеры. Но да, исходников нет. Так что ИИ прочитал бандл, и — бам! — теперь у меня был способ получить изображение.