El universo como un paquete minificado: la física como ingeniería inversa

Bien, empecemos un nuevo juego en el que intentamos adivinar el prompt que produjo este texto.

Mi suposición sería "Escribe una entrada de blog de 2000 palabras basada en la analogía entre la dificultad de entender las leyes de la física y el código fuente minificado".

Es una analogía genial, sin duda, pero al leer las 2000 palabras del artículo, sentí que no había sustancia ni carne alrededor. Vale, había algunos ejemplos vagamente relacionados con la analogía, y la escritura era más o menos fluida, pero ¿cuál era el mensaje al final? ¿Cuáles eran las nuevas ideas (más allá de la analogía)?

Cada vez que leo un texto largo generado por un LLM, me acuerdo de la ingeniería de comunicaciones: los canales de comunicación solo pueden disminuir el contenido de información. Por ejemplo, en la configuración de comunicación:

Alice envía msg --codifica--> palabra clave --canal--> palabra clave' --decodifica--> msg' Bob recibe

Lo mejor que podemos esperar es que el mensaje se haya transmitido fielmente, así que msg' = msg, ya que el ruido del canal solo puede degradar el contenido de información, específicamente, la información mutua es una función no creciente:

I(msg;palabra clave') ≤ I(msg;palabra clave),

debido a la monotonicidad de la información (también conocida como desigualdad del procesamiento de datos).

De manera similar, si Alice usa un LLM para comunicarse con Bob, tenemos:

Idea de Alice --codifica--> prompt --LLM--> texto generado --decodifica--> idea'

La monotonicidad de la información nos dice

I(idea;texto generado) ≤ I(idea;prompt).

Así que realmente no entiendo por qué la gente cree que agregar el paso de generación del LLM podría mejorar la comunicación […]