우주가 minified 번들이라면? 물리학은 prod에서 소스 없이 아키텍처를 알아내는 일

좋아요, 이 텍스트를 만들어낸 프롬프트를 맞히는 새로운 게임을 시작해 봅시다.

제 추측은 "물리 법칙을 이해하는 어려움과 minified 소스 코드 사이의 비유에 기반한 2000단어 블로그 게시물을 작성하라"입니다.

멋진 비유인 건 의심할 여지가 없지만, 그 2000단어의 기사를 읽으면서 내용이나 살이 없다고 느꼈습니다. 물론 비유와 느슨하게 관련된 예시들이 있었고, 글은 매끄러웠지만, 결국 메시지는 무엇이었을까요? (비유를 넘어서는) 새로운 아이디어는 무엇이었나요?

LLM이 생성한 긴 글을 읽을 때마다 저는 통신 공학이 떠오릅니다. 통신 채널은 정보량을 감소시킬 수밖에 없습니다. 예를 들어, 통신 설정에서:

Alice가 메시지를 보냄 --인코딩--> 코드워드 --채널--> 코드워드' --디코딩--> Bob이 받은 메시지'

우리가 기대할 수 있는 최선은 메시지가 충실히 전송되어 msg' = msg가 되는 것입니다. 채널 잡음은 정보량을 감소시킬 수밖에 없기 때문입니다. 구체적으로, 상호 정보량은 비증가 함수입니다:

I(msg;codeword') ≤ I(msg;codeword),

이는 정보의 단조성(일명 데이터 처리 부등식) 때문입니다.

마찬가지로, Alice가 LLM을 사용하여 Bob과 소통한다면 다음과 같습니다:

Alice의 아이디어 --인코딩--> 프롬프트 --LLM--> 생성된 텍스트 --디코딩--> 아이디어'

정보의 단조성은 다음을 알려줍니다:

I(아이디어;생성된 텍스트) ≤ I(아이디어;프롬프트).

그래서 저는 정말 이해가 안 됩니다. 왜 사람들은 LLM 생성 단계를 추가하면 의사소통이 개선될 수 있다고 믿는 걸까요? [...]