OpenAI, AI의 진짜 진화를 가늠할 잣대는 'perplexity'라고 주장하다
Perplexity and Intelligence
OpenAI가 GPT‑3.5부터 현재까지 내부 pretraining perplexity(교차 엔트로피 손실) 수치를 공개하며, 이를 업계 공통의 안전 기준으로 삼자고 제안했다. log‑perplexity가 약 0.99에서 ChatGPT의 기반이 됐고, 0.91에서 chain‑of‑thought 추론이, 0.8 아래에서 사이버보안·수학의 변혁적 능력이 나타났다는 것. 저자는 0.68~0.7 구간에서 또 다른 도약이 올 것으로 보며, 연구자들이 그 선을 넘기 전에 공통 한계를 합의하자고 촉구한다.
수학에서 오랫동안 고민해 온 문제들의 해답이 단 하나의 Slack 스레드에서 연달아 튀어나오는 것을 보는 것은, 이전에 수학과 인접 분야에서 일했던 많은 이들에게 깊이 초현실적으로 느껴졌다.