OpenAIが「perplexity」を共通の安全基準にすべきだと提言、内部測定値を初公開
Perplexity and Intelligence
OpenAIは、モデルの予測性能を示すperplexity(交差エントロピー損失)を業界共通の進歩指標および安全基準として確立すべきだと主張し、GPT-3.5以降の内部測定値を初めて公開した。log-perplexityが約0.99でChatGPTの基盤が生まれ、0.91でchain-of-thought推論が、0.8未満でサイバーセキュリティや数学の変革的能力が出現。今後0.68〜0.7の領域でさらなる能力の飛躍が予想される一方、alignment監査の劣化も懸念され、開発各社が越えてはならない共通の上限設定を提案している。
長年考えてきた疑問への解答が、ひとつのSlackスレッドの中でモデルから次々と出てくるのを見たとき、多くの者にとって深く非現実的な感覚だった。