OpenAI предлагает измерять прогресс ИИ через перплексию и ввести общие лимиты
Perplexity and Intelligence
OpenAI призывает сделать перплексию (кросс-энтропийную потерю) общим показателем для сравнения моделей между лабораториями и основой для стандартов безопасности. Компания впервые раскрывает внутренние значения: от GPT-3.5 с лог-перплексией ~0,99 до моделей ниже 0,8, где проявились прорывные способности в кибербезопасности и математике. Автор предлагает «общие лимиты» — пороги, которые разработчики не пересекают до появления новых инструментов мониторинга, и прогнозирует следующие трансформации в окне 0,68–0,7.
Для многих из нас, кто раньше работал в математике и смежных областях, видеть, как решения вопросов, о которых мы долго думали, одно за другим появляются из модели в одном Slack-треде, было глубоко сюрреалистично.