OpenAI pide un límite común de desarrollo basado en la perplejidad de los modelos
Perplexity and Intelligence
OpenAI propone usar la perplejidad (o pérdida de entropía cruzada) como métrica compartida para comparar el progreso en preentrenamiento entre laboratorios y establecer estándares de seguridad. La compañía publica por primera vez sus mediciones internas: desde GPT-3.5 (log-perplejidad ~0.99) hasta modelos actuales por debajo de 0.8, umbral donde emergen capacidades transformadoras en ciberseguridad y matemáticas. El autor sugiere límites comunes que los desarrolladores no crucen hasta alcanzar hitos concretos de monitoreo y alineación, y anticipa avances similares en investigación algorítmica de preentrenamiento, posiblemente para 2027.
Ver cómo las resoluciones a preguntas en las que llevábamos mucho tiempo pensando salían del modelo una tras otra en un solo hilo de Slack resultó profundamente surrealista.