Anthropic lanza el Índice de Razonamiento Conceptual: los modelos aún están lejos de la perfección

Anthropic: Introducing The Conceptual Reasoning Index

Anthropic y Redwood Research presentan el Índice de Razonamiento Conceptual (CRI), que agrega tres benchmarks (LMCA, ACCoRD y DTBench) para medir la capacidad de los modelos de IA de razonar sobre cuestiones conceptuales sin retroalimentación empírica. El mejor modelo, Opus 5, obtiene 73.6 sobre un techo estimado de 91. Los resultados muestran un progreso lineal desde 2024, pero aún lejos de saturar en LMCA y ACCoRD, mientras que DTBench ya está cerca del techo.