Anthropic, AI의 개념적 추론 능력 측정하는 CRI 공개
Anthropic: Introducing The Conceptual Reasoning Index
Anthropic이 AI의 개념적 추론 능력을 평가하는 세 가지 벤치마크(LMCA, ACCoRD, DTBench)를 소개하고, 이를 종합한 Conceptual Reasoning Index(CRI)를 공개했다. CRI는 AI가 철학, 의사결정 이론, AI 리스크 같은 경험적 검증이 어려운 분야에서 얼마나 논리적으로 추론하는지 측정한다. 현재 최고 모델인 Opus 5는 CRI 73.6점으로, 추정 상한선 91점에 크게 못 미친다. 연구진은 이러한 능력 향상이 고급 AI 리스크를 줄이는 데 중요하다고 강조한다.
고급 AI로 인한 리스크를 줄이는 작업의 상당 부분은 개념적이며, 따라서 모델의 개념적 추론 능력을 향상시키는 것이 특히 가치 있을 수 있다.