Claude Sonnet 5.5 supera a Sonnet 5 en codificación agéntica con un 70,6% en Terminal-Bench 4.0
Anthropic presenta Claude Sonnet 5.5, el segundo modelo de la familia Claude 5.5. Es un 30% más rápido y hasta un 30% más económico que Sonnet 5, con mejoras notables en tareas cotidianas, corrección de bugs y creación de documentos. En Terminal-Bench 4.0, una evaluación de codificación agéntica, alcanza un 70,6% frente al 10,3% de Sonnet 5. También destaca en trabajo de conocimiento y uso de computadoras, acercándose a Opus 5.5. Incluye nuevas salvaguardas de ciberseguridad y contra destilación.
En las primeras pruebas de Epic, Claude Sonnet 5.5 superó el mismo estándar de calidad que se esperaría de un modelo de gama superior, manteniéndose firme en una auditoría de diseño de sistemas y una revisión de flujo de datos. El nuevo modelo gestionó decenas de miles de líneas de código para la arquitectura de sistemas de juego, mantuvo respuestas ágiles, manejó tareas de varias horas y entregó resultados con menos indicaciones prescriptivas.
- azuanrb
A menos que estés usando modelos de frontera como Astra, Sol, Fable u Opus, creo que a menudo es mejor usar modelos chinos por una fracción del precio. No estoy seguro de que la gente se dé cuenta de lo competitivos que se han vuelto.
GLM y DeepSeek son grandes ejemplos. Se parecen un poco a Linux o Android en que no hay necesariamente un único mejor proveedor. Necesitas investigar un poco, probar algunos y elegir el que mejor funcione para tu caso de uso.
Creo que eso es en parte por lo que Anthropic ha estado promocionando tan agresivamente sus modelos más caros desde hace un tiempo. Sonnet y Haiku eran geniales, pero a ese nivel de inteligencia les resulta mucho más difícil competir en precio con los modelos chinos que en gran medida se han puesto al día.
La principal razón para usar modelos de frontera de Anthropic u OpenAI ahora es la combinación de inteligencia y velocidad. Los modelos de frontera chinos todavía tienen dificultades para igualar eso, posiblemente en parte debido a limitaciones de hardware. Pero a juzgar por los recientes lanzamientos de GLM, parecen estar avanzando en la dirección correcta.
- Sol-
Probablemente sea un problema de primer mundo, pero con la eficiencia de Opus 5.5, los límites del plan 5x son simplemente suficientes para mi trabajo diario, incluso ejecutando 2-3 sesiones a la vez. Así que me pregunto cuándo usaría Sonnet 5.5.
Más concurrencia que eso no es realmente práctico para mí si quiero conservar algo de comprensión. Quizás sea diferente para tareas puramente de aplicaciones web o frontend, donde el resultado es más relevante que el proceso; no tengo mucha experiencia ahí (y tampoco quiero menospreciar estos dominios, puede que esté subestimando su complejidad).
Así que, sorprendentemente, mi propio trabajo está al menos por ahora casi saturado por las capacidades del modelo. No estoy seguro de cómo escalaría desde aquí. Claro, podría ejecutar todas las solicitudes con el máximo esfuerzo para quemar tokens por el simple hecho de hacerlo, pero no puede ser eso. Y para muchas tareas, realmente no soy capaz de definir criterios de éxito tan claros o bucles de autoverificación que pudiera beneficiarme de dejar que un agente (o una flota de ellos) se ejecute de forma autónoma durante un día.
Así que me doy cuenta de que es un problema de habilidad por mi parte, pero no puedo ser el único. Me pregunto si hay un límite a la demanda de tokens, al menos a corto plazo. Parece que o aceleran hacia AGI y RSI, donde la IA puede encontrar usos para los tokens, o las cosas podrían estancarse en algún punto.
Nota: no pienso esto porque sea un escéptico de la AGI o crea que hay un techo para la inteligencia, sino que podría simplemente haber un valle de dificultades económicas para las empresas donde la oferta de tokens supera la demanda, du […]
- abejora
Que Sonnet 5.5 obtenga una puntuación más alta (70.6) que Opus 5.5 (66.4) en Terminal-Bench es interesante. Investigué esto porque me pareció extraño.
Resulta que Opus tuvo un 10% de sus pruebas respondidas por un modelo de respaldo debido a las salvaguardas; frente a solo un 1.5% de respaldos para Sonnet. [1] Así que no leería demasiado en esto, solo la diferencia en los respaldos probablemente podría explicar la brecha.
[1] Sección 8.5 de la System Card de Sonnet 5.5
- wongarsu
"Las capacidades ciber de Sonnet 5.5 son una gran mejora sobre las de Sonnet 5, así que lo estamos desplegando con salvaguardas similares a las de Opus 5.5. Los usuarios aún pueden encontrar y corregir errores en su código como parte del desarrollo rutinario de software, pero las tareas de ciberseguridad de mayor riesgo recurrirán visiblemente a Sonnet 5"
Suena como que al menos para los modelos de Anthropic alcanzamos el pico de capacidades ciber con Opus 4.8. Todo lo posterior recurre a modelos peores
- simonw
Pelícanos. Sonnet 5.5 tiene el mismo problema que Opus 5.5: con esfuerzo de pensamiento "max" quemó 128,000 tokens de pensamiento (tardando 15 minutos en hacerlo) y se quedó sin ellos antes de haber producido el SVG final.
https://tools.simonwillison.net/markdown-svg-renderer?url=ht...
Así se comparan los niveles de esfuerzo de pensamiento:
low
27 entrada, 1,623 salida, thinking_tokens: 0
1.6284
Duración: 10138ms (10s)
medium
27 entrada, 1,796 salida, thinking_tokens: 0
1.7914 centavos
Duración: 11266ms (11s)
high
27 entrada, 2,334 salida, thinking_tokens: 745
2.3394 centavos
Duración: 17376ms (17s)
xhigh
27 entrada, 5,730 salida, thinking_tokens: 2535
5.7354 centavos
Duración: 41882ms (41s)
max (no logró devolver respuesta)
27 entrada, 128,000 salida, thinking_tokens: 128000
$1.28
Duración: 940617ms (15m 40s)
Low y medium ambos usaron 0 tokens de pensamiento.
- wkcheng
El gráfico de costo/rendimiento muestra que en casi todas las configuraciones, parece peor que Opus. ¿Por qué usarías Sonnet 5.5 en xhigh si obtendrías mejores resultados (mayor puntuación, menor costo) con Opus 5.5 high?
¿Hay un buen caso de uso? Esto no es como Luna, donde es mucho más barato/efectivo simplemente usar Luna en ciertas situaciones.
- MisterMunchkin
Cuesta 20 veces más que los modelos chinos que uso. Simplemente ya no los necesito. Claro, los usaría si me obligaran por trabajo, pero no les pago fuera de eso.
Y mi trabajo ahora ni siquiera pagará por Claude porque es ruinosamente caro.
- Jcampuzano2
No entiendo por qué realmente usaría esto en lugar de usar simplemente un nivel de esfuerzo más bajo o incluso similar en Opus, dado que en muchos de los benchmarks es básicamente el mismo costo, si no más, con cualquier esfuerzo superior a medium.
Claro, quizás cuesta un 30% menos que Sonnet 5, pero ahora están básicamente codo a codo en la mayoría de los benchmarks, al parecer, y en algunos realmente cuesta más que Opus.
Quizás me estoy perdiendo algo, pero el anuncio no parece dar muchas razones para que la persona promedio siquiera considere usarlo.
- ghoshbishakh
¿Así que Sonnet es mejor que Fable ahora? ¿Ese Fable que era demasiado peligroso para lanzar? Estoy muy confundido ahora.
- johnmlussier
Pago $200 al mes y parte de su Programa de Verificación Ciber, pero no puedo usar Opus 5.5 o Sonnet 5.5 para ningún trabajo de bug bounty autorizado. Inmediatamente me marcan por `Cyber`.
Esto es una mierda. Sus salvaguardas son una porquería.