Claude Fable 5.1의 '펠리컨 벤치마크' 결과: 추론 수준에 따라 13분 54초와 3.30달러를 쓰고도 최고의 펠리컨을 만들다

Claude Fable 5.1 made me a nice animated pelican

Simon Willison이 Claude Fable 5.1의 추론 수준(low, medium, high, xhigh, max)에 따라 '펠리컨이 자전거를 타는 SVG'를 생성하는 실험을 진행했습니다. low와 medium에서는 추론 없이 비슷한 결과를, high에서는 약간의 추론을, xhigh에서는 7분 51초와 1.83달러를 들여 훨씬 정교한 펠리컨을, max에서는 13분 54초와 3.30달러를 들여 최고의 펠리컨을 만들었습니다. 또한 Hacker News 댓글의 요청에 따라 max 펠리컨을 애니메이션으로 변환하는 데 성공했습니다. 이 과정에서 추론 수준에 따른 비용과 품질의 차이를 보여줍니다.