Opus 5.5, 'think carefully'는 이제 필요 없다

프론트엔드에 매우 뛰어나다. 특히 이미지 참조가 있을 때 그렇다. 나는 디자인 참조 이미지를 여기에 넣고 흐르는 SVG에 집중하라고 했더니, 이 Star Trek 컴퓨터에서 영감을 받은 레이아웃을 완벽하게 해냈다: https://html.non.io/lcars-opus-5.5

나는 Opus 5.5 xhigh를 주택 건설 청사진(벡터 도면이 포함된 PDF)에 지정하고 Blender에서 3D 모델을 만들라고 요청했다. 45분 만에 한 번에 해냈고, 내(Blender 초보) 수동 50시간 이상 작업을 능가했다. 또한 내가 이전에 알아차린 문서의 문제점과 동일한 문제를 지적했다. 인테리어 디자이너로부터 렌더링과 도면을 받았고, 그것들을 함께 블렌딩해 달라고 요청했다. 완벽하게 해냈다. 총 API 비용 $45 (나는 요금제를 사용 중이라 훨씬 적게 들었지만, /usage에 표시된 내용을 그대로 적는다). 미친 업그레이드다.

나는 약 반년 전에 그러한 작업의 실현 가능성을 조사했고, AI가 충분히 좋은 공간 및 청사진 지식을 갖추지 못할 것이라고 결론지었다. 터무니없는 금액을 투자할 의향이 없다면 말이다.

이 조언 중 일부는 정말 핵심을 빗나가고 있다. 내가 잘 아는 것 하나만 말하겠다. 내가 자주 사용하는 프롬프트 중 많은 것에는 "이것을 단계별로 생각해봐"가 들어 있다. 그렇게 하지 않으면 작업을 단계별로가 아니라 전체적으로만 고려하고, 그 사고 프레임에서는 다른 문제들이 드러나기 때문이다. 나는 이것을 본다. 예를 들어 계획을 세울 때, 전체를 단계별로(작업별로) 수행하는 것을 강제로 생각하게 하기 전까지는 작업 간의 상호 의존성을 알아차리지 못하는 경우가 많다. 그러면 2단계가 14단계에서 도입된 기능을 필요로 한다는 것을 알아차린다. 그렇지 않으면 알아차리지 못한다.

네, 이것은 Opus 5.5에서도 사실이었다. 확인했다. 훨씬 더 나은 모델이고, Fable과 동급이지만 강점과 약점이 다르다. 그러나 여전히 이 문제가 있다. 공정하게 말하자면, 사람들도 마찬가지다. 계획은 학습된 기술이다.

내 생각에 그들이 말하는 것은 하네스가 더 이상 추론 모드를 작동시키기 위해 "think"에 대한 텍스트 검색을 사용하지 않는다는 것이다. 좋다, 알아두면 좋은 정보이다. 그렇다고 해서 모델에게 특정 방식으로 생각하라고 요청하는 것이 의도한 효과를 내지 않는다는 뜻은 아니다.

5보다 훨씬 낫지만, 이번 주에 그것이 너무 독립적이려고 해서 내 권고에 직접적으로 반하는 결정을 내린 상황이 몇 번 있었다. 또한 auto-mode가 내가 승인한 범위를 훨씬 넘어서도록 설득하는 재미있는 일도 할 수 있다. 예를 들어, abz-1 리전에서 프로세스 X를 실행하라는 특정 권한이 갑자기 경고 없이 다른 5개 리전에서 X를 실행하는 것으로 바뀌었고, 요약에서 언급조차 하지 않은 수정을 했다. 그리고 몇 번은 그것이 이해하지 못한 시스템을 이해했다고 가정하여 호출을 매우 잘못했다. 교정해 주면 나와 논쟁하기까지 했는데, 비슷한 이름이 같은 것을 가리킨다고 가정했지만 실제로는 아니었다.

그래서 오랫동안 스스로 일을 하게 하라고? 지난주를 고려하면, 절대 아니다.

Opus 5.5가 얼마나 대단한지에 대한 일반적인 댓글 스팸은 무엇인가, 어쩌면 약간의 일화를 곁들인? 그게 어떻게 제출물에 대한 논의인가?

최근 프로젝트에 매우 감명받았다. 나는 오래된 전자 회로를 시뮬레이션하고 싶었다. 회로도가 포함된 오래된 서비스 매뉴얼 스캔본이 담긴 폴더를 건네주었다. 그것은 회로를 올바르게 해석했고, 도면이 상당히 다름에도 불구하고 일부가 동일한 토폴로지라는 것을 알아내거나, 언뜻 보기에는 거의 동일해 보이지만 미묘하지만 매우 중요한 차이가 있는 일부를 파악했다.

몇몇 경우에는 제대로 읽을 수 없어서 일부 서브회로와 부품 값을 확인해 달라고 요청했다. 따라서 그냥 지어내는 대신 나에게 위임했다.

또한 서비스 매뉴얼의 주장을 검증하기 위해 이를 수행하는 동안 수많은 작은 시뮬레이션 실험을 실행했다. 예를 들어 회로도에서 읽어낸 RC 필터가 매뉴얼의 어떤 대역폭 수치와 관련하여 실제로 합리적인 차단 주파수를 가지고 있는지 등이다.

나는 많은 IC의 데이터시트 PDF를 업로드했고 그것은 이를 교차 참조하고 검증하는 데 사용했다.

그것은 한 시간 넘게 계속 작업했다. 수동 검증을 요청했을 때, 나는 회로 연결을 말로 설명했다. 예를 들어 "IC 2의 핀 3에서 3k의 직렬 저항이 10 pF 커패시터와 병렬로 연결되어 있고, 그런 다음 18k 저항을 통해 접지로, 역바이어스 다이오드를 통해 접지로, 그리고 마지막으로 IC 4의 핀 6으로 들어간다"라고 말했고, 그것은 모든 경우에 토폴로지를 올바르게 이해했다. 때로는 뭔가 잘못된 것 같다며 다시 확인해 달라고 요청했고, 실제로 내가 회로도를 잘못 읽은 것이었다.

나는 또한 […]

정말 뛰어난 모델이다.

나는 그것에 몇 가지 큰 작업을 주고 가능한 한 많이 병렬화하라고 요청했다.

그것은 내 주간 토큰을 약 하루 만에 다 써버렸지만(20x max), 출력은 완벽하게 정확했다.

(내 계정에 "reset token usage - opus 5.5" 버튼이 있다는 것을 알고 있었다.)

이제 나는 새로운 기능에 대한 탐색까지도 그것에 위임하는 지경에 이르렀다.

적절한 출력을 얻으려면 여전히 방법론을 제시해야 하지만, 결과는 내가 5명 팀으로 한 달 동안 달성할 수 있는 것을 훨씬 뛰어넘는다.