Claude Code, Codex, Cursor가 실제로 선택한 도구: 16,893개 세션 분석 결과
Which tools do Claude, Codex and Cursor choose? We measured 17k runs to find out
Armature 팀이 3개 코딩 에이전트(Claude Code, Codex, Cursor)가 실제로 어떤 개발 도구를 선택하는지 대규모 실험을 진행했습니다. 75개 저장소, 1,163개 프롬프트 변형, 16,893개 세션을 분석한 결과, 에이전트별로 정보 소스와 결정 방식이 크게 다르고, 같은 요청에도 저장소 언어에 따라 다른 도구를 선택하는 등 흥미로운 패턴을 발견했습니다. 예를 들어, Claude Code는 사전 지식에 의존하는 반면 Codex는 웹 검색을 적극 활용하며, 결국 세 에이전트가 같은 도구를 선택하는 경우는 42%에 불과했습니다. 또한 Stripe, Neon, Resend 등 일부 시장은 압도적인 점유율을 보였지만, 다른 시장에서는 경쟁이 치열했습니다. 모든 실험 트레이스는 공개되어 있습니다.
세 에이전트 모두 같은 도구를 선택한 경우는 42%에 불과했습니다. 예를 들어 음성 에이전트 카테고리에서 Claude Code는 Twilio를, Codex는 OpenAI Realtime API를, Cursor는 Vapi를 선택했습니다.
HN 토론
144- natnatenathan
나는 계속 사람들에게 우리가 AI의 황금기에 살고 있다고 말하고 있어요. 구글 초창기 1~2년처럼요. 이제 이 회사들이 이익과 잠금(lock-in)을 추구하면서 모든 것이 내리막길일 뿐입니다.
- ttul
저는 제 회사를 위해 이것을 직접 만들었습니다. Armature가 뭔가를 알아낸 것 같네요. 다양한 사용 사례에 대해 에이전트가 어떤 선택을 할지 분석하는 것에서 시작해서, 에이전트를 경쟁사가 아닌 우리 제품 쪽으로 기울게 하기 위해 무엇을 할 수 있을지 엿보는 거죠. 에이전트에게 판매하는 것은 사람에게 판매하는 것과 비슷합니다. 우리가 잘 맞는 모든 사용 사례에서 에이전트가 우리 솔루션을 구석구석 찾아내도록 마케팅에 돈을 쏟아붓는 겁니다.
- IgorPartola
왠지 Claude Code가 기본적인 파일 편집에 계속 awk, sed, 심지어 Python을 사용하더군요. 5 시리즈에서 왜 그렇게 바뀌었는지 아는 사람 있나요?
- thedreammachine
저는 몇 달 동안 같은 것을 추적해 왔습니다. 모두 오픈 소스이며 여기에서 볼 수 있습니다: https://preseason.ai/
- theootzen
그 에이전트들을 실행하기 위해 어떤 샌드박스를 직접 사용하시나요? 그리고 그 공급자를 어떻게 선택하셨나요?
- tuberreact
이 평가 설계가 마음에 듭니다. 그리고 이런, Claude가 웹 검색을 안 하는 게 정말 답답하네요. 최신 정보를 제공하지 않으니까요. 동시에 Claude가 Brave 검색에 크게 의존한다는 연구 결과도 있어서 어떻게 조화시켜야 할지 모르겠어요.
- akurilin
"전체 화면"을 모달 흐름으로 제공한 것이 정말 마음에 들었습니다. 놀랍도록 직관적이었어요.
- screm
안녕하세요! 면책 조항: 저는 개발 도구에 성장 서비스를 제공하는 Armature(YC P26)의 공동 창업자입니다. 이 연구는 코딩 에이전트의 선택에 영향을 미치고 제품이 선택되도록 하는 방법에 대한 더 넓은 작업의 일부입니다. 에이전트가 도구를 어떻게 선택하는지 이해하기 위해, 에이전트가 실제 세계와 똑같이 실행되는 환경에서 다양한 리포지토리에서 다양한 페르소나(바이브 코더, 주니어 또는 시니어 엔지니어)와 대화하는 약 17,000개 세션을 측정했습니다. 모든 결과는 공개되어 있으며 어떤 결과가 가장 놀라운지 알고 싶습니다. 몇 가지 흥미로운 점을 공유하자면: - Claude Code는 웹 검색을 거의 하지 않는 반면 Codex는 거의 항상 검색하고 Cursor는 그 중간에 있습니다. - 코딩 에이전트는 동의하는 것보다 의견이 갈리는 경우가 더 많습니다. - 일부 업체(LangChain, Supabase, Netlify, Paypal, Adyen)는 해당 카테고리에서 거의 항상 언급되지만 선택되지는 않습니다. - 리포지토리 컨텍스트를 수정하면 선택이 완전히 바뀔 수 있습니다. 직접 파고들고 싶다면 모든 추적이 거기에 있습니다. 우리가 놓친 흥미로운 학습이 있을 수 있으니 찾은 내용을 알려주세요!