36개 인기 MCP 서버를 평가했더니, 3분의 1이 에이전트를 실패시키고 있다

I graded 36 popular MCP servers on agent usability. A third got a D or F

MCP 서버가 스펙을 100% 준수해도 에이전트가 실제로 사용하지 못하는 경우가 많다. 저자는 프로덕션 AI 에이전트에 MCP 커넥터를 통합하며 겪은 실패 사례를 바탕으로, MCP 서버를 위한 Lighthouse 스타일 점수 도구 'mcpgrade'를 만들었다. 36개 인기 서버를 정적 분석한 결과, MongoDB, Notion, Airtable 등 공식 서버를 포함한 11개가 D/F 등급을 받았다. 주요 원인은 파라미터 설명 누락, 이름 충돌, 스키마 설계 문제다. 실제 모델 평가에서는 문서화가 잘 된 서버는 도구 선택 정확도 100%를 보였지만, firecrawl은 84%로 떨어졌고, 범위를 벗어난 작업에서 모델이 거절해야 할 때 50%만 거절하는 위험한 결과를 보였다.