CATT - Test-Agenten für MCP-Server und APIs in CI
Show HN: CATT 0.2.1: Test agents/services against a Muse/Instinct-alike, in CI
CATT (Consumer Agent Testing Tool) prüft, wie ein KI-Assistent deinen Service nutzt – ob MCP-Server, MCP-App, Website oder HTTP-API. Ein skriptgesteuerter oder modellgetriebener Agent simuliert die Interaktion, während serverseitige Outcome-Checks und versiegelte Evidenz-URLs die Ergebnisse nachvollziehbar machen. So lassen sich Builds vergleichen und Regressionen früh erkennen. CATT unterstützt Surrogat-Emulation für Muse und Instinct und läuft direkt in der CI – ohne Account für geskriptete Tests. Einfach per uv installieren und mit den Quickstarts starten.
Ein bestandener Test zertifiziert keine Kompatibilität mit Muse oder einem gehosteten Assistenten – aber er zeigt dir genau, was dein Service tut, wenn ein Agent ihn benutzt.