Markdown per Accept-Header: So servieren Sie AI-Agenten Ihre Inhalte direkt
Serve Markdown to AI Agents with Accept Headers
acceptmarkdown.com zeigt, wie Websites mit Content Negotiation eine Markdown-Variante ihrer Seiten ausliefern können. Das spart Tokens, verbessert die Retrieval-Qualität für RAG-Pipelines und senkt die Latenz. Die Seite bietet einen Checker, der URLs mit `Accept: text/markdown` testet, sowie Anleitungen für Server wie Nginx, Caddy und Cloudflare Workers und eine Übersicht, welche AI-Agenten dieses Format unterstützen.
Agents spend context on your prose, not your DOM.
- k1m
Ich stimme Roy Fielding hier zu:
> Es ist ein schlechter Design-Kompromiss, bei jeder Anfrage eine Reihe von Header-Feldern zu senden, nur um dem Server alle möglichen Präferenzvarianten des Nutzers mitzuteilen, insbesondere wenn die Wahrscheinlichkeit sehr gering ist, dass eine dieser Dimensionen auf die Zielressource zutrifft. Es war ein schlechter Design-Kompromiss seit der sehr kurzen Zeit 1993-94, als man nicht wusste, welches Bildformat auf allen UAs nutzbar sein würde und es kein CSS oder JavaScript für clientseitige Anpassung gab.
> ...Die Auswirkungen auf das Caching bei proaktiver Verhandlung sind weitaus schlimmer als der eine zusätzliche Roundtrip pro Seite bei reaktiver Verhandlung, und selbst dieser Roundtrip ist bei Formaten, die clientseitige Anpassung unterstützen, nicht notwendig.
Zu den Auswirkungen auf das Caching schrieb Simon Willison:
> ...man kann keine Anwendung, die Inhaltsverhandlung über den Accept-Header nutzt, hinter dem Cloudflare-CDN bereitstellen – zum Beispiel, um JSON oder HTML für dieselbe URL je nach eingehendem Accept-Header auszuliefern. Wenn man das tut, könnte Cloudflare gecachtes JSON an einen HTML-Client ausliefern oder umgekehrt.
Hinweis: Ich habe dies in einem anderen Kommentar mit Links zu diesen beiden Zitaten gepostet, die ich jetzt nicht einfach kopieren konnte – werde sie später hinzufügen.
- joshum97
Ich fühle mich, als würde ich verrückt. Wer bei klarem Verstand würde einem LLM überhaupt rohes HTML füttern??
HTML ist eine Auszeichnungssprache. User Agents präsentieren sie so, dass sie für den Nutzer sinnvoll ist – visuell oder durch assistive Technologien. Nichts daran, LLM-"Nutzer" hinzuzufügen, sollte das ändern – ihr User Agent, die Umgebung, sollte HTML so präsentieren, dass sie es nativ verstehen, indem er es in Markdown übersetzt.
Wir werden nicht das gesamte Web umschreiben, nur weil Umgebungsentwickler zu faul oder zu dumm sind, ein HTML-zu-Markdown-Paket von npm zu holen. Wenn einige Websites es trotzdem tun wollen, gut für sie, in vielen Fällen würde ich es begrüßen, das CSS/JS zu überspringen und das Markdown direkt zu lesen (oder besser, schön formatiert). Aber gib nicht den Website-Autoren die Schuld dafür, dass deine Umgebung deine Tokens verschwendet.
- lekevicius
Das mache ich, sobald einer der Top-4-KI-Chatbots sagt, dass sie Anfragen mit diesem Header stellen werden. Davor ist es nur eine nette Idee ohne Akzeptanz.
Ich denke auch, dass es äußerst unwahrscheinlich ist, dass einer der Top-4-Chatbots Websites auf diese Weise laden würde. Zu viele Risiken für eine 0,01%ige Akzeptanz selbst Jahre später.
- collimarco
Was ist mit sauberem, semantischem HTML?
Es war bereits für Bots und Suchmaschinen (die Bots sind) optimiert und wird seit Jahrzehnten verwendet. Warum müssen wir jetzt in Markdown ausliefern?
Es gibt auch viele Teile des HTML, wie Navigationen, die für Bots und KI nützlich sind und in der Markdown-Version entfernt werden könnten.
- kaangiray26
Ich hoffe, dass das Mainstream wird, damit ich die Seiten einfach ohne Werbung, JS und Ballast ansehen kann.