Отдавайте Markdown AI-агентам через Accept Headers
Serve Markdown to AI Agents with Accept Headers
Сайт уже содержит контент, но AI-агенты вынуждены пробираться через навигацию, скрипты и разметку. Отдавая Markdown-версию, вы позволяете им читать текст напрямую: меньше токенов, выше соотношение сигнала к шуму для RAG, быстрее первый токен. Сервис AcceptMarkdown проверяет, насколько ваш URL готов к AI, и предлагает гайды, рецепты для популярных платформ и матрицу поддержки AI-агентов.
Агенты тратят контекст на вашу прозу, а не на ваш DOM.
- k1m
Я согласен с Роем Филдингом по этому поводу:
> Это неудачный компромисс в дизайне — отправлять кучу полей заголовков в каждом запросе только для того, чтобы сообщить серверу обо всех возможных вариантах предпочтений пользователя, особенно когда вероятность того, что какое-либо из этих измерений применимо к целевому ресурсу, очень мала. Это было неудачным компромиссом с самого короткого периода 1993-94 годов, когда люди не знали, какой формат изображений будет работать на всех пользовательских агентах, и не было ни CSS, ни JavaScript для адаптации на стороне клиента.
> ...Влияние на кэширование от упреждающего согласования гораздо хуже, чем один дополнительный往返 на сайт для реактивного согласования, и даже этот往返 не нужен в форматах, поддерживающих адаптацию на стороне клиента.
Что касается влияния на кэширование, Саймон Уиллисон написал:
> ...вы не можете развернуть приложение, использующее согласование контента через заголовок Accept, за CDN Cloudflare — например, обслуживать JSON или HTML для одного и того же URL в зависимости от входящего заголовка Accept. Если вы это сделаете, Cloudflare может отдать закэшированный JSON HTML-клиенту или наоборот.
Примечание: я разместил это в другом комментарии со ссылками на эти две цитаты, которые сейчас не могу легко скопировать — добавлю позже.
- joshum97
Мне кажется, я схожу с ума. Кто в здравом уме вообще будет скармливать LLM сырой HTML??
HTML — это язык разметки. Пользовательские агенты представляют его так, как это имеет смысл для пользователя — визуально или через вспомогательные технологии. Добавление LLM-«пользователей» не должно ничего менять: их пользовательский агент, то есть обвязка, должен представлять HTML в понятном им виде, переводя его в Markdown.
Мы не собираемся переписывать весь интернет из-за того, что разработчики обвязок слишком ленивы или глупы, чтобы установить пакет для преобразования HTML в Markdown из npm. Если некоторые сайты всё же хотят это сделать, ради бога, во многих случаях я бы с удовольствием пропустил CSS/JS и прочитал Markdown напрямую (или, лучше, красиво отформатированный). Но не вините авторов сайтов в том, что ваша обвязка тратит ваши токены.
- lekevicius
Я сделаю это, как только один из топ-4 ИИ-чатботов скажет, что начнёт отправлять запросы с этим заголовком. До этого это просто милая идея без внедрения.
Я также считаю, что крайне маловероятно, что любой из топ-4 чатботов выберет такой способ загрузки веб-сайтов. Слишком много рисков ради внедрения на 0,01% даже спустя годы.
- collimarco
А как насчёт чистого семантического HTML?
Он уже был оптимизирован для ботов и поисковых систем (которые являются ботами) и использовался десятилетиями. Зачем нам теперь обслуживать в Markdown?
В HTML также есть много частей, таких как навигация, которые полезны для ботов и ИИ и могут быть удалены в версии Markdown.
- kaangiray26
Надеюсь, это станет мейнстримом, чтобы я мог просто просматривать страницы без рекламы, JS и мусора.