El robots.txt es un memorial de guerra de 2023: los sitios ignoran a los bots de respuesta
Sites that block AI training crawlers mostly ignore the answer time bots
Un análisis de los robots.txt de los 10.000 sitios más populares revela que la mayoría de las reglas contra la IA se escribieron en el último trimestre de 2023, tras el lanzamiento de GPTBot y la demanda del New York Times. Aunque los sitios mantienen diligentemente estos archivos, añadiendo nuevos bloqueos para rastreadores de entrenamiento como ClaudeBot y PerplexityBot, casi no prestan atención a los bots de respuesta en tiempo real, como OAI-SearchBot o ChatGPT-User. Solo un pequeño porcentaje bloquea el entrenamiento pero permite explícitamente la respuesta, y 144 sitios han invitado deliberadamente a estos bots. El artículo insta a los sitios a decidir conscientemente si sellar, vender o abrir sus contenidos a la era de las respuestas.
El archivo es un memorial de guerra, pero no del tipo abandonado: es del tipo al que la gente vuelve una y otra vez, y cada nombre que graban es otro rastreador de entrenamiento de la misma guerra.