Acceso de rastreadores de AI: Cómo controlar GPTBot, ClaudeBot y el resto

Expresa una solicitud que los crawlers que se comportan correctamente suelen respetar, y OpenAI publica soporte para sus tokens de user-agent y controles independientes para GPTBot, OAI-SearchBot y ChatGPT-User. Sin embargo, robots.txt es voluntario por diseño; forma parte del Robots Exclusion Protocol (formalizado como RFC 9309 en septiembre de 2022), el cual documenta la convención pero no la impone. Nada en el protocolo impide físicamente que un bot que no cumpla con las normas ignore el archivo. Bloquear GPTBot regula específicamente al crawler de entrenamiento de OpenAI; no afecta por sí mismo a OAI-SearchBot o ChatGPT-User, los cuales controlas con sus propios tokens. Por tanto, robots.txt es la herramienta inicial adecuada para declarar preferencias, pero no es un control de seguridad ni una garantía.

Son tokens de control en lugar de crawlers independientes. Google-Extended, según Google, te permite optar por no permitir que tu contenido se utilice para entrenar sus modelos de AI generativa (como Gemini y sus funciones generativas de Vertex AI); Google afirma que su uso no afecta la forma en que Googlebot indexa o clasifica tus páginas en Search. Ten en cuenta un límite importante: dado que Googlebot es un único crawler que sirve tanto a Search como a las funciones de AI de Google, Google-Extended controla el entrenamiento de modelos generativos pero no elimina tus páginas de AI Overviews dentro de Google Search. Applebot-Extended desempeña un papel de exclusión similar para el entrenamiento del modelo de AI de Apple, superponiéndose al crawler de búsqueda normal Applebot para que bloquearlo no te elimine de las funciones de búsqueda de Apple. Ambos te permiten separar "indexarme para búsquedas" de "usarme para entrenamiento de AI", que es exactamente el tipo de control basado en el propósito del que trata este tema. (Google también ejecuta un Google-CloudVertexBot independiente que extrae sitios a petición del propietario del sitio cuando un cliente está creando agentes o grounding de Vertex AI, lo cual es distinto del token Google-Extended.)

Representa un dilema empresarial real sin una respuesta universal. Bloquear un crawler de entrenamiento identificado limita la recopilación futura de ese bot —lo que más importa a los editores y empresas de contenido original—, aunque no revoca las copias ya recopiladas, licenciadas, obtenidas mediante conjuntos de datos de terceros o reunidas por agentes encubiertos. Sin embargo, bloquear específicamente los fetchers en vivo y los crawlers de indexación de búsqueda puede reducir tus posibilidades de ser recuperado y citado cuando los usuarios hacen preguntas relevantes en herramientas de AI. El enfoque práctico es decidir según el propósito: muchas empresas permiten los fetchers en vivo y de tipo búsqueda para ganar visibilidad, mientras que restringen o negocian el acceso de los crawlers de entrenamiento masivo.

Es opcional y experimental, no obligatorio. El archivo llms.txt es una propuesta surgida de la comunidad, un archivo Markdown que orienta a los sistemas de AI hacia tu contenido más importante, con un espíritu similar al de un sitemap. Su adopción es de bajo costo, pero no es un estándar oficial y ningún proveedor principal de AI está obligado a respetarlo. Trátalo como una señal de valor añadido si lo deseas, no como un mecanismo de control ni como un reemplazo de robots.txt o de tus decisiones estratégicas de acceso para crawlers.