¿Estás dejando entrar a la IA?
Si tu robots.txt bloquea los crawlers de búsqueda de IA, puedes perder la elegibilidad para recibir citas en algunas respuestas de IA, a menudo sin darte cuenta. Introduce tu dominio y leeremos tu robots.txt en vivo y, si existe, tu llms.txt, para luego mostrar qué crawlers de IA parece permitir o bloquear tu robots.txt y entregarte un archivo recomendado. No se necesita clave API. Nota: robots.txt se respeta de manera voluntaria (los bots que se comportan bien lo respetan, otros lo ignoran), y llms.txt es una convención de guía de contenido, no un estándar de control de acceso.
Quién puede leer tu sitio, y a quién dejas fuera.
Comprobamos las de tu dominio /robots.txt reglas (y si publicas un /llms.txt) frente a los user-agents de crawlers documentados detrás de ChatGPT, Claude, Perplexity, Copilot (vía Bing) y los conjuntos de datos de entrenamiento abiertos, además de Google-Extended, que controla los datos de entrenamiento y grounding para Gemini y AI Overviews (Gemini en sí no tiene un crawler de búsqueda y recuperación independiente; se nutre del índice estándar de Googlebot). robots.txt rige únicamente para los bots que lo cumplen; el contenido que ya está en los datos de entrenamiento de un modelo persiste de todos modos.
Solo recuperamos el contenido público de tu sitio robots.txt y llms.txt a través de HTTPS. No se almacena nada. ¿Quieres que vigilemos esto por ti? Contáctanos.
Preguntas, respondidas.
Sí, la herramienta es de uso gratuito para comprobar las reglas de rastreadores de AI en robots.txt, el estado de llms.txt y las correcciones recomendadas.
No se necesita ninguna clave API ni registrarse. Solo tienes que introducir el sitio web que deseas auditar y ejecutar la comprobación.
Revisa tu robots.txt en busca de reglas que afecten a los principales rastreadores de AI y de búsqueda, como GPTBot, ChatGPT-User, Google-Extended, ClaudeBot, PerplexityBot y otros que el auditor reconoce. El objetivo es mostrar si esos bots parecen estar permitidos, bloqueados o si no se abordan específicamente.
Genera un resumen de acceso de rastreadores, si se encontró un archivo llms.txt y una corrección recomendada que puedes copiar o adaptar. Puedes utilizar los resultados para actualizar tu robots.txt y añadir o mejorar la guía de llms.txt para los sistemas de AI.
Llms.txt es una propuesta de formato de archivo que ofrece a los sistemas de AI una guía más clara y estructurada sobre el contenido importante del sitio y las preferencias de uso. El auditor comprueba si tu sitio tiene uno y sugiere un punto de partida práctico si falta o está incompleto.
No. La herramienta puede identificar señales visibles en robots.txt y llms.txt, pero las empresas de AI pueden interpretar las reglas del rastreador de forma diferente, utilizar bots distintos o actualizar su comportamiento con el tiempo.
¿Qué es Auditor de rastreadores de AI y llms.txt?
El Auditor de AI Crawler & llms.txt es una herramienta gratuita que lee el robots.txt y el llms.txt activos de tu sitio y muestra qué crawlers de AI (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot y más) parecen ser permitidos o bloqueados por tus reglas. Separa los crawlers de búsqueda y recuperación (aquellos que recuperan páginas para responder preguntas en vivo) de los controles de exclusión de entrenamiento, y te entrega un robots.txt recomendado y un llms.txt limpio para copiar.
Cómo funciona
Introduce un dominio y la herramienta recuperará únicamente tus archivos públicos /robots.txt y /llms.txt a través de HTTPS. Luego, contrastará con tus reglas los user-agents documentados de ChatGPT, Claude, Gemini, Perplexity, Copilot (vía Bing) y los datasets de entrenamiento abiertos. Marcará lo que está bloqueado, explicará la diferencia entre bloquear la recuperación frente al entrenamiento y generará los archivos listos para copiar y pegar.
No se almacena nada y no se necesita ninguna clave API.
Para quién es
Para propietarios de sitios, profesionales de marketing y desarrolladores que desean asegurarse de que los motores de búsqueda de AI puedan acceder a sus páginas en lugar de ser bloqueados por accidente. El resultado es la elegibilidad: si los rastreadores de recuperación pueden leerte, seguirás compitiendo para aparecer citado en las respuestas de AI, y obtendrás un archivo claro para solucionarlo en lugar de tener que adivinar.
También es útil para cualquiera que desee permitir la búsqueda de AI pero excluirse del entrenamiento de modelos, que son dos configuraciones distintas que la gente suele confundir.
En la práctica
Una clínica pega su dominio y descubre que su robots.txt está bloqueando silenciosamente a OAI-SearchBot y PerplexityBot, por lo que nunca aparece cuando la gente le pide a ChatGPT o Perplexity que recomiende un proveedor local. La herramienta muestra las reglas exactas que causan esto y ofrece un robots.txt corregido que abre el sitio a los crawlers de búsqueda y recuperación, mientras mantiene la exclusión de entrenamiento para GPTBot y Google-Extended, además de un llms.txt inicial para publicar.