Cómo se usa
- Indica qué rutas no quieres que se rastreen y la URL de tu sitemap.
- Marca los rastreadores de IA que quieras bloquear.
- Prueba algunas URL y descarga el archivo para subirlo a la raíz de tu dominio.
Lo que robots.txt hace y lo que no
El archivo le dice a los robots bien educados qué partes de tu web no deben rastrear. No es una medida de seguridad (cualquiera puede leerlo) y no impide que una página aparezca en Google si otras webs la enlazan. Para que una página no salga en Google, usa la etiqueta noindex y deja que se rastree.
Rastreadores de inteligencia artificial
Varias empresas de IA respetan robots.txt para decidir si usan tu contenido. Algunas distinguen entre el robot que entrena modelos (GPTBot, ClaudeBot, Google-Extended) y el que busca para responder preguntas con enlaces a tu web (OAI-SearchBot, Claude-SearchBot). Bloquear solo los de entrenamiento te permite seguir apareciendo como fuente citada.
Google-Extended no afecta a tu posicionamiento en la Búsqueda de Google.
Preguntas frecuentes
¿Dónde se sube el archivo?
En la raíz del dominio, de modo que se vea en https://tuweb.com/robots.txt. Cada subdominio necesita el suyo.
¿Qué pasa si dos reglas coinciden?
Google aplica la más específica (la de ruta más larga). Si empatan, gana Allow. Así funciona también nuestro probador.
¿Te ha sido útil esta herramienta?