Generador de robots.txt
Crea un archivo robots.txt válido con un generador de reglas visual — define reglas Allow/Disallow por rastreador, añade un sitemap y un crawl-delay, y luego copia o descarga.
🔒 Procesado localmente en tu navegador
Loading…
Cómo usarlo
- Elige un preajuste de inicio rápido — "Permitir todo" deja que cualquier rastreador indexe todo tu sitio, "Bloquear todo" bloquea por completo a cualquier rastreador, o empieza con "Personalizado" para crear tus propias reglas.
- Para cada grupo de reglas, define el user-agent (usa * para todos los rastreadores, o el nombre de un bot concreto como Googlebot) y añade reglas Allow o Disallow para las rutas que quieras.
- Opcionalmente, define un crawl-delay por grupo y añade la URL de tu sitemap — ambos se añaden automáticamente al archivo generado.
- Copia el robots.txt generado desde el cuadro de vista previa, o descárgalo directamente — luego súbelo a la raíz de tu dominio (por ejemplo, https://example.com/robots.txt).
Características
- Preajustes de un clic "Permitir todo" y "Bloquear todo" para los casos más comunes
- Generador de reglas visual — añade o elimina grupos de user-agent y reglas Allow/Disallow sin escribir sintaxis a mano
- Crawl-delay opcional por grupo y un campo para la URL del sitemap
- Salida generada en vivo que se actualiza al instante al editar las reglas
- 100% en el navegador — tus reglas nunca salen de tu navegador
Preguntas frecuentes
¿Dónde coloco el archivo robots.txt?
Súbelo a la raíz de tu dominio, para que sea accesible en https://tudominio.com/robots.txt. Los buscadores solo lo buscan en esa ubicación exacta.
¿El robots.txt realmente impide que los buscadores rastreen mi sitio?
Es una solicitud, no una imposición. Los rastreadores bien portados como Googlebot lo respetan, pero nada impide que un bot malicioso o mal hecho lo ignore por completo. No lo uses para ocultar contenido sensible.
¿Qué significa el campo User-agent?
Indica a qué rastreador se aplica un grupo de reglas. Usa * para que aplique a todos los rastreadores, o el nombre de un bot concreto (como Googlebot o Bingbot) para darle reglas distintas al resto.
¿Necesito una línea de Sitemap?
Es opcional pero recomendable — indica a los rastreadores dónde está tu sitemap.xml para que descubran tus páginas con más eficiencia. Deja el campo vacío si aún no tienes uno.
¿El crawl-delay lo respetan todos los buscadores?
No. Algunos rastreadores lo admiten (como Bing), pero otros lo ignoran (Google ya no lo respeta en robots.txt). Usa Google Search Console para controlar la velocidad de rastreo de Google.