Générateur de robots.txt
Créez un fichier robots.txt valide avec un générateur de règles visuel — définissez des règles Allow/Disallow par robot, ajoutez un sitemap et un crawl-delay, puis copiez ou téléchargez.
🔒 Traitement local dans votre navigateur
Loading…
Comment l'utiliser
- Choisissez un préréglage de démarrage rapide — « Tout autoriser » permet à tous les robots d'indexer l'ensemble de votre site, « Tout bloquer » bloque entièrement tous les robots, ou commencez avec « Personnalisé » pour créer vos propres règles.
- Pour chaque groupe de règles, définissez le user-agent (utilisez * pour tous les robots, ou le nom d'un robot précis comme Googlebot) et ajoutez des règles Allow ou Disallow pour les chemins visés.
- Définissez éventuellement un crawl-delay par groupe et ajoutez l'URL de votre sitemap — les deux sont automatiquement ajoutés au fichier généré.
- Copiez le robots.txt généré depuis l'aperçu, ou téléchargez-le directement — puis mettez-le en ligne à la racine de votre domaine (par exemple https://example.com/robots.txt).
Fonctionnalités
- Préréglages « Tout autoriser » et « Tout bloquer » en un clic pour les cas les plus courants
- Générateur de règles visuel — ajoutez ou supprimez des groupes de user-agent et des règles Allow/Disallow sans écrire de syntaxe à la main
- Crawl-delay facultatif par groupe et champ pour l'URL du sitemap
- Sortie générée en direct qui se met à jour instantanément dès que vous modifiez les règles
- 100 % côté client — vos règles ne quittent jamais votre navigateur
Questions fréquentes
Où dois-je placer le fichier robots.txt ?
Mettez-le en ligne à la racine de votre domaine, pour qu'il soit accessible à l'adresse https://votredomaine.com/robots.txt. Les moteurs de recherche ne le cherchent qu'à cet emplacement précis.
Le fichier robots.txt empêche-t-il vraiment les moteurs de recherche d'explorer mon site ?
C'est une demande, pas une contrainte. Les robots bien élevés comme Googlebot la respectent, mais rien n'empêche un robot malveillant ou mal conçu de l'ignorer complètement. Ne comptez pas dessus pour cacher du contenu sensible.
Que signifie le champ User-agent ?
Il indique à quel robot un groupe de règles s'applique. Utilisez * pour cibler tous les robots, ou le nom d'un robot précis (comme Googlebot ou Bingbot) pour lui appliquer des règles différentes des autres.
Ai-je besoin d'une ligne Sitemap ?
Elle est facultative mais recommandée — elle indique aux robots où trouver votre sitemap.xml afin qu'ils découvrent vos pages plus efficacement. Laissez le champ vide si vous n'en avez pas encore.
Le crawl-delay est-il respecté par tous les moteurs de recherche ?
Non. Il est pris en charge par certains robots (comme Bing) mais ignoré par d'autres (Google ne le respecte plus dans robots.txt). Utilisez plutôt la Google Search Console pour contrôler la fréquence d'exploration de Google.