Générateur de robots.txt pour robots d'IA · Outils gratuits
Choisissez quels robots d'IA peuvent lire votre site.
Certains robots cherchent des réponses pour les clients. D'autres collectent des données d'entraînement. Vous pouvez les traiter différemment.
Tout ce que vous saisissez reste dans votre navigateur. Rien ne nous est envoyé.
Votre robots.txt
User-agent: *
Allow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
User-agent: Bytespider
Allow: /
Déposez-le à la racine de votre site, en ne remplaçant l'ancien fichier qu'après avoir vérifié son contenu.
Bon à savoir
Si je bloque les robots d'entraînement, les outils d'IA peuvent-ils encore me recommander ?
Bloquer GPTBot ne bloque pas OAI-SearchBot : votre site peut donc toujours apparaître dans la recherche de ChatGPT. Les données d'entraînement peuvent tout de même influencer, avec le temps, ce que les modèles d'IA savent de vous. C'est un vrai choix, sans bonne réponse unique.
Tous les robots respectent-ils le robots.txt ?
Non. C'est une demande, pas un verrou. Les robots connus affirment le respecter, mais il ne protégera pas un contenu privé. Les accès demandés directement par une personne, comme ChatGPT-User, peuvent aussi être traités différemment. Utilisez un mot de passe pour tout ce qui est privé.
J'ai déjà un robots.txt. Puis-je simplement le remplacer ?
Vérifiez-le d'abord. Votre fichier actuel peut contenir des règles dont votre plateforme a besoin. Ajoutez ces chemins dans la zone des chemins privés, pour qu'ils se retrouvent dans le nouveau fichier.