Gerador de robots.txt para crawlers de IA · Ferramentas grátis
Escolha que crawlers de IA podem ler o seu site.
Alguns crawlers procuram respostas para os clientes. Outros recolhem dados de treino. Pode tratá-los de forma diferente.
Tudo o que escrever fica no seu navegador. Não nos é enviado nada.
O seu robots.txt
User-agent: *
Allow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
User-agent: Bytespider
Allow: /
Carregue-o para a raiz do seu site, e só substitua o ficheiro antigo depois de ver o que lá está.
Bom saber
Se bloquear os crawlers de treino, as ferramentas de IA ainda me podem recomendar?
Bloquear o GPTBot não bloqueia o OAI-SearchBot, por isso o seu site pode continuar a aparecer na pesquisa do ChatGPT. Os dados de treino podem, com o tempo, continuar a influenciar o que os modelos de IA sabem sobre si, por isso é uma escolha real, sem uma única resposta certa.
Todos os crawlers obedecem ao robots.txt?
Não. É um pedido, não uma fechadura. Os crawlers mais conhecidos dizem que o cumprem, mas não protege conteúdo privado. Os acessos que uma pessoa pede diretamente, como o ChatGPT-User, também podem ser tratados de outra forma. Use uma palavra-passe para tudo o que seja privado.
Já tenho um robots.txt. Posso simplesmente substituí-lo?
Veja-o primeiro. O ficheiro atual pode ter regras de que a plataforma do seu site precisa. Junte esses caminhos à caixa de caminhos privados, para ficarem no novo ficheiro.