robots.txt-generator voor AI-crawlers · Gratis tools
Kies welke AI-crawlers je site mogen lezen.
Sommige crawlers zoeken antwoorden voor klanten. Andere verzamelen trainingsdata. Je kunt ze verschillend behandelen.
Alles wat je typt blijft in je browser. Wij ontvangen niets.
Je robots.txt
User-agent: *
Allow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
User-agent: Bytespider
Allow: /
Upload het bestand naar de hoofdmap van je site en vervang het oude bestand pas nadat je hebt gecheckt wat erin staat.
Goed om te weten
Als ik trainingscrawlers blokkeer, kunnen AI-tools me dan nog aanbevelen?
GPTBot blokkeren blokkeert OAI-SearchBot niet, dus je site kan nog steeds verschijnen in ChatGPT-zoekresultaten. Trainingsdata kan op termijn nog steeds beïnvloeden wat AI-modellen over je weten. Het is dus een echte keuze zonder één goed antwoord.
Houdt elke crawler zich aan robots.txt?
Nee. Het is een verzoek, geen slot. Bekende crawlers zeggen dat ze zich eraan houden, maar het beschermt geen privé-inhoud. Ook opvragingen waar een persoon rechtstreeks om vraagt, zoals ChatGPT-User, kunnen anders behandeld worden. Gebruik een wachtwoord voor alles wat privé is.
Ik heb al een robots.txt. Kan ik hem gewoon vervangen?
Check hem eerst. Je huidige bestand kan regels bevatten die je websiteplatform nodig heeft. Zet die paden in het vak met privépaden, dan komen ze in het nieuwe bestand terecht.