Wat is een AI-crawler?

Een AI-crawler is een bot die je website bezoekt om inhoud te verzamelen voor een AI-systeem. GPTBot van OpenAI, ClaudeBot van Anthropic en Google-Extended zijn de bekendste. Sommige verzamelen trainingsmateriaal, andere halen live pagina's op om een vraag te beantwoorden.

Je kunt ze per stuk toelaten of weren in je robots.txt. Weren betekent wel dat je ook niet meer geciteerd wordt.