Wat is robots.txt?

Robots.txt is een bestand in de hoofdmap van je website waarin je aangeeft welke delen crawlers niet hoeven te bezoeken. Het regelt crawlen, niet indexeren: een geblokkeerde pagina kan alsnog in de resultaten verschijnen als er elders naar gelinkt wordt.

Wil je een pagina echt uit de resultaten houden, gebruik dan noindex.