Crawlen verwijst naar het proces waarbij zoekmachines zoals Google webpagina’s bezoeken en hun inhoud lezen om ze te indexeren. Dit wordt gedaan door programma’s genaamd crawlers of spiders, die automatisch door het web navigeren om gegevens te verzamelen.