Wat zijn crawlers?
Een crawler is een programma dat gegevens en informatie van internet verzamelt door websites te bezoeken en de pagina’s te lezen. Het wordt gebruikt door zoekmachines en wordt ook wel spider genoemd. Dit programma slaat alle gegevens en de externe en interne links op in een databank. Het slaat informatie op over de inhoud van de webpagina, metatags, de titel van de webpagina en nog veel meer. Het helpt bij het indexeren van websites, het crawlt één pagina per keer door een website totdat alle pagina’s zijn geïndexeerd.
