Zoekmachinecrawler

Een zoekmachinecrawler is een geautomatiseerd softwareprogramma — ook wel een bot, spider of spiderbot genoemd — dat systematisch het World Wide Web doorzoekt, pagina-inhoud downloadt en hyperlinks volgt om nieuwe of bijgewerkte URL’s te ontdekken. De kerntaak is het voeden van de index van een zoekmachine met actuele gegevens, zodat wanneer iemand een zoekopdracht invoert, de engine relevante en actuele resultaten kan tonen. Zonder crawlers heeft een zoekmachine geen manier om te weten dat een pagina bestaat.

De crawler zelf rangschikt niets. Het ontdekt en geeft wat het vindt — tekst, links, metadata, afbeeldingen — door aan een apart indexerings- en rankingsysteem. Crawlen, indexeren en ranken zijn drie afzonderlijke fasen. Een pagina kan worden gecrawld en toch nooit in zoekresultaten verschijnen als deze niet voldoet aan de kwaliteitsdrempels van de engine tijdens het indexeren.

De crawlerdocumentatie van Google maakt onderscheid tussen de gewone crawlers, speciale crawlers en door gebruikers geactiveerde fetchers. Raadpleeg de gedocumenteerde identiteit en het gedrag van de relevante crawler bij het onderzoeken van toegangsproblemen.

Hoe werkt een webcrawler?

Een webcrawler werkt in een continue cyclus rond een aantal kernstappen. Inzicht in deze stappen helpt website-eigenaren te diagnosticeren waarom pagina’s mogelijk niet in zoekresultaten verschijnen — het probleem zit vaak in de crawlfase, lang voordat ranken zelfs wordt overwogen.

Start-URL’s en de crawlfrontier

Elke crawler begint met een reeks bekende URL’s, start-URL’s genoemd. Deze kunnen afkomstig zijn van eerder gecrawlde pagina’s, ingediende sitemaps of handmatig gekozen startpunten. De crawler downloadt elke startpagina, extraheert alle hyperlinks die hij vindt en voegt elke nog niet eerder geziene link toe aan een wachtrij, de crawlfrontier genoemd.

De cyclus herhaalt zich vervolgens:

1. Haal een URL uit de crawlfrontier.
2. Haal de pagina op van de server.
3. Extraheer alle links en voeg nieuwe toe aan de wachtrij.
4. Geef de pagina-inhoud door aan het indexeringssysteem.

Deze lus eindigt nooit echt. Het web verandert voortdurend en er verschijnen elke seconde nieuwe pagina’s, dus een crawler werkt gewoon door wat er als volgende in de wachtrij staat, bezoekt oude pagina’s opnieuw om te controleren op wijzigingen en voegt nieuw ontdekte URL’s toe.

Renderen, downloaden en indexeren

Zodra een crawler een pagina ophaalt, rendert hij de inhoud — leest de HTML, voert waar mogelijk JavaScript uit en extraheert de tekst, afbeeldingen, metadata en gestructureerde gegevens. Vervolgens downloadt hij deze informatie en geeft deze door aan de indexeerder van de zoekmachine.

Niet elke crawler gaat even goed om met JavaScript. Googlebot rendert JavaScript en wacht op dynamisch geladen inhoud, maar kleinere zoekmachinecrawlers lezen mogelijk alleen statische HTML. Dit is de reden waarom sites die volledig zijn gebouwd met client-side JavaScript-frameworks onzichtbaar kunnen zijn voor sommige zoekmachines, tenzij server-side rendering is geïmplementeerd.

Links en sitemaps volgen

Crawlers ontdekken nieuwe pagina’s via twee primaire kanalen:

• Hyperlinks: Zowel interne links (binnen dezelfde site) als externe links (van andere sites). Een pagina met geen enkele inkomende link is effectief onzichtbaar voor crawlers — dit wordt ook wel het ‘weespagina’-probleem genoemd.
• XML-sitemaps: Een gestructureerd bestand dat elke URL vermeldt die een site-eigenaar wil laten crawlen, samen met metadata zoals de laatste wijzigingsdatum en prioriteit. Sitemaps geven crawlers een georganiseerde kaart in plaats van ze elke pagina via linkontdekking alleen te laten vinden.

Start vandaag nog je affiliate programma

Stel geavanceerde tracking in binnen enkele minuten. Geen creditcard vereist.

Demo aanvragen Start 30-dagen gratis proefperiode

Hoe crawlbeleid bepaalt wat wordt gecrawld

Crawlers behandelen niet alle pagina’s gelijk. Ze werken onder een reeks crawlbeleidsregels die bepalen welke pagina’s ze bezoeken, in welke volgorde en hoe vaak ze terugkeren.

Selectiebeleid

Een crawler moet beslissen welke URL’s hij prioriteit geeft vanuit zijn crawlfrontier. Veelvoorkomende signalen zijn:

• Pagina populariteit: URL’s met meer inkomende links worden vaker gecrawld.
• Actualiteitssignalen: Pagina’s die vaak veranderen — nieuwssites, blogs met regelmatige updates — worden vaker opnieuw bezocht.
• URL-structuurkwaliteit: Schone, logische URL’s hebben de voorkeur boven lange parameterrijke URL’s die wijzen op gefacetteerde navigatie of sessie-ID’s.

Herhalingsbeleid

Hoe vaak een crawler terugkeert naar een pagina hangt af van hoe vaak die pagina verandert. Een nieuwsstartpagina kan elke paar minuten worden gecrawld. Een statische ‘Over ons’-pagina wordt misschien eens in de paar maanden opnieuw bezocht. Webmasters kunnen de wijzigingsfrequentie aangeven via XML-sitemap <changefreq>-tags, hoewel zoekmachines deze als hints behandelen, niet als opdrachten.

Beleefdheidsbeleid

Crawlers zijn geprogrammeerd om webservers niet te overbelasten. Ze respecteren een crawlrate-limiet — het maximale aantal verzoeken dat ze naar een enkele site in een bepaalde periode sturen. Als een server reageert met HTTP-fouten zoals 500 of 503, trekt de crawler zich terug om het probleem niet te verergeren. Dit is een van de redenen waarom crawlen op grote schaal een echte technische uitdaging is.

Het robots.txt-bestand

Het robots.txt-bestand is een platte-tekstdocument dat in de root van een domein wordt geplaatst en crawlers vertelt welke URL’s ze wel en niet mogen opvragen. Het is het belangrijkste hulpmiddel voor het beheren van crawler-toegang. Een robots.txt-invoer kan er als volgt uitzien:

User-agent: Googlebot
Disallow: /private/
Allow: /public/

Crawlbudget

Crawlbudget is het aantal pagina’s dat een zoekmachine binnen een bepaalde periode op een site zal crawlen. Het wordt bepaald door twee factoren:

• Crawlrate-limiet: Hoe snel de engine pagina’s kan ophalen zonder de prestaties van de site te verslechteren.
• Crawlvraag: Hoe graag de engine een site wil crawlen, gedreven door populariteit, actualiteit en waargenomen waarde.

Voor kleine sites is crawlbudget zelden een zorg. Voor grote ecommerce-platforms of contentsites met miljoenen URL’s wordt het beheren van crawlbudget essentieel — verspilde crawls aan dubbele inhoud, gefacetteerde navigatieparameters of pagina’s met weinig waarde betekenen minder middelen voor de pagina’s die er echt toe doen.

Topzoekmachines en hun crawlers

Elke grote zoekmachine heeft zijn eigen crawler met een duidelijke user-agentstring — een identificatie die de bot met elk HTTP-verzoek meestuurt, zodat servers weten welke crawler op bezoek is.

Google heeft ook gespecialiseerde crawlers voor verschillende inhoudstypen — Googlebot Image crawlt afbeeldingen, Googlebot Video verwerkt video-inhoud, Googlebot News richt zich op nieuwsartikelen en AdsBot controleert de kwaliteit van landingspagina’s voor Google Ads.

Schrijf je in voor onze nieuwsbrief

Wees de eerste die op de hoogte is van nieuwe functies en productupdates.

E-mailadres

Abonneren

Hoe herken je een Google-crawler

Het identificeren of een bezoeker echt Googlebot is, vereist meer dan alleen het controleren van een user-agentstring, aangezien deze strings kunnen worden vervalst. Om een Google-crawler te verifiëren:

1. Controleer de user-agentstring in serverlogboeken op Googlebot.
2. Voer een reverse DNS-lookup uit op het IP-adres. Dit zou moeten verwijzen naar een googlebot.com- of google.com-domein.
3. Voer een forward DNS-lookup uit op dat domein om te bevestigen dat het terugverwijst naar hetzelfde IP-adres — een techniek die reverse-forward DNS-verificatie wordt genoemd.

Google biedt officiële documentatie met de IP-reeksen op google.com/bot.html. Elke bezoeker die beweert Googlebot te zijn maar deze verificatiestappen niet doorstaat, is een vervalste bot en moet als verdacht worden behandeld.

Kunnen zoekmachinecrawlers afbeeldingen en video’s openen?

Ja — maar met beperkingen. Grote zoekmachines hebben speciale crawlers voor niet-tekstuele inhoud:

• Googlebot Image crawlt afbeeldingsbestanden en leest bijbehorende alt-tekst, bestandsnamen en omliggende paginacontext om te begrijpen wat de afbeelding weergeeft.
• Googlebot Video verwerkt video-inhoud en zoekt naar gestructureerde datamarkup zoals VideoObject-schema om titel, beschrijving, miniatuur en duur te begrijpen.
• Google kan bestandstypen indexeren zoals PDF’s, Microsoft Office-documenten en platte tekstbestanden.

Crawlers kunnen afbeeldingen echter niet ‘zien’ zoals een mens dat doet of video’s ‘kijken’. Ze vertrouwen volledig op tekstuele signalen — bestandsnamen, alt-attributen, bijschriften, omliggende hoofdtekst en gestructureerde gegevens — om relevantie te bepalen. Inhoud die verborgen zit achter inlogmuren, betaalmuren of is ingebed in complexe JavaScript-spelers, wordt mogelijk helemaal niet gecrawld.

Webcrawler versus webscraper: wat is het verschil?

Deze termen worden vaak door elkaar gebruikt, maar beschrijven verschillende dingen:

Hoe ontdekken zoekmachines nieuwe pagina’s?

Zoekmachines vinden nieuwe pagina’s via verschillende kanalen:

• Opnieuw crawlen van bekende URL’s: Als een eerder geïndexeerde pagina nieuwe links toevoegt, volgt de crawler deze.
• XML-sitemaps: Ingediend via Google Search Console of Bing Webmaster Tools, vertellen deze de engine precies welke URL’s te crawlen.
• Backlinks: Wanneer een externe site linkt naar een pagina die de engine nog niet heeft gezien, wordt die link een ontdekkingspad.
• URL-inzendingen: Tools zoals de URL-inspectietool van Google stellen site-eigenaren in staat om een directe crawl van een specifieke pagina aan te vragen.
• Sociale signalen en RSS-feeds: Hoewel minder direct, kunnen links die worden gedeeld op sociale platforms of gepubliceerd in RSS-feeds de ontdekking versnellen.

De snelste weg om een nieuwe pagina te laten crawlen, is door de URL rechtstreeks in te dienen via Search Console en ervoor te zorgen dat deze is gelinkt vanaf een reeds geïndexeerde pagina op dezelfde site.

Hoe vaak bezoeken crawlers webpagina’s opnieuw?

Er is geen vast schema. De herhalingsfrequentie hangt af van:

• Updatefrequentie: De startpagina van een nieuwssite kan elke paar minuten worden gecrawld; een statische ‘Contact’-pagina kan maanden tussen herhalingsbezoeken hebben.
• Autoriteit en populariteit: Sites met sterke backlinkprofielen en veel verkeer worden vaker gecrawld.
• Sitesnelheid: Snel ladende pagina’s stimuleren frequentere crawling omdat ze per pagina minder van het crawlbudget verbruiken.
• Foutpercentages: Sites die regelmatig serverfouten (5xx-codes) retourneren, worden minder vaak gecrawld — de crawler trekt zich terug om verspilling van middelen te voorkomen.

Site-eigenaren kunnen de herhalingsfrequentie beïnvloeden door regelmatig content te publiceren, snelle serverrespons tijden te handhaven en bijgewerkte sitemaps in te dienen. Maar uiteindelijk bepaalt de crawler zijn eigen schema op basis van de signalen die hij waarneemt.

Welke deep web-content kunnen crawlers niet bereiken?

Crawlers hebben over het algemeen geen toegang tot:

• Met wachtwoord beveiligde pagina’s en content alleen voor leden
• Inhoud achter betaalmuren of abonnementspoorten
• Pagina’s die dynamisch worden gegenereerd na het indienen van een formulier (bijv. vluchtzoekresultaten)
• Intranetten en privé-bedrijfsnetwerken
• Inhoud in niet-standaard formaten die de crawler niet kan verwerken

Een crawler ziet alleen wat openbaar toegankelijk en gelinkt is. Als een pagina authenticatie of gebruikersinteractie vereist om te worden weergegeven, is deze effectief onzichtbaar voor zoekmachines — tenzij de site-eigenaar expliciet toegang verleent of een alternatief pad biedt, zoals een sitemap met de URL in combinatie met gestructureerde gegevens die de inhoud beschrijven.

Waarom webcrawlers falen op grote schaal

Het bouwen van een crawler die werkt voor een paar honderd pagina’s is eenvoudig. Het bouwen van een crawler die werkt voor miljarden pagina’s is een heel ander probleem. Veelvoorkomende faalpunten zijn:

• Botdetectie en IP-blokkering: Agressieve crawlers worden gemarkeerd en geblokkeerd door firewalls, CDN’s en anti-botdiensten. Het roteren van IP’s en respecteren van snelheidslimieten is essentieel.
• Kosten van JavaScript-rendering: Het renderen van single-page applicaties op grote schaal vereist headless browsers, wat rekenintensief is. Een crawler die elke pagina in een volledige browseromgeving rendert, is ordes van grootte langzamer dan een crawler die statische HTML parseert.
• Dubbele inhoud en URL-canonicalisatie: Dezelfde inhoud onder meerdere URL’s verspilt crawlbudget en vervuilt de index. Crawlers moeten duplicaten in realtime detecteren en consolideren.
• Crawlvallen: Sommige sites genereren oneindige unieke URL’s via kalenderwidgets, gefacetteerde navigatie of sessie-ID’s. Een crawler zonder bescherming tegen deze vallen zal voor altijd blijven crawlen zonder nieuwe inhoud te vinden.
• Pure omvang: Er zijn biljoenen pagina’s op het web. Zelfs Google, met zijn enorme infrastructuur, kan niet alles crawlen — het moet voortdurend prioriteren.

Voor de meeste bedrijven is het runnen van een grootschalige webcrawler niet praktisch zonder beheerde infrastructuur. De beslissing komt meestal neer op het gebruiken van een bestaande tool in plaats van zelf te bouwen.

Is webcrawlen legaal?

In de Verenigde Staten is het crawlen van openbaar toegankelijke webpagina’s over het algemeen legaal. Verschillende rechterlijke uitspraken — waaronder *hiQ Labs v.

De legaliteit hangt echter af van verschillende factoren:

• Of de inhoud openbaar toegankelijk is: Het crawlen van pagina’s achter authenticatie zonder toestemming is vrijwel zeker illegaal.
• Of de crawler robots.txt respecteert: Hoewel robots.txt niet juridisch bindend is, kan het negeren ervan worden gebruikt als bewijs van kwade trouw in een rechtszaak.
• Het doel van de crawl: Het schrapen van concurrentie-informatie kan juridische uitdagingen uitlokken, zelfs als de gegevens openbaar zijn.
• Rechtsgebied: Wetten verschillen per land.

Het onderscheid tussen crawlen voor zoekindexering (algemeen geaccepteerd) en scrapen voor commerciële gegevensextractie (juridisch meer omstreden) is belangrijk. De meeste legitieme zoekmachinecrawlers opereren in duidelijk legaal terrein.

Is ChatGPT een webcrawler?

Nee — ChatGPT zelf is geen webcrawler. ChatGPT is een conversationeel AI-model dat antwoorden genereert. OpenAI heeft echter wel een aparte webcrawler genaamd GPTBot, die openbare webpagina’s crawlt om trainingsgegevens te verzamelen voor AI-modellen en om live-opzoekingsfuncties in sommige OpenAI-producten te ondersteunen.

GPTBot identificeert zich met de user-agenttoken GPTBot en respecteert robots.txt-richtlijnen. Site-eigenaren die GPTBot specifiek willen blokkeren, kunnen het volgende toevoegen aan hun robots.txt-bestand:

User-agent: GPTBot
Disallow: /

Relevantie voor affiliatemarketeers, adverteerders en programmabeheerders

Zoekmachinecrawlers hebben direct invloed op iedereen in het affiliate marketing-ecosysteem. Als een pagina niet wordt gecrawld, scoort deze niet, en als deze niet scoort, genereert deze geen organisch verkeer — en dus geen affiliate-inkomsten.

Voor affiliate-uitgevers

De contentsite van een uitgever staat of valt met crawlbaarheid. Elke productreview, vergelijkingsgids of aanbiedingenoverzicht moet vindbaar zijn voor crawlers. Veelvoorkomende fouten van uitgevers die crawling blokkeren zijn:

• JavaScript gebruiken om affiliate-links of productgegevens te laden zonder server-side rendering.
• Per ongeluk belangrijke contentmappen blokkeren in robots.txt.
• Interne linkbouw verwaarlozen, waardoor waardevolle pagina’s als wezen zonder crawlpad achterblijven.
• Dunne of dubbele contentpagina’s genereren — zoals bijna identieke productlijsten — die crawlbudget verspillen.

Uitgevers moeten controleren of hun meest waardevolle pagina’s verschijnen in het indexdekkingsrapport van Google Search Console en dat er geen noindex-tags of robots.txt-regels zijn die ze onbedoeld blokkeren.

Voor adverteerders en handelaren

Een adverteerder die een affiliateprogramma runt, heeft nodig dat zijn productpagina’s worden gecrawld en geïndexeerd, zodat uitgevers kunnen linken naar live, zichtbare pagina’s. Als de productpagina’s van een handelaar niet in de index van Google staan, hebben uitgevers geen plek om verkeer naartoe te sturen. Specifieke risico’s zijn:

• Gefacetteerde navigatie die duizenden bijna-identieke URL’s genereert die het crawlbudget opslokken.
• Productpagina’s die uit voorraad raken en 404-fouten retourneren, wat een slechte sitegezondheid signaleert aan crawlers.
• Met JavaScript gerenderde prijs- of beschikbaarheidsgegevens die crawlers niet kunnen verwerken.

Handelaren moeten schone URL-structuren onderhouden, productsitemaps indienen en crawlstatistieken in Search Console monitoren om problemen te signaleren voordat ze partneruitgevers beïnvloeden.

Voor affiliateprogrammabeheerders

Programmabeheerders staan tussen handelaren en uitgevers in en moeten het gedrag van crawlers begrijpen om zichtbaarheidsproblemen op te lossen. Wanneer een uitgever meldt dat een productpagina van een handelaar ’niet verschijnt in Google’, is het probleem vaak een crawl- of indexeringsprobleem — niet een rankingsprobleem. Praktische stappen zijn:

• Controleren of de pagina is geïndexeerd met de site:-zoekoperator van Google.
• Het robots.txt-bestand controleren op onbedoelde blokkades.
• Ervoor zorgen dat de pagina ten minste één interne link heeft vanaf een geïndexeerde pagina.
• De URL indienen via de inspectietool van Google Search Console.
• Bevestigen dat de pagina snel laadt en een 200 HTTP-statuscode retourneert.

Een programmabeheerder die basis crawlproblemen kan diagnosticeren, voegt directe waarde toe aan beide kanten van de affilaterelatie — handelaren helpen technische problemen op te lossen en uitgevers helpen bevestigen dat de pagina’s die ze promoten vindbaar zijn.