Crawling en indexering: complete gids voor SEO

Crawling is het proces waarbij Google pagina’s ontdekt en ophaalt; indexering is de beoordeling en opname van geschikte pagina’s in de Google-index. Een pagina kan dus wel worden gecrawld, maar niet worden geïndexeerd. Controleer dit per URL met URL Inspection in Google Search Console en los blokkades op zoals een noindex-tag, verkeerde canonical, robots.txt-blokkade, serverfout of een pagina zonder voldoende eigen waarde.

Wat zijn crawling en indexering?

Google moet een pagina doorgaans eerst ontdekken, daarna crawlen en verwerken voordat deze in de zoekresultaten kan verschijnen. Dat zijn verschillende stappen met elk hun eigen mogelijke blokkades.

• URL-discovery: Google ontdekt een URL, bijvoorbeeld via een interne link, XML-sitemap, externe link of redirect.
• Crawling: Googlebot vraagt de pagina op en probeert de inhoud en technische signalen te lezen.
• Rendering: waar nodig verwerkt Google de pagina inclusief JavaScript om de uiteindelijke inhoud te begrijpen.
• Indexering: Google beoordeelt of de pagina in de index wordt opgenomen en welke versie de canonieke versie is.
• Vertoning: Google bepaalt per zoekopdracht of, wanneer en op welke manier een geïndexeerde pagina wordt getoond.

Indexering is dus geen garantie op zichtbaarheid voor ieder zoekwoord. Omgekeerd betekent afwezigheid in de zoekresultaten niet altijd dat een URL niet is geïndexeerd. Gebruik daarom eerst Search Console om de exacte status vast te stellen.

Het verschil tussen crawlen, indexeren en ranken

Voor een zakelijke website is dit onderscheid belangrijk. U kunt anders tijd steken in de verkeerde oplossing. Een robots.txt-probleem vraagt om een andere actie dan een door Google gekozen canonical of een pagina die inhoudelijk te veel lijkt op een andere pagina.

Situatie	Wat betekent het?	Wat controleert u?	Logische eerste actie
Google kent de URL niet	De pagina is mogelijk niet ontdekt.	Interne links, XML-sitemap en URL Inspection.	Voeg een relevante interne link toe en neem de canonieke URL op in de sitemap.
Google kan de URL niet crawlen	Googlebot krijgt geen bruikbare toegang tot de pagina.	robots.txt, serverreactie, inlogvereiste en URL Inspection.	Verwijder alleen blokkades die onbedoeld zijn en test de URL opnieuw.
Google crawlt wel, maar indexeert niet	Google ziet een uitsluitingssignaal of kiest ervoor de pagina niet op te nemen.	noindex, canonical, duplicatie en inhoudelijke kwaliteit.	Bepaal eerst of indexering gewenst is, herstel daarna het dominante signaal.
Een andere URL is canoniek	Google ziet meerdere vergelijkbare versies en selecteert één hoofdversie.	Canonicals, redirects, interne links en sitemap.	Laat alle signalen consequent naar de gewenste canonieke URL wijzen.
De pagina is geïndexeerd, maar niet zichtbaar op uw zoekterm	Dit is primair een relevantie- en concurrentievraag, geen indexeringsfout.	Zoekintentie, inhoud, interne links en prestaties in Search Console.	Verbeter de pagina voor de zoekvraag in plaats van technische blokkades te zoeken.

Hoe ontdekt Google pagina’s?

Google ontdekt URL’s vooral via links. Een heldere interne linkstructuur helpt Google daarom om belangrijke pagina’s te vinden en de onderlinge samenhang te begrijpen. Een XML-sitemap is aanvullend nuttig: daarin geeft u aan welke canonieke URL’s u belangrijk vindt. Een sitemap is echter een hint, geen opdracht en geen garantie op indexering.

Neem in een XML-sitemap alleen URL’s op die u daadwerkelijk wilt laten indexeren. Vermijd bijvoorbeeld redirect-URL’s, URL’s met een noindex-tag, foutpagina’s en alternatieve of dubbele varianten. Zorg daarnaast dat belangrijke diensten, kennisbankartikelen en landingspagina’s vanaf logische andere pagina’s intern zijn gelinkt.

Redirects verdienen extra aandacht. Een oude URL die permanent naar een relevante nieuwe URL leidt, hoeft niet zelf in de index te blijven. Lees voor foutpagina’s en onduidelijke foutreacties ook onze gids over 404- en soft-404-fouten.

Waarom Google een pagina niet kan crawlen

Een crawlprobleem ontstaat wanneer Googlebot de URL niet of niet goed kan ophalen. Dat kan bewust zijn, bijvoorbeeld bij een niet-openbare omgeving, maar ook onbedoeld door een technische instelling.

robots.txt blokkeert Googlebot

Met robots.txt kunt u crawlers vragen bepaalde URL-paden niet te crawlen. Dat kan nuttig zijn voor URL’s zonder SEO-waarde, maar gebruik het niet als primaire methode om een reeds bekende pagina uit de index te houden. Google moet een noindex-signaal kunnen lezen; een door robots.txt geblokkeerde pagina kan dat signaal mogelijk niet ophalen.

Blokkeer dus niet per ongeluk essentiële pagina’s, stylesheets, scripts of bestanden die nodig zijn om de pagina goed te renderen. Controleer in URL Inspection of Google de pagina mag crawlen.

Server- of toegangsproblemen

Een instabiele server, foutieve statuscode, time-out, DNS-probleem of inlogscherm kan crawling verhinderen. Controleer of de URL voor gewone bezoekers toegankelijk is en of de server een normale, succesvolle reactie geeft. Los terugkerende technische fouten eerst op voordat u indexering opnieuw aanvraagt.

Renderproblemen

Wanneer essentiële inhoud alleen na complexe JavaScript-uitvoering verschijnt, kan Google moeite hebben om die inhoud betrouwbaar te verwerken. Vergelijk in URL Inspection waar mogelijk de door Google gerenderde weergave met wat een bezoeker ziet. Belangrijke tekst, links en primaire inhoud moeten niet afhankelijk zijn van een fragiele technische uitvoering.

Waarom een gecrawlde pagina niet wordt geïndexeerd

Dat Google een pagina heeft opgehaald, betekent niet dat die pagina in de index hoort. Begin altijd met de vraag: willen we dat deze specifieke URL zelfstandig in Google verschijnt? Filterpagina’s, bedankpagina’s, interne zoekresultaten en dubbele varianten hoeven meestal niet zelfstandig te ranken.

Noindex

Een noindex-directive vertelt Google dat de pagina niet in de index moet worden opgenomen. Dat kan via een meta robots-tag of HTTP-header worden ingesteld. Controleer of de directive bewust aanwezig is. Is de pagina belangrijk voor organische vindbaarheid, verwijder dan de noindex en zorg dat Google de URL kan crawlen.

Duplicatie en canonicalisatie

Vergelijkbare of identieke pagina’s kunnen bestaan door parameters, http- en https-varianten, een afwijkende slash, productfilters of meerdere routes naar dezelfde inhoud. Met een canonical geeft u uw voorkeurs-URL aan. Google kan die aanwijzing volgen, maar kiest uiteindelijk zelf een canonieke versie op basis van meerdere signalen.

Maak de gewenste URL consequent: gebruik die in interne links, de XML-sitemap, canonical-tag en eventuele redirects. Stuur geen tegenstrijdige signalen, zoals een URL in de sitemap die tegelijk een canonical naar een andere URL heeft.

Onvoldoende zelfstandige waarde

Google kan besluiten een pagina niet te indexeren wanneer deze weinig unieke, bruikbare inhoud biedt of grotendeels gelijk is aan een andere pagina. De oplossing is niet automatisch meer tekst. Maak eerst een scherpe keuze: samenvoegen met een betere pagina, gericht verbeteren voor een eigen zoekintentie, of bewust uitsluiten van indexering.

Crawling en indexering controleren in Google Search Console

Google Search Console is het vertrekpunt voor diagnose. Gebruik twee onderdelen samen: URL Inspection voor één specifieke URL en het Page indexing-rapport voor patronen op siteniveau.

1. Controleer de exacte URL in URL Inspection. Gebruik de canonieke versie van de pagina, inclusief de juiste http- of https-variant en eventuele slash.
2. Lees de indexeringsstatus. Kijk of de URL in Google staat en welke reden Search Console toont als dat niet zo is.
3. Vergelijk de door gebruiker opgegeven en door Google geselecteerde canonical. Verschillen zijn een signaal om uw canonicals, interne links en sitemap te controleren.
4. Controleer crawlbaarheid en pagina-ophaalbaarheid. Let op robots.txt, technische fouten en toegangsproblemen.
5. Bekijk het Page indexing-rapport. Groepeer URL’s op reden. Een enkele uitgesloten URL is vaak normaal; een patroon op belangrijke pagina’s vraagt om onderzoek.
6. Herstel de oorzaak, niet alleen het symptoom. Pas bijvoorbeeld de noindex, canonical, interne link of serverinstelling aan.
7. Vraag pas daarna validatie of indexering aan. Een aanvraag vervangt geen structurele oplossing en garandeert geen opname in de index.

Praktisch stappenplan voor een pagina die niet in Google staat

Volg deze volgorde om te voorkomen dat u aan meerdere instellingen tegelijk sleutelt.

1. Bepaal de bedoeling. Moet deze URL zelfstandig organisch verkeer kunnen ontvangen? Zo nee, dan is uitsluiting mogelijk juist correct.
2. Inspecteer de URL. Gebruik URL Inspection in de juiste Search Console-property en noteer de weergegeven reden.
3. Controleer de technische toegang. Is de pagina publiek bereikbaar, geeft de server een normale reactie en blokkeert robots.txt Googlebot niet?
4. Controleer indexeringssignalen. Zoek naar een noindex-tag of HTTP-header en controleer of de pagina niet naar een andere URL canonicaliseert.
5. Beoordeel URL-varianten. Controleer of er versies bestaan met parameters, andere hoofdletters, slashverschillen of alternatieve paden.
6. Herstel interne signalen. Link vanaf relevante, geïndexeerde pagina’s naar de gewenste canonieke URL en plaats alleen die URL in de XML-sitemap.
7. Verbeter of consolideer de inhoud. Geef de pagina een eigen doel en inhoud, of voeg overlappende pagina’s samen wanneer één sterke pagina beter past.
8. Controleer opnieuw. Test na publicatie opnieuw in URL Inspection. Houd het Page indexing-rapport in de gaten om te zien of het patroon verandert.

Veelgemaakte fouten

• Iedere niet-geïndexeerde URL als fout behandelen. Veel URL’s horen niet in Google thuis. Prioriteer alleen URL’s met zakelijke of SEO-waarde.
• robots.txt inzetten waar noindex nodig is. Wilt u een crawlbare pagina uit de index houden, dan is noindex doorgaans het passende signaal.
• Een sitemap als garantie zien. Een sitemap helpt bij ontdekking, maar bepaalt niet zelfstandig of Google indexeert.
• Tegenstrijdige canonicals negeren. De sitemap, interne links, redirects en canonical moeten dezelfde voorkeurs-URL ondersteunen.
• Direct indexering aanvragen zonder diagnose. Los eerst de reden voor uitsluiting op. Anders blijft het probleem bestaan.
• Foutpagina’s als gewone content behandelen. Analyseer 404- en soft-404-signalen apart en kies per URL voor herstel, redirect of een correcte foutstatus.

Prioriteiten voor een mkb-website

Begin niet met elke URL in Search Console. Richt eerst op pagina’s die leads, omzet of zichtbaarheid moeten opleveren: kern-dienstenpagina’s, belangrijke categorieën, landingspagina’s en inhoudelijke artikelen met een duidelijke zoekintentie.

Pak vervolgens problemen aan die meerdere waardevolle URL’s raken, zoals een sitebrede noindex-instelling, een verkeerd robots.txt-regelpatroon, een fout in canonicals of een technisch probleem dat pagina’s onbereikbaar maakt. Pas daarna individuele uitzonderingen aan.

Crawling en indexering zijn een onderdeel van technische SEO, maar het uiteindelijke doel is een website die vindbaar én overtuigend is. Voor hulp bij de combinatie van techniek, inhoud en conversie kunt u terecht bij conversie- en SEO-optimalisatie. Bekijk ook het overzicht van webdesign-, SEO- en Google Ads-diensten van LYNX Media.

Onderhoudschecklist

• Controleer periodiek het Page indexing-rapport op nieuwe patronen bij belangrijke URL’s.
• Inspecteer kernpagina’s na een redesign, migratie, CMS-wijziging of grote template-aanpassing.
• Houd XML-sitemaps beperkt tot canonieke, indexeerbare URL’s.
• Controleer na releases noindex-tags, canonicals, redirects en robots.txt.
• Voeg interne links toe wanneer u belangrijke nieuwe pagina’s publiceert.
• Beoordeel terugkerende 404- en soft-404-meldingen op oorzaak en zakelijke relevantie.

Veelgestelde vragen

Hoe lang duurt indexering door Google?

Daar is geen vaste termijn voor. Google bepaalt zelf wanneer en of een URL wordt gecrawld en geïndexeerd. Zorg daarom eerst dat de technische signalen, interne links en inhoud kloppen. Een indexeringsverzoek kan Google op een URL attenderen, maar geeft geen garantie.

Kan een pagina worden gecrawld maar niet geïndexeerd?

Ja. Google kan een pagina ophalen en vervolgens uitsluiten door bijvoorbeeld een noindex-directive, duplicatie, een andere canonieke URL of een beoordeling dat de pagina onvoldoende zelfstandige waarde heeft.

Moet iedere pagina in de XML-sitemap staan?

Nee. Neem vooral canonieke URL’s op die u wilt laten indexeren. Pagina’s met noindex, redirects, foutpagina’s en dubbele varianten horen er doorgaans niet in.

Is een robots.txt-blokkade hetzelfde als noindex?

Nee. robots.txt gaat over crawling, terwijl noindex een indexeringsdirective is. Een geblokkeerde crawler kan een noindex-signaal mogelijk niet lezen. Kies daarom het signaal dat past bij uw doel.

Wilt u zekerheid over de technische basis van uw belangrijkste pagina’s? Bespreek je website of online groeikansen met LYNX Media.