Een fout in je robots.txt kan ervoor zorgen dat zoekmachines belangrijke pagina’s niet goed crawlen. Soms blokkeer je per ongeluk je hele site, soms juist pagina’s die je wel wilt laten indexeren.
De schade is vaak groter dan je denkt, omdat robots txt fouten niet altijd meteen opvallen. Je ziet ze pas terug in dalende zichtbaarheid, trage indexatie of pagina’s die ineens uit de zoekresultaten verdwijnen.
1. Wat doet robots.txt precies?
Robots.txt is een instructiebestand voor zoekmachines. Je geeft ermee aan welke delen van je site crawlers wel of niet mogen bezoeken.
Dat is iets anders dan indexatie blokkeren. Een pagina kan nog steeds geïndexeerd worden als andere pagina’s ernaar linken, zelfs als crawlen beperkt is. Juist daarom moet je robots.txt precies inzetten en niet als algemene SEO-rem gebruiken.
2. De fout: per ongeluk je hele site blokkeren
De bekendste robots txt fout is een te brede Disallow-regel. Eén verkeerde regel, zoals het blokkeren van de hele map of de hele site, en Googlebot komt nauwelijks nog verder.
Dat gebeurt vaak na een staging- of testconfiguratie die live blijft staan. Vooral bij WordPress-omgevingen zie je dat als een ontwikkelaar tijdelijk alles dichtzet en het bestand later niet terugzet.
3. Belangrijke pagina’s uitsluiten zonder dat je het merkt
Soms blokkeer je geen complete site, maar wel onderdelen die SEO-waarde hebben. Denk aan categoriepagina’s, productfilters, belangrijke landingspagina’s of zelfs de CSS- en JS-bestanden die Google nodig heeft om je pagina goed te begrijpen.
Als zoekmachines je content niet volledig kunnen renderen, kan dat invloed hebben op hoe ze de pagina beoordelen. Bij webshops zie je dit vooral misgaan bij filter- en sorteer-URL’s, terwijl juist daar vaak veel zoekverkeer zit.
4. Conflicten tussen robots.txt en noindex
Robots.txt en noindex worden vaak door elkaar gehaald, maar ze werken anders. Als je een pagina blokkeert in robots.txt, kan een zoekmachine de noindex-instructie soms juist niet meer lezen omdat de bot de pagina niet mag bezoeken.
Dat leidt tot onvoorspelbare situaties. Je denkt dat een pagina netjes uit de index blijft, terwijl een oude URL alsnog zichtbaar blijft zonder inhoudelijke controle. Als je een pagina echt uit de index wilt houden, is noindex meestal betrouwbaarder dan blokkeren in robots.txt.
5. Verkeerde regels voor parameters en filters
Bij veel sites ontstaan robots txt fouten door parameter-URL’s. Dat gebeurt wanneer je te agressief filterpagina’s, sorteringen of trackingparameters blokkeert, zonder eerst te kijken welke varianten wél waardevol zijn.
Niet elke parameter-URL is rommel. Soms genereert een combinatie van filters juist een pagina met zoekvraag. Als je alles op één hoop gooit, snij je per ongeluk relevante instroom af.
6. Slechte bestandslocatie of syntaxfouten
Robots.txt moet op de juiste plek staan: direct op rootniveau, dus bijvoorbeeld jouwdomein.nl/robots.txt. Staat het bestand elders, dan negeren crawlers het gewoon.
Ook kleine syntaxfouten zorgen voor problemen. Denk aan spaties, verkeerde hoofdletters, een foutieve user-agent of een regel die net anders is geschreven dan bedoeld.
Een paar praktische checks die vaak helpen:
- Controleer of het bestand echt publiek bereikbaar is.
- Kijk of de juiste user-agent bovenaan staat.
- Test nieuwe regels altijd eerst op een testomgeving.
- Houd staging en productie strikt gescheiden.
7. Crawlen beperken zonder SEO-data te verliezen
Soms wil je juist crawl budget besparen, bijvoorbeeld op grote sites met veel duplicatie of tijdelijke pagina’s. Dan is robots.txt nuttig, maar alleen als je precies weet wat je doet.
Bij een webshop met duizenden URL’s kan een slimme afbakening helpen om Google te sturen naar pagina’s met echte waarde. De kunst is om niet alles dicht te zetten, maar alleen de ruis. Voor interne SEO-projecten zien we vaak dat technische winst pas echt zichtbaar wordt als robots.txt samenwerkt met een goede sitestructuur.
8. Hoe controleer je robots txt fouten slim?
Een goede controle begint niet bij gokken, maar bij meten. Kijk in Google Search Console of belangrijke pagina’s nog gecrawld worden en of er uitsluitingen verschijnen die je niet verwacht.
Check daarnaast je robots.txt na elke migratie, plugin-update of wijziging aan WordPress. Juist bij maatwerk, multisites en webshops kunnen kleine configuratieverschillen grote gevolgen hebben.
Hoe pak je dit zelf aan?
Begin met een korte audit van je robots.txt, je sitemap en een paar belangrijke URL’s. Test daarna of zoekmachines pagina’s die je wilt laten zien nog kunnen bereiken en renderen.
Zie je onverwachte blokkades, los die dan eerst technisch op voordat je content of links bijstuurt. Veel SEO-problemen lijken inhoudelijk, maar blijken in de praktijk gewoon crawlproblemen te zijn.
Veelgestelde vragen over robots txt fouten
1. Kan robots.txt mijn rankings direct laten dalen?
Ja, als je belangrijke pagina’s blokkeert, kan Google ze minder goed crawlen of herindexeren. Dat merk je vaak eerst aan dalende zichtbaarheid of trage updates in de zoekresultaten.
2. Is robots.txt hetzelfde als noindex?
Nee, robots.txt stuurt crawlen en noindex stuurt indexatie. Als je een pagina echt uit de zoekresultaten wilt houden, is noindex meestal de veiligere keuze.
3. Hoe weet je of je per ongeluk te veel blokkeert?
Controleer welke URL’s in Search Console worden uitgesloten en test belangrijke pagina’s handmatig. Als content, afbeeldingen of scripts niet geladen worden, kan dat op een fout wijzen.
4. Waarom is robots.txt extra gevoelig bij WordPress?
Omdat plugins, staging-omgevingen en migraties snel regels kunnen aanpassen zonder dat je het direct ziet. Eén restregel uit een testomgeving kan live blijven staan en belangrijke paden blokkeren.
5. Moet je CSS en JavaScript altijd toestaan?
In veel gevallen wel, omdat Google die nodig heeft om je pagina goed te renderen. Als je die bestanden blokkeert, kan de beoordeling van je pagina vertekend raken.
6. Wat doe je bij een grote webshop met veel filter-URL’s?
Maak onderscheid tussen nuttige landingspagina’s en pure duplicaten. Blokkeer niet blind alles met parameters, maar kijk welke combinaties waardevol verkeer kunnen opleveren.
7. Hoe vaak moet je robots.txt controleren?
Minimaal na elke migratie, grote plugin-update of technische wijziging. Voor grotere sites is een vaste controle per maand verstandig, zeker als je vaak aan de structuur sleutelt.
Robots.txt lijkt een detail, maar het kan je zichtbaarheid flink beïnvloeden als je regels niet goed staan. Heb je twijfel over je WordPress-site of webshop, dan loont het om eerst technisch te controleren voordat je aan content of campagnes sleutelt. Bij Haboes kijken we graag mee naar de combinatie van SEO, development en structuur.