Robots.txt is een klein tekstbestand, maar het heeft direct effect op hoe zoekmachines je website crawlen. Als je robots txt seo instellen goed aanpakt, geef je Google duidelijke instructies over welke onderdelen wel en niet bezocht moeten worden. Dat helpt vooral bij grote websites, webshops en WordPress-omgevingen waar snel onnodige pagina’s ontstaan.
Verkeerd ingesteld is robots.txt juist een risico. Je kunt per ongeluk belangrijke pagina’s blokkeren, terwijl irrelevante systemen of dubbele URL’s gewoon toegankelijk blijven voor zoekmachines. Daarom loont het om dit bestand bewust in te richten, in plaats van het standaard te laten staan.
1. Wat doet robots.txt precies?
Robots.txt is een instructiebestand voor zoekmachinebots. Het staat in de hoofdmap van je domein en vertelt crawlers welke paden ze mogen of niet mogen bezoeken. Het gaat dus om crawlen, niet rechtstreeks om indexeren: een pagina kan soms nog steeds in Google verschijnen als er elders links naartoe verwijzen.
Voor SEO is dat onderscheid belangrijk. Als je een pagina blokkeert in robots.txt, dan kan Google de inhoud niet goed bekijken, en dat maakt het lastiger om de juiste waarde toe te kennen. Je gebruikt dit bestand daarom vooral om crawlgedrag te sturen, niet om content “weg te gooien”.
2. Welke pagina’s blokkeer je wel en welke niet?
Je wilt zoekmachines vooral laten focussen op pagina’s die waarde hebben voor bezoekers en omzet. Denk aan categoriepagina’s, productpagina’s, dienstenpagina’s en sterke contentpagina’s. Alles wat technisch, dubbel of intern bedoeld is, kan vaak beter buiten de crawl blijven.
Praktisch gezien blokkeer je vaak onderdelen zoals:
- admin-omgevingen en inlogpagina’s
- zoekresultaatpagina’s op de eigen site
- testomgevingen en tijdelijke mappen
- filter-URL’s die veel dubbele varianten opleveren
Laat juist open wat je wilt laten ranken. Als je per ongeluk CSS, JavaScript of een belangrijke contentmap blokkeert, kan Google je site slechter renderen en beoordelen.
3. Hoe stel je robots.txt in op WordPress?
Bij WordPress staat robots.txt vaak virtueel klaar, maar dat betekent niet dat de instellingen optimaal zijn. In veel gevallen wil je een eigen versie gebruiken, zeker als je webshopplugins, filters of meerdere contenttypes hebt. Dan kun je gericht bepalen welke paden je afschermt en welke juist open blijven.
Let vooral op systeemmappen die WordPress gebruikt. Het blokkeren van hele mappen lijkt veilig, maar kan technische SEO schaden als je te breed werkt. Een goede WordPress-robots.txt is compact, logisch en afgestemd op de structuur van je site.
4. Wat moet er minimaal in staan?
De basis is eenvoudig: je geeft per bot aan wat er wel of niet gecrawld mag worden. Voor de meeste websites is een duidelijke set regels genoeg, zonder ingewikkelde uitzonderingen. Hoe simpeler je site, hoe kleiner de kans op fouten.
Een logische basis bevat vaak:
- een regel voor de belangrijkste crawlers, zoals Googlebot
- uitsluitingen voor administratieve of technische paden
- eventueel een verwijzing naar je XML-sitemap
Die sitemapverwijzing is nuttig omdat zoekmachines dan sneller je belangrijkste URL’s vinden. Op een site met honderden of duizenden pagina’s scheelt dat tijd in het crawlen.
5. Welke fouten zie je vaak terug?
De grootste fout is te veel blokkeren. Een regel als Disallow: / lijkt misschien tijdelijk handig tijdens een project, maar als die online blijft staan, haal je je hele website uit de crawl. Ook zie je vaak dat belangrijke submappen worden uitgesloten zonder dat iemand doorheeft wat er technisch onder hangt.
Een andere fout is robots.txt gebruiken als vervanging voor noindex. Dat werkt niet hetzelfde. Als een pagina niet gecrawld mag worden, kan Google de noindex-instructie ook niet altijd lezen, dus dan bereik je soms juist het tegenovergestelde van wat je wilt.
6. Hoe combineer je robots.txt met andere SEO-instellingen?
Robots.txt werkt het best als onderdeel van een bredere technische SEO-aanpak. Denk aan canonicals, noindex-tags, XML-sitemaps en een logische URL-structuur. Samen zorgen die voor minder ruis en betere signalen richting zoekmachines.
Een handige vuistregel: blokkeer in robots.txt wat je niet wilt laten crawlen, gebruik noindex voor pagina’s die wel bezocht mogen worden maar niet in de index hoeven, en los duplicatie op met canonical-tags. Zo houd je controle over zowel crawlbudget als indexatie.
7. Hoe controleer je of alles goed staat?
Na het instellen test je altijd of de robots.txt doet wat je verwacht. Kijk eerst in de browser of het bestand bereikbaar is op jouwdomein.nl/robots.txt. Controleer daarna in Google Search Console of belangrijke pagina’s niet per ongeluk worden geblokkeerd.
Bij grotere websites is het slim om ook serverlogs of crawlrapporten te bekijken. Daar zie je welke bots langskomen en waar ze blijven steken. Zeker bij webshops met veel filters en parameters levert dat vaak bruikbare inzichten op.
Wat is jouw volgende stap?
Als je robots txt seo instellen serieus aanpakt, voorkom je dat zoekmachines tijd verspillen aan de verkeerde URL’s. Begin met een audit van je huidige regels, je sitemap en je belangrijkste landingspagina’s. Twijfel je over de technische kant, dan is dit precies het soort werk waar SEO en WordPress-kennis samenkomen.
Veelgestelde vragen over robots.txt
1. Is robots.txt hetzelfde als noindex?
Nee, het zijn twee verschillende signalen. Robots.txt stuurt crawlgedrag, terwijl noindex aangeeft dat een pagina niet in de index moet komen. Als je een pagina echt uit Google wilt houden, kies je meestal voor noindex in plaats van alleen blokkeren.
2. Moet je altijd een robots.txt-bestand hebben?
Nee, een site kan technisch ook zonder robots.txt werken. Toch is het voor SEO vaak handig om een eigen bestand te hebben, omdat je dan bewuster stuurt op crawlgedrag en je sitemap kunt vermelden.
Niet volledig. Als andere websites naar die URL linken, kan Google de pagina soms alsnog opnemen zonder de inhoud te crawlen. Daarom gebruik je voor echte uitsluiting liever noindex of een andere technische oplossing.
4. Wat gebeurt er als je CSS of JavaScript blokkeert?
Dan kan Google je pagina soms minder goed renderen. Dat kan invloed hebben op hoe de site wordt beoordeeld, vooral als belangrijke content of functionaliteit afhankelijk is van scripts. Blokkeer zulke bestanden alleen als je precies weet wat je doet.
5. Hoe vaak moet je robots.txt aanpassen?
Alleen wanneer je site-structuur verandert of wanneer je nieuwe technische onderdelen toevoegt. Bij een webshop, migratie of WordPress-update is het slim om de regels opnieuw te controleren. Voor een stabiele site is een periodieke check meestal genoeg.
6. Is het slim om staging-sites te blokkeren met robots.txt?
Ja, maar liever combineer je dat met extra beveiliging, zoals wachtwoordbeveiliging of serverblokkade. Robots.txt alleen is geen echte afscherming, omdat bots het bestand nog steeds kunnen lezen. Voor testomgevingen wil je meer zekerheid dan alleen een crawl-instructie.
7. Welke rol speelt robots.txt bij webshops?
Bij webshops helpt het vooral om filter- en parameterpagina’s onder controle te houden. Zo voorkom je dat zoekmachines duizenden varianten crawlen die weinig waarde hebben. Daardoor blijft er meer aandacht over voor categorieën en producten die echt moeten ranken.
Een goed ingestelde robots.txt maakt je site niet vanzelf beter vindbaar, maar voorkomt wel dat techniek je SEO in de weg zit. Als je wilt sparren over een WordPress-site, webshop of bredere SEO-aanpak, kan Haboes je daar technisch en inhoudelijk in meenemen.