Robots.txt in gewone woorden
Elke zoekmachine stuurt een programmaatje over het internet dat pagina’s bezoekt en leest. Dat heet een crawler of bot. Voordat Googlebot jouw website bezoekt, kijkt hij eerst op jouwdomein.nl/robots.txt of daar regels staan. Staat er dat de map /winkelwagen/ verboden terrein is, dan slaat hij die gewoon over.
Googlebot en Bingbot houden zich daaraan. Een kwaadwillende scraper trekt zich er weinig van aan. Een robots.txt is dus geen beveiliging. Wat geheim moet blijven, zet je achter een wachtwoord.
Zo ziet hij eruit
Een robots.txt bestaat uit een paar vaste regels. Dit is een eenvoudig voorbeeld voor een WordPress-site:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.jouwdomein.nl/sitemap_index.xml
Wat de regels betekenen:
- User-agent: voor welke bot de regels gelden. Een sterretje betekent alle bots.
- Disallow: welke map of pagina de bot niet mag bezoeken.
- Allow: een uitzondering binnen een map die je hebt geblokkeerd.
- Sitemap: waar je XML-sitemap staat, zodat zoekmachines je pagina’s sneller vinden.
Eén teken maakt al verschil. “Disallow: /” met alleen een schuine streep blokkeert je hele website. “Disallow:” zonder iets erachter blokkeert helemaal niets.
Robots.txt of noindex
Hier gaat het in de praktijk het vaakst mis. Robots.txt regelt of een bot een pagina mag bezoeken. Of een pagina in de zoekresultaten komt, regel je met een noindex-tag op de pagina zelf. Hoe Google pagina’s opneemt in zijn database, lees je in ons begrip over indexeren.
| Kenmerk | Robots.txt | Noindex |
|---|---|---|
| Wat het doet | Vraagt bots een pagina niet te bezoeken | Vraagt zoekmachines een pagina niet te tonen in de zoekresultaten |
| Waar het staat | Eén bestand in de hoofdmap van je domein | In de code of de HTTP-header van elke pagina apart |
| Kan de pagina toch in Google komen? | Ja, bijvoorbeeld als andere sites ernaar linken | Nee, zodra Google de tag heeft gelezen |
| Handig voor | Admin-mappen, zoekfilters, de winkelwagen | Bedankpagina’s, dunne tagpagina’s, testpagina’s |
Combineer de twee nooit op dezelfde pagina. Blokkeer je een pagina in robots.txt, dan kan Google de noindex-tag niet lezen. Dan blijft de pagina soms gewoon in de zoekresultaten staan, zonder beschrijving eronder.
Robots.txt en AI-bots
Sinds ChatGPT en vergelijkbare tools bestaan, komen er ook AI-bots langs op je website. Die kun je in robots.txt apart aanspreken. GPTBot is de bot waarmee OpenAI tekst verzamelt om zijn modellen te trainen. Google-Extended is een token van Google waarmee je aangeeft dat je content niet gebruikt mag worden voor het trainen van Gemini.
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Goed om te weten: Google-Extended heeft geen invloed op je posities in Google Zoeken. Het haalt je ook niet uit AI Overviews, want die vallen onder de gewone Googlebot. En OpenAI gebruikt voor de zoekfunctie van ChatGPT een aparte bot, OAI-SearchBot. Blokkeer je alleen GPTBot, dan kun je dus nog steeds in de zoekresultaten van ChatGPT verschijnen.
Veelgemaakte fouten
De fout die we het vaakst tegenkomen, is een nieuwe website die na livegang nog de robots.txt van de testomgeving heeft. Daar staat “Disallow: /” in, dus Google komt er niet in. In WordPress zit hetzelfde in het vinkje “Zoekmachines ontmoedigen deze site te indexeren” onder Instellingen en dan Lezen.
Andere fouten die we regelmatig zien:
- CSS en JavaScript blokkeren: Google bouwt je pagina op zoals een browser dat doet. Mag hij je opmaakbestanden niet laden, dan ziet hij een kapotte pagina.
- Pagina’s uit Google willen halen met robots.txt: daarvoor is noindex bedoeld, zie de tabel hierboven.
- Het bestand op de verkeerde plek zetten: een robots.txt werkt alleen in de hoofdmap. Een subdomein zoals shop.jouwdomein.nl heeft een eigen bestand nodig.
Of je robots.txt goed staat, zie je in Google Search Console onder Instellingen, in het robots.txt-rapport. Wil je dat iemand er met een frisse blik naar kijkt? Robots.txt is een vast onderdeel van onze technische SEO-check.



