Bel onsWhatsAppGratis analyse

Wat is robots.txt?

Definitie

Een robots.txt is een klein tekstbestand in de hoofdmap van je website dat zoekmachines vertelt welke delen van de site ze wel en niet mogen bezoeken. Zie het als een verzoek aan bezoekende bots, want pagina's die je erin uitsluit kunnen nog steeds in Google terechtkomen.

Martijn Wildeman
Uitgelegd door:Martijn Wildeman

Robots.txt in gewone woorden

Elke zoekmachine stuurt een programmaatje over het internet dat pagina’s bezoekt en leest. Dat heet een crawler of bot. Voordat Googlebot jouw website bezoekt, kijkt hij eerst op jouwdomein.nl/robots.txt of daar regels staan. Staat er dat de map /winkelwagen/ verboden terrein is, dan slaat hij die gewoon over.

Googlebot en Bingbot houden zich daaraan. Een kwaadwillende scraper trekt zich er weinig van aan. Een robots.txt is dus geen beveiliging. Wat geheim moet blijven, zet je achter een wachtwoord.

Zo ziet hij eruit

Een robots.txt bestaat uit een paar vaste regels. Dit is een eenvoudig voorbeeld voor een WordPress-site:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.jouwdomein.nl/sitemap_index.xml

Wat de regels betekenen:

  • User-agent: voor welke bot de regels gelden. Een sterretje betekent alle bots.
  • Disallow: welke map of pagina de bot niet mag bezoeken.
  • Allow: een uitzondering binnen een map die je hebt geblokkeerd.
  • Sitemap: waar je XML-sitemap staat, zodat zoekmachines je pagina’s sneller vinden.

Eén teken maakt al verschil. “Disallow: /” met alleen een schuine streep blokkeert je hele website. “Disallow:” zonder iets erachter blokkeert helemaal niets.

Robots.txt of noindex

Hier gaat het in de praktijk het vaakst mis. Robots.txt regelt of een bot een pagina mag bezoeken. Of een pagina in de zoekresultaten komt, regel je met een noindex-tag op de pagina zelf. Hoe Google pagina’s opneemt in zijn database, lees je in ons begrip over indexeren.

KenmerkRobots.txtNoindex
Wat het doetVraagt bots een pagina niet te bezoekenVraagt zoekmachines een pagina niet te tonen in de zoekresultaten
Waar het staatEén bestand in de hoofdmap van je domeinIn de code of de HTTP-header van elke pagina apart
Kan de pagina toch in Google komen?Ja, bijvoorbeeld als andere sites ernaar linkenNee, zodra Google de tag heeft gelezen
Handig voorAdmin-mappen, zoekfilters, de winkelwagenBedankpagina’s, dunne tagpagina’s, testpagina’s

Combineer de twee nooit op dezelfde pagina. Blokkeer je een pagina in robots.txt, dan kan Google de noindex-tag niet lezen. Dan blijft de pagina soms gewoon in de zoekresultaten staan, zonder beschrijving eronder.

Robots.txt en AI-bots

Sinds ChatGPT en vergelijkbare tools bestaan, komen er ook AI-bots langs op je website. Die kun je in robots.txt apart aanspreken. GPTBot is de bot waarmee OpenAI tekst verzamelt om zijn modellen te trainen. Google-Extended is een token van Google waarmee je aangeeft dat je content niet gebruikt mag worden voor het trainen van Gemini.

User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /

Goed om te weten: Google-Extended heeft geen invloed op je posities in Google Zoeken. Het haalt je ook niet uit AI Overviews, want die vallen onder de gewone Googlebot. En OpenAI gebruikt voor de zoekfunctie van ChatGPT een aparte bot, OAI-SearchBot. Blokkeer je alleen GPTBot, dan kun je dus nog steeds in de zoekresultaten van ChatGPT verschijnen.

Veelgemaakte fouten

De fout die we het vaakst tegenkomen, is een nieuwe website die na livegang nog de robots.txt van de testomgeving heeft. Daar staat “Disallow: /” in, dus Google komt er niet in. In WordPress zit hetzelfde in het vinkje “Zoekmachines ontmoedigen deze site te indexeren” onder Instellingen en dan Lezen.

Andere fouten die we regelmatig zien:

  • CSS en JavaScript blokkeren: Google bouwt je pagina op zoals een browser dat doet. Mag hij je opmaakbestanden niet laden, dan ziet hij een kapotte pagina.
  • Pagina’s uit Google willen halen met robots.txt: daarvoor is noindex bedoeld, zie de tabel hierboven.
  • Het bestand op de verkeerde plek zetten: een robots.txt werkt alleen in de hoofdmap. Een subdomein zoals shop.jouwdomein.nl heeft een eigen bestand nodig.

Of je robots.txt goed staat, zie je in Google Search Console onder Instellingen, in het robots.txt-rapport. Wil je dat iemand er met een frisse blik naar kijkt? Robots.txt is een vast onderdeel van onze technische SEO-check.

Veelgestelde vragen

Waar vind ik mijn robots.txt?

Je robots.txt vind je door /robots.txt achter je domeinnaam te typen, bijvoorbeeld www.jouwdomein.nl/robots.txt. Hij staat altijd in de hoofdmap. Krijg je een foutmelding, dan heb je er geen en bezoekt Google gewoon alles. In WordPress pas je hem meestal aan via Yoast of Rank Math.

Moet ik AI-bots blokkeren?

Voor de meeste mkb-bedrijven raden we dat af. Wie AI-bots buitensluit, wordt ook minder snel genoemd in de antwoorden van ChatGPT, Gemini en andere AI-assistenten, en daar zoeken steeds meer mensen naar een bedrijf of dienst. Verdien je geld met unieke content, zoals betaalde artikelen of onderzoeksrapporten, dan is blokkeren wel een serieuze afweging. Wij werken met GEO juist aan het omgekeerde: dat AI-assistenten jouw bedrijf noemen.

Kan een robots.txt mijn site uit Google halen?

Ja, indirect. Met “Disallow: /” mag Googlebot je site niet meer bezoeken. Je pagina’s blijven soms nog een tijd zichtbaar zonder beschrijving, en omdat Google de inhoud niet meer kan lezen, zakken je posities weg. Wil je een pagina echt uit Google hebben, gebruik dan noindex of de verwijdertool in Search Console.

Wat is het verschil met llms.txt?

Robots.txt geeft bots regels over wat ze mogen bezoeken. Een llms.txt is een voorstel uit 2024 voor een Markdown-bestand met een korte samenvatting van je site en links naar je belangrijkste pagina’s, bedoeld voor AI-taalmodellen. Het eerste is een verbodsbord, het tweede een plattegrond. Google zegt llms.txt (nog) niet te gebruiken.

Martijn Wildeman

Dit begrip is uitgelegd door:

Martijn Wildeman

Operations & SEO