Laat Google relevante informatie zien met een robots.txt bestand

Om ervoor te zorgen dat uw site hoog scoort in Search Engine Result Pages (SERP's), moet u het gemakkelijk maken voor zoekmachine ‘bots' om de belangrijkste pagina's te verkennen.

Als u een goed gestructureerd robots.txt-bestand hebt, kunt u die bots naar de pagina's leiden die u wilt indexeren (en de rest vermijden). Om de exposure van uw site te vergroten, moet u er dus voor zorgen dat de zoekmachinebots de meest relevante informatie ‘crawlen'.

Een goed geconfigureerd WordPress robots.txt-bestand helpt om precies te dicteren hoe die bots met uw site omgaan. Op die manier zullen ze in staat zijn om zoekmachines te presenteren met meer relevante en nuttige inhoud.

Wat een WordPress robots.txt bestand

Wat een WordPress robots.txt bestand is en waarom je er een nodig hebt.
Een voorbeeld van een robots.txt voor WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.jouwdomein.com/sitemap.xml

Het standaard bestand robots.txt van WordPress is vrij eenvoudig, maar u kunt het gemakkelijk vervangen.
Wanneer je een nieuwe website maakt, zullen zoekmachines hun volgelingen (of bots) sturen om er doorheen te ‘crawlen' en een overzicht te maken van alle pagina's die het bevat. Op die manier weten ze welke pagina's ze als resultaat moeten weergeven als iemand zoekt naar gerelateerde trefwoorden. Op basisniveau is dit eenvoudig genoeg.

instructies geven voor zoekmachinebots

Het probleem is dat moderne websites veel meer elementen bevatten dan alleen maar pagina's. Met WordPress kunt u bijvoorbeeld plugins installeren, die vaak met hun eigen directories komen. U wilt echter niet dat deze in de resultaten van uw zoekmachine verschijnen, omdat ze niet relevant zijn.

Wat het robots.txt bestand doet is een set instructies geven voor zoekmachinebots. Dit bestand kan zo gedetailleerd zijn als u wilt, en het is vrij eenvoudig te maken, zelfs als u geen technische wizard bent.

In de praktijk zullen zoekmachines uw website nog steeds crawlen, zelfs als u geen robots.txt-bestand hebt ingesteld. Het is echter niet efficiënt om er een aan te maken. Zonder dit bestand laat u het aan de bots over om al uw inhoud te indexeren, en ze zijn zo grondig dat ze uiteindelijk misschien delen van uw website laten zien waarvan u niet wilt dat andere mensen er toegang toe hebben.

Belangrijker nog, zonder een robots.txt-bestand hebt u veel bots die over uw hele website kruipen. Dit kan een negatieve invloed hebben op de prestaties. Zelfs als de hit te verwaarlozen is, is de snelheid van de pagina's iets dat altijd bovenaan uw prioriteitenlijst moet staan. Er zijn immers maar weinig dingen die mensen zo haten als een trage WordPress website.

Waar staat het WordPress-robots.txt-bestand

Wanneer u een WordPress-website maakt, wordt automatisch een virtueel robots.txt-bestand aangemaakt dat zich in de hoofdmap van uw server bevindt. Als uw site zich bijvoorbeeld op jouwwebsite.com bevindt, moet u het adres jouwwebsite.com/robots.txt kunnen bezoeken en zo'n bestand zien verschijnen:

<br>
User-agent: *<br>
Disallow: /wp-admin/<br>
Disallow: /wp-includes/<br>

Dit is een voorbeeld van een zeer eenvoudig robots.txt bestand. Om het in menselijke termen te zeggen, het gedeelte direct na User-agent: verklaart voor welke bots de onderstaande regels gelden. Een asterisk betekent dat de regels universeel zijn en van toepassing zijn op alle bots. In dit geval vertelt het bestand die bots dat ze niet in je wp-admin kunnen gaan en wp-inclusief directories. Dat is wel logisch, want die twee mappen bevatten veel gevoelige bestanden.

Het kan echter zijn dat u meer regels aan uw eigen bestand wilt toevoegen. Voordat u dat kunt doen, moet u begrijpen dat dit een virtueel bestand is. Meestal bevindt de locatie van WordPress robots.txt zich binnen uw hoofdmap, die vaak public_html of www wordt genoemd (of naar uw website wordt vernoemd).
Bestanden uploaden in WordPress met FTP

robots.txt-bestand toevoegen met WordPress plugin

Robot's instellen met All in One SEO Pack

All in One SEO Pack is een grote naam als het gaat om WordPress SEO. Het bevat de meeste functies die Yoast SEO doet, maar sommige mensen geven er de voorkeur aan omdat het een lichtere plugin is. Voor zover robots.txt gaat, is het maken van het bestand met deze plugin ook net zo eenvoudig.
All in One SEO Pack WordPress plugin

Zodra je de plugin hebt ingesteld, navigeer je naar de All in One SEO > Feature Manager pagina in je dashboard. Binnenin vind je een optie genaamd Robots.txt, met een opvallende Activate knop eronder. Ga je gang en klik daar op:

Videohandleiding robot toevoegen met plugin

Robot's instellen met Yoast SEO plugin

Yoast SEO heeft nauwelijks een introductie nodig. Het is de meest populaire SEO plugin voor WordPress, en het stelt u in staat om uw berichten en pagina's te optimaliseren om beter gebruik te maken van uw zoekwoorden. Daarnaast biedt het u ook hulp bij het vergroten van de leesbaarheid van uw content, wat betekent dat meer mensen ervan kunnen genieten.
Yoast SEO WordPress plugin

Persoonlijk zijn we fan van Yoast SEO vanwege het gebruiksgemak. Dat geldt net zo goed voor het maken van een robots.txt bestand. Zodra je de plugin hebt geïnstalleerd en geactiveerd, navigeer je naar het tabblad SEO ‘Tools' in je dashboard, en zoek je naar de optie File Editor.

Pagina's, mappen en bestanden uitsluiten

Een enkele pagina uitsluiten

Als je een pagina niet wil laten indexeren, dan kun je deze uitsluiten met de ‘disallow'-instructie. Bijvoorbeeld:

<br>
User-agent: Googlebot<br>
Disallow: /dezepaginanietzichtbaar.html<br>

Een map uitsluiten

Een gehele map uitsluiten kan ook. Bijvoorbeeld:

<br>
User-agent: Googlebot<br>
Disallow: /dezemapnietzichtbaar/<br>

URL's blokkeren op basis van tekens

Het is ook mogelijk om URL's te blokkeren die bepaalde tekens bevatten. Dit wordt met het teken ‘*' gedaan. Als je het volgende in de robots.txt toevoegt, dan worden alle URL's geblokkeerd met een vraagteken er in. Bijvoorbeeld:

<br>
User-agent: Googlebot<br>
Disallow: /*?<br>

Bestanden blokkeren

Tot slot kun je het dollarteken ($) gebruiken om URL's met dezelfde extensie uit te sluiten. Bijvoorbeeld als je een map hebt met verschillende soorten bestanden, waarvan je alleen de pdf-bestanden of mp3 wilt blokkeren:

<br>
User-agent: Googlebot<br>
Disallow: /*.pdf$<br>

<br>
User-agent: Googlebot<br>
Disallow: /*.mp3$<br>

Robots instellen bij Google Search Console

Hoe WordPress robots.txt-bestand instellen bij Google Search Console

Zodra uw WordPress robots.txt-bestand is aangemaakt en geüpload, kunt u Google Search Console gebruiken om het te testen op fouten. De Search Console is een verzameling van tools die Google aanbiedt om u te helpen controleren hoe uw inhoud in de zoekresultaten verschijnt.
https://search.google.com/search-console?

robots.txt-bestand testen bij Google Search Console

Een van deze tools is een robots.txt checker, die u kunt gebruiken door in te loggen op uw console en te navigeren naar het tabblad robots.txt
Hier vind je een veld waar je je WordPress robots.txt-bestandscode kunt toevoegen en op de Submit-knop rechtsonder kunt klikken. Google Search Console zal vragen of u die nieuwe code wilt gebruiken, of het bestand van uw website wilt halen. Klik op de optie die zegt ‘Ask Google to Update' om het bestand handmatig in te dienen. Nu zal het platform uw bestand controleren op fouten. Als er fouten zijn, zal het ze voor u aanwijzen.
www.google.com/webmasters/tools/robots-testing-tool?

crawlbudget en indexering

Door de schuine streep na Disallow toe te voegen, vertelt u de robot om geen pagina's op de site te bezoeken.

De volgende voor de hand liggende vraag is dus: waarom zou iemand robots willen verhinderen uw site te crawlen en te indexeren? Immers, wanneer u werkt aan de SEO van de website, wil je dat de zoekmachines je site goed crawlen om u te helpen rang. Dit is precies waarom u moet overwegen uw robots.txt-bestand te optimaliseren.

Enig idee hoeveel pagina's u op uw website heeft? Van echte pagina's tot testpagina's, pagina's met dubbele inhoud, bedankpagina's, enzovoort. Veel, veronderstellen we.

Wanneer een bot uw website crawlt, zal hij elke pagina crawlen. En als je meerdere pagina's hebt, zal de zoekmachine bot er een tijdje over doen om ze allemaal te crawlen. Wist je dat dit een negatieve invloed kan hebben op de ranking van je website?

En dat is te wijten aan het ‘crawl budget' van de zoekmachine bot.

Wat is een crawl budget?

Een crawl budget is het aantal URL's dat een zoek bot kan crawlen in een sessie. Elke site zal een specifiek crawl budget toegewezen krijgen. En je wilt er zeker van zijn dat het crawl budget op de best mogelijke manier wordt besteed voor je site.

Als je verschillende pagina's op je website hebt, wil je zeker dat de bot eerst je meest waardevolle pagina's crawlt. Het is dus van essentieel belang dat u dit expliciet vermeldt in uw robots.txt-bestand.

Tot slot over robots.txt files

robots.txt files maken het makkelijker voor zoekmachines om uw site te indexeren en te crawlen. Op deze manier zullen zowel de zoekmachines je website sneller vinden wanneer u de inhoud actualiseert. Wat betekent dit? Dat u meer kans maakt op een goede ranking en een goede reputatie, wat weer kan resulteren in meer en nieuwe bezoekers.

Meer handleidingen over Robots tekst files

Meer info:
searchfacts.com/robots-txt-allow-disallow-all/
moz.com/learn/seo/robotstxt
contentkingapp.com/academy/robotstxt
rankmath.com/kb/how-to-noindex-all-posts-in-a-category

Cursus of training volgen

Tijdens een seo-cursus komt de robots.txt aan de orde. Lees meer over deze WordPress cursussen en trainingen:

• WordPress Bootcamp all-in one spoedcursus
• Zoekmachine optimalisatie SEO cursus Google training
• WordPress Pop-up Bootcamp spoedcursus op maat