Sitemap en robots.txt bij WordPress en je eigen site

Een sitemap is een lijst van de adressen die je in zoekmachines wilt hebben. Een robots.txt vertelt zoekmachines welke adressen ze niet mogen bezoeken, en waar je sitemap staat. Zo kijk je ze na bij WordPress en bij een site die je zelf maakt.

WordPress

WordPress maakt sinds versie 5.5 zelf een sitemap en een robots.txt:

• De sitemap staat op https://jouwdomein.nl/wp-sitemap.xml.
• De robots.txt is virtueel: er staat geen bestand in je webmap, maar WordPress laat hem zien op https://jouwdomein.nl/robots.txt, met een verwijzing naar de sitemap.
• Gebruik je een SEO-plugin, zoals Yoast SEO of Rank Math? Dan maakt die vaak een eigen sitemap, bijvoorbeeld sitemap_index.xml. Het adres vind je in de instellingen van de plugin. Dat adres dien je in bij Google en Bing.

Een standaard robots.txt van WordPress ziet er ongeveer zo uit:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://jouwdomein.nl/wp-sitemap.xml

Houdt WordPress zoekmachines tegen?

1. Log in op WordPress en ga naar Instellingen en dan Lezen.
2. Kijk bij de zichtbaarheid voor zoekmachines naar het vinkje Zoekmachines ontmoedigen deze site te indexeren.
3. Dat vinkje moet uit staan. Klik op Wijzigingen opslaan.

Staat het vinkje aan, dan vraagt WordPress zoekmachines je hele site over te slaan. Het wordt vaak aangezet tijdens het bouwen en daarna vergeten.

Meer over vindbaarheid in WordPress lees je in Vindbaarheid: de basis.

Een eigen robots.txt

Zet je zelf een bestand robots.txt in je webmap, dan gaat dat voor op de virtuele robots.txt van WordPress. Bij een hostingpakket van WebOké is de webmap public_html van je domein. Je zet het bestand erin met Bestandsbeheer in DirectAdmin (zie Bestandsbeheer openen: de mappen in je pakket) of met FTP.

Een eenvoudige robots.txt die alles toestaat en naar je sitemap wijst:

User-agent: *
Allow: /
Sitemap: https://jouwdomein.nl/sitemap.xml

Een site die je zelf maakt

Maak je je site zelf, of met een ander programma? Kijk dan of dat programma een sitemap maakt. Zo niet, dan kun je zonder: een kleine site met goede links tussen de pagina's wordt ook gevonden. Een sitemap helpt wel. Zet hem in je webmap en noem hem in je robots.txt, zoals hierboven.

Controleren

• Open https://jouwdomein.nl/robots.txt. Staat er Disallow: / onder User-agent: *? Dan mag geen enkele zoekmachine je site bezoeken. Haal die regel weg als je site af is.
• Staat er een regel Sitemap:? Open dat adres in je browser. Je hoort een lijst met adressen van je site te zien, met https en je eigen domein.

Tip: robots.txt houdt een pagina niet uit Google. Een pagina die niet bezocht mag worden, kan toch in de zoekresultaten komen als andere sites ernaar linken. Wil je een pagina echt uit Google houden, gebruik dan een noindex. Het verschil lees je in les robots.txt: wat je wel en niet blokkeert van de cursus Online gevonden worden.